Hello j'ai cette erreur en simulation V4.4.7.2. (base en pj) Nous avons bcp de cellules et on utilise le Simulateur par cellule. Vu la taille de la matrice problematique, c ets surement qqch par cellule... mais je ne sais pas où chercher le problème. D'autre part en vérifiant la région j'ai ce warning alors que cela semble correct. fr.ifremer.isisfish.entities.Population hake_age_emu1 warning interval entre la reproduction et le recrutement invalide fr.ifremer.isisfish.entities.Population hake_age_emu1 warning distribution de recrutement invalide Merci d'avance ! en pj la base ERROR|12:09:41,042|InProcessSimulatorLauncher.java|483|localSimulateSameThread|Errorduringsimulation java.lang.IllegalArgumentException:pos2005832363isnotin[0,2004690912] atorg.nuiton.math.matrix.DoubleSparseHashVector.checkPos(DoubleSparseHashVector.java:152)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.DoubleSparseHashVector.setValue(DoubleSparseHashVector.java:169)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.LazyVector.setValue(LazyVector.java:118)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.BasicMatrix.setValue(BasicMatrix.java:201)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.MatrixNDImpl.setValue(MatrixNDImpl.java:190)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.AbstractMatrixND.setValue(AbstractMatrixND.java:393)~[nuiton-matrix-2.6.jar:2.6] atscripts.SiMatrixEffortByCell.matrixFishingMortalityPerCell_aroundBody14(SiMatrixEffortByCell.java:345)~[?:?] atscripts.SiMatrixEffortByCell$AjcClosure15.run(SiMatrixEffortByCell.java:1)~[?:?] atorg.aspectj.runtime.reflect.JoinPointImpl.proceed(JoinPointImpl.java:167)~[aspectjweaver-1.9.7.jar:?] atfr.ifremer.isisfish.util.cache.IsisCache.realCall(IsisCache.java:196)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.util.cache.IsisCache.get(IsisCache.java:137)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.aspect.CacheAspect.call(CacheAspect.java:73)~[?:?] atscripts.SiMatrixEffortByCell.matrixFishingMortalityPerCell(SiMatrixEffortByCell.java:280)~[?:?] atscripts.SiMatrixEffortByCell.matrixAbundance_aroundBody8(SiMatrixEffortByCell.java:193)~[?:?] atscripts.SiMatrixEffortByCell$AjcClosure9.run(SiMatrixEffortByCell.java:1)~[?:?] atorg.aspectj.runtime.reflect.JoinPointImpl.proceed(JoinPointImpl.java:167)~[aspectjweaver-1.9.7.jar:?] atfr.ifremer.isisfish.util.cache.IsisCache.realCall(IsisCache.java:196)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.util.cache.IsisCache.get(IsisCache.java:137)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.aspect.CacheAspect.call(CacheAspect.java:73)~[?:?] atscripts.SiMatrixEffortByCell.matrixAbundance(SiMatrixEffortByCell.java:193)~[?:?] atsimulators.DefaultSimulator.computeMonth(DefaultSimulator.java:517)~[?:?] atsimulators.DefaultSimulator.simulate(DefaultSimulator.java:242)~[?:?] atfr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher.localSimulateSameThread(InProcessSimulatorLauncher.java:432)[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher$SimThread.run(InProcessSimulatorLauncher.java:260)[isis-fish-4.4.7.2.jar:4.4.7.2] -- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
En complement : pas d erreur si - j utilise le default simulator - si je ne sélectionne pas toutes les strategies en meme temps... est ce que la matrice est trop grosse ? Merci Le 08/11/2022 à 12:24, Sigrid LEHUTA a écrit :
Hello j'ai cette erreur en simulation V4.4.7.2. (base en pj) Nous avons bcp de cellules et on utilise le Simulateur par cellule. Vu la taille de la matrice problematique, c ets surement qqch par cellule... mais je ne sais pas où chercher le problème. D'autre part en vérifiant la région j'ai ce warning alors que cela semble correct. fr.ifremer.isisfish.entities.Population hake_age_emu1 warning interval entre la reproduction et le recrutement invalide fr.ifremer.isisfish.entities.Population hake_age_emu1 warning distribution de recrutement invalide
Merci d'avance ! en pj la base ERROR|12:09:41,042|InProcessSimulatorLauncher.java|483|localSimulateSameThread|Errorduringsimulation java.lang.IllegalArgumentException:pos2005832363isnotin[0,2004690912] atorg.nuiton.math.matrix.DoubleSparseHashVector.checkPos(DoubleSparseHashVector.java:152)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.DoubleSparseHashVector.setValue(DoubleSparseHashVector.java:169)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.LazyVector.setValue(LazyVector.java:118)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.BasicMatrix.setValue(BasicMatrix.java:201)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.MatrixNDImpl.setValue(MatrixNDImpl.java:190)~[nuiton-matrix-2.6.jar:2.6] atorg.nuiton.math.matrix.AbstractMatrixND.setValue(AbstractMatrixND.java:393)~[nuiton-matrix-2.6.jar:2.6] atscripts.SiMatrixEffortByCell.matrixFishingMortalityPerCell_aroundBody14(SiMatrixEffortByCell.java:345)~[?:?] atscripts.SiMatrixEffortByCell$AjcClosure15.run(SiMatrixEffortByCell.java:1)~[?:?] atorg.aspectj.runtime.reflect.JoinPointImpl.proceed(JoinPointImpl.java:167)~[aspectjweaver-1.9.7.jar:?] atfr.ifremer.isisfish.util.cache.IsisCache.realCall(IsisCache.java:196)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.util.cache.IsisCache.get(IsisCache.java:137)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.aspect.CacheAspect.call(CacheAspect.java:73)~[?:?] atscripts.SiMatrixEffortByCell.matrixFishingMortalityPerCell(SiMatrixEffortByCell.java:280)~[?:?] atscripts.SiMatrixEffortByCell.matrixAbundance_aroundBody8(SiMatrixEffortByCell.java:193)~[?:?] atscripts.SiMatrixEffortByCell$AjcClosure9.run(SiMatrixEffortByCell.java:1)~[?:?] atorg.aspectj.runtime.reflect.JoinPointImpl.proceed(JoinPointImpl.java:167)~[aspectjweaver-1.9.7.jar:?] atfr.ifremer.isisfish.util.cache.IsisCache.realCall(IsisCache.java:196)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.util.cache.IsisCache.get(IsisCache.java:137)~[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.aspect.CacheAspect.call(CacheAspect.java:73)~[?:?] atscripts.SiMatrixEffortByCell.matrixAbundance(SiMatrixEffortByCell.java:193)~[?:?] atsimulators.DefaultSimulator.computeMonth(DefaultSimulator.java:517)~[?:?] atsimulators.DefaultSimulator.simulate(DefaultSimulator.java:242)~[?:?] atfr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher.localSimulateSameThread(InProcessSimulatorLauncher.java:432)[isis-fish-4.4.7.2.jar:4.4.7.2] atfr.ifremer.isisfish.simulator.launcher.InProcessSimulatorLauncher$SimThread.run(InProcessSimulatorLauncher.java:260)[isis-fish-4.4.7.2.jar:4.4.7.2] -- NB : Please note that I do not work on Wednesdays
Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
-- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
Le 08/11/2022 à 22:06, Sigrid LEHUTA a écrit :
En complement : pas d erreur si
- j utilise le default simulator
- si je ne sélectionne pas toutes les strategies en meme temps... est ce que la matrice est trop grosse ?
C'est possiblement lié à une compléxité de stockage dans les matrices, mais le message n'est pas très explicite. Donc tant que ce n'est pas un problème de mémoire cela devrait fonctionner. J'ai commencé à regarder, mais c'est un bug très compliqué dans le stockage matriciel (avec plus de 2 000 000 d'element dans un tableau). ll va falloir que je fasse tourner la simulation et que je debug le problème. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
OK merci de ton retour. On compte sur toi car on est bloqués si ca ne tourne pas! Merci ! Le 10/11/2022 à 10:01, Eric Chatellier a écrit :
Le 08/11/2022 à 22:06, Sigrid LEHUTA a écrit :
En complement : pas d erreur si
- j utilise le default simulator
- si je ne sélectionne pas toutes les strategies en meme temps... est ce que la matrice est trop grosse ?
C'est possiblement lié à une compléxité de stockage dans les matrices, mais le message n'est pas très explicite. Donc tant que ce n'est pas un problème de mémoire cela devrait fonctionner.
J'ai commencé à regarder, mais c'est un bug très compliqué dans le stockage matriciel (avec plus de 2 000 000 d'element dans un tableau). ll va falloir que je fasse tourner la simulation et que je debug le problème.
-- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
Le 08/11/2022 à 12:24, Sigrid LEHUTA a écrit :
Hello j'ai cette erreur en simulation V4.4.7.2. (base en pj) Nous avons bcp de cellules et on utilise le Simulateur par cellule. Vu la taille de la matrice problematique, c ets surement qqch par cellule... mais je ne sais pas où chercher le problème.
Salut, Tu m'as envoyé la région, mais pas la simulation. Je n'ai pas réussi à reproduire un cas d'erreur. Avec strategies aléatoires, toutes les stratégies, cela semble fonctionner. Est-ce des paramètres particuliers qui causent l'erreur ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour Eric, c est plutot bon signe si tu ne parviens pas a reproduire... Voici la simu. On peut s appeler si besoin. Merci Le 14/11/2022 à 21:27, Eric Chatellier a écrit :
Le 08/11/2022 à 12:24, Sigrid LEHUTA a écrit :
Hello j'ai cette erreur en simulation V4.4.7.2. (base en pj) Nous avons bcp de cellules et on utilise le Simulateur par cellule. Vu la taille de la matrice problematique, c ets surement qqch par cellule... mais je ne sais pas où chercher le problème.
Salut,
Tu m'as envoyé la région, mais pas la simulation. Je n'ai pas réussi à reproduire un cas d'erreur. Avec strategies aléatoires, toutes les stratégies, cela semble fonctionner.
Est-ce des paramètres particuliers qui causent l'erreur ?
-- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
Le 15/11/2022 à 13:03, Sigrid LEHUTA a écrit :
Bonjour Eric,
c est plutot bon signe si tu ne parviens pas a reproduire...
Voici la simu.
Ok, je reproduis. C'est effectivement un problème de mémoire. Les matrices semblent faire plus de 2 147 483 647 d'éléments (juste pour le produit cartésien des dimensions) ce qui dépasse la capacité de stockage supportée par nuiton-matrix. Il faut que je discute avec Benjamin, mais je ne suis pas sûr que cela soit solutionnable rapidement, ni même si c'est solutionnable... -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour Eric, mauvaise nouvelle ! peux tu me donner les dimensions d ela matrice (stratégie, métier, cellule ?) pour que nous commencions a reflechir comment la reduire car il y a urgence. Merci Le 15/11/2022 à 21:56, Eric Chatellier a écrit :
Le 15/11/2022 à 13:03, Sigrid LEHUTA a écrit :
Bonjour Eric,
c est plutot bon signe si tu ne parviens pas a reproduire...
Voici la simu.
Ok, je reproduis.
C'est effectivement un problème de mémoire.
Les matrices semblent faire plus de 2 147 483 647 d'éléments (juste pour le produit cartésien des dimensions) ce qui dépasse la capacité de stockage supportée par nuiton-matrix.
Il faut que je discute avec Benjamin, mais je ne suis pas sûr que cela soit solutionnable rapidement, ni même si c'est solutionnable...
-- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
Le 17/11/2022 à 09:40, Sigrid LEHUTA a écrit :
Bonjour Eric,
mauvaise nouvelle !
peux tu me donner les dimensions d ela matrice (stratégie, métier, cellule ?) pour que nous commencions a reflechir comment la reduire car il y a urgence.
Ca plante sur la matrice : matrixFishingMortalityPerCell qui fait : ["Strategies", "Metiers", "Groups", "Zones", "Cells"] soit 69 * 258 * 6 * 26 * 6970 = 19 356 470 640 elements C'est très loin de la capacité maximale supportée par nuiton-matrix : 2 147 483 647 elements. Il est possible que l'on puisse tester une autre possibilité en passant par des fichiers indéxés (long au lieu de int) qui ont une plus grande capacité, mais elle n'est pas encore développée. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Le 17/11/2022 à 13:25, Eric Chatellier a écrit :
Il est possible que l'on puisse tester une autre possibilité en passant par des fichiers indéxés (long au lieu de int) qui ont une plus grande capacité, mais elle n'est pas encore développée.
Bonjour, On a ajouté le support des matrices de plus grandes capacités (tant qu'elles reste "globalement creuse"). C'est disponible dans cette version : https://forge.codelutin.com/attachments/download/7310/isis-fish-4.4.7.3-gdac... sur une implementation spécifique du stockage des matrices. Pour l'utiliser, il faut configurer : "org.nuiton.math.matrix.DoubleSparseHashVector" pour les tag "simulation.matrix.vector.sparse.class" et "simulation.matrix.vector.class" dans les paramètres avancés de la simulation. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour Eric, Merci bien pour la rapidité. J'ai testé et ça marchait bien Bon WE, PHAN Tuan Anh Ifremer, EMH ------------------------------------------------------------------------ Le 09/12/2022 à 14:57, Eric Chatellier a écrit :
Le 17/11/2022 à 13:25, Eric Chatellier a écrit :
Il est possible que l'on puisse tester une autre possibilité en passant par des fichiers indéxés (long au lieu de int) qui ont une plus grande capacité, mais elle n'est pas encore développée.
Bonjour,
On a ajouté le support des matrices de plus grandes capacités (tant qu'elles reste "globalement creuse").
C'est disponible dans cette version : https://forge.codelutin.com/attachments/download/7310/isis-fish-4.4.7.3-gdac... sur une implementation spécifique du stockage des matrices.
Pour l'utiliser, il faut configurer : "org.nuiton.math.matrix.DoubleSparseHashVector" pour les tag "simulation.matrix.vector.sparse.class" et "simulation.matrix.vector.class" dans les paramètres avancés de la simulation.
MERCI BEAUCOUP ERIC et BENJAMIN !!! Quelle réactivité sur ce problème bloquant, c'est super ! Le merlu de Mediterranée vous en doit une (et moi aussi) ! Le 09/12/2022 à 16:18, Tuan Anh PHAN a écrit :
Bonjour Eric,
Merci bien pour la rapidité. J'ai testé et ça marchait bien
Bon WE, PHAN Tuan Anh Ifremer, EMH ------------------------------------------------------------------------ Le 09/12/2022 à 14:57, Eric Chatellier a écrit :
Le 17/11/2022 à 13:25, Eric Chatellier a écrit :
Il est possible que l'on puisse tester une autre possibilité en passant par des fichiers indéxés (long au lieu de int) qui ont une plus grande capacité, mais elle n'est pas encore développée.
Bonjour,
On a ajouté le support des matrices de plus grandes capacités (tant qu'elles reste "globalement creuse").
C'est disponible dans cette version : https://forge.codelutin.com/attachments/download/7310/isis-fish-4.4.7.3-gdac... sur une implementation spécifique du stockage des matrices.
Pour l'utiliser, il faut configurer : "org.nuiton.math.matrix.DoubleSparseHashVector" pour les tag "simulation.matrix.vector.sparse.class" et "simulation.matrix.vector.class" dans les paramètres avancés de la simulation.
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche:http://list.isis-fish.org/pipermail/isis-fish-users/
-- NB : Please note that I do not work on Wednesdays Sigrid LEHUTA ~ ><> ~ Ecologie et Modèles pour l'Halieutique IFREMER Nantes Rue de l'Ile d'Yeu - BP 21105, 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) Membre de l'Association Française d'Halieutique https://www.association-francaise-halieutique.fr/
participants (3)
-
Eric Chatellier -
Sigrid LEHUTA -
Tuan Anh PHAN