- Isis-fish-users - mailman.cloud.codelutin.com

TR: TR: Cluster
by Bastien Preuss March 1, 2010

March 1, 2010

Bonjour Eric, Voici la réponse du responsable du Cluster. Si jamais vous préférer sortir de la liste user pour échanger à ce sujet, son adresse mail est jerome.lefevre(a)ird.fr De Jérôme Lefèvre (Administrateur Cluster Nouméa) Bonjour, Nous disposons d'un cluster à base de bi-pocesseur Opteron (4 cores par machine) totalisant 40 Cores, sous OS Fedora core 8 et gestionnaire de job PBS (Torque) Nous l'utilisons à des fins de calculs intensifs pour les codes Ocean/Atmosphère (WRF, MARS, ROMS ...). Le système OS installé est dégraissé (par exemple Java n'est pas installé), mais je peux l'ajouter si besoin. Pour le lancement, Bastien m'a parlé d'un module Java qui se charge de l'interaction avec Caparmor, c-a-d, je suppose, avec le gestionnaire de job installé sur Caparmor. Est-ce cela ? Comment faire en sorte que le module de lancement des jobs discute avec PBS ? Enfin, quelles sont les prerequis software pour permettre l'utilisation du logiciel Isis Fish sur notre cluster (voir descriptif Cluster pièce jointe) ? Idealement, on souhaiterait lancer isis Fish sur les noeuds du cluster en passant par le gestionnaire de Job PBS. On peut s'arranger pour installler les composant d'Isis Fish sur chaque noeuds de calcul ou alors sur l'espace HOME partagé par les noeuds via le système de fichier partagé NFS. La base de donnée IsisFish pouvant elle être installée sur l'espace partagé HOME. On ne pourra pas utiliser l'interface graphique sous Windows, l'environnement du cluster étant accessible que sous Linux. Merci Jérôme Lefèvre Bastien Preuss a écrit : > -----Message d'origine----- > De : isis-fish-users-bounces(a)list.isis-fish.org > [mailto:isis-fish-users-bounces@list.isis-fish.org] De la part de Eric > Chatellier > Envoyé : lundi 1 mars 2010 20:17 > À : isis-fish-users(a)list.isis-fish.org > Objet : Re: [Isis-fish-users] Cluster > > Le 28/02/2010 22:36, Bastien Preuss a écrit : > >> Bonjour à tous, >> >> > Bonjour, > > >> Une nouvelle question pour les informaticiens ! >> >> Après quelques échanges de mails, il semble donc quil ne me sera pas >> possible dutiliser Caparmor >> >> Cependant, nous disposons dun Cluster ici, qui fait habituellement >> tourner des modèles hydrodynamiques. >> >> La machine est disponible régulièrement, donc je pense pouvoir lutiliser. >> >> La personne qui gère le cluster me demande si mon modèle peut être >> parallélisé et tourner sur plusieurs CPU, jimagine que cest déjà ce >> qui est fait avec Caparmor ? >> >> > En fait non, une simulation n'est pas parallélisable. > Ce qui est "parallélisé" c'est les plans de simulation et les plans > d'analyse. Plusieurs simulations tournent en même temps, mais > chaque simulation utilise un seul coeur (processeur). > >> Je voulais donc 1) juste avoir cette petit confirmation. >> >> Et 2) savoir comment techniquement je pourrais faire tourner Isis sur >> un Cluster ? Jimagine que je ne pourrais pas faire de lancement à >> distance ? Et quil me faudra installer ISIS sur le cluster puis venir >> avec une clef USB pour copier ma base et enfin lancer les simus >> directement à partir du terminal du cluster ????? >> >> > Ça dépend. Voulez vous faire tourné des simulations isolées ? > Ou plutôt un ensemble de simulation ? > > Pour ce qui de l'accès, on accede à caparmor via le protocole > ssh (si c'est un serveur linux, il devait être présent), l'envoi > de simulation, le lancement et la récupération des > résultats se fait ainsi. > > Par contre, sur caparmor, il y a un "ordonnanceur" de jobs, > qui fait que même si on envoi 1000 simulations, il les > fera 16 par 16 pour ne pas nuire aux performances du système. > Pouvez vous vous renseigner pour savoir si un équivalent existe ? > >> Merci de vos éclaircissements. >> >> Bonne journée. >> >> Bastien >> >>

1 0

Re: [Isis-fish-users] Cluster
by Eric Chatellier March 1, 2010

March 1, 2010

Le 28/02/2010 22:36, Bastien Preuss a écrit : > > Bonjour à tous, > Bonjour, > Une nouvelle question pour les informaticiens ! > > Après quelques échanges de mails, il semble donc qu’il ne me sera pas > possible d’utiliser Caparmor… > > Cependant, nous disposons d’un Cluster ici, qui fait habituellement > tourner des modèles hydrodynamiques. > > La machine est disponible régulièrement, donc je pense pouvoir l’utiliser. > > La personne qui gère le cluster me demande si mon modèle peut être > parallélisé et tourner sur plusieurs CPU, j’imagine que c’est déjà ce > qui est fait avec Caparmor… ? > En fait non, une simulation n'est pas parallélisable. Ce qui est "parallélisé" c'est les plans de simulation et les plans d'analyse. Plusieurs simulations tournent en même temps, mais chaque simulation utilise un seul coeur (processeur). > > Je voulais donc 1) juste avoir cette petit confirmation. > > Et 2) savoir comment techniquement je pourrais faire tourner Isis sur > un Cluster ? J’imagine que je ne pourrais pas faire de lancement à > distance ? Et qu’il me faudra installer ISIS sur le cluster puis venir > avec une clef USB pour copier ma base et enfin lancer les simus > directement à partir du terminal du cluster… ????? > Ça dépend. Voulez vous faire tourné des simulations isolées ? Ou plutôt un ensemble de simulation ? Pour ce qui de l'accès, on accede à caparmor via le protocole ssh (si c'est un serveur linux, il devait être présent), l'envoi de simulation, le lancement et la récupération des résultats se fait ainsi. Par contre, sur caparmor, il y a un "ordonnanceur" de jobs, qui fait que même si on envoi 1000 simulations, il les fera 16 par 16 pour ne pas nuire aux performances du système. Pouvez vous vous renseigner pour savoir si un équivalent existe ? > > Merci de vos éclaircissements. > > Bonne journée. > > Bastien > -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

1 0

Cluster
by Bastien Preuss Feb. 28, 2010

Feb. 28, 2010

Bonjour à tous, Une nouvelle question pour les informaticiens ! Après quelques échanges de mails, il semble donc quil ne me sera pas possible dutiliser Caparmor Cependant, nous disposons dun Cluster ici, qui fait habituellement tourner des modèles hydrodynamiques. La machine est disponible régulièrement, donc je pense pouvoir lutiliser. La personne qui gère le cluster me demande si mon modèle peut être parallélisé et tourner sur plusieurs CPU, jimagine que cest déjà ce qui est fait avec Caparmor ? Je voulais donc 1) juste avoir cette petit confirmation. Et 2) savoir comment techniquement je pourrais faire tourner Isis sur un Cluster ? Jimagine que je ne pourrais pas faire de lancement à distance ? Et quil me faudra installer ISIS sur le cluster puis venir avec une clef USB pour copier ma base et enfin lancer les simus directement à partir du terminal du cluster ????? Merci de vos éclaircissements. Bonne journée. Bastien Bastien Preuss Doctorant (PhD Student) IFREMER - IRD - Université de Nouvelle-Calédonie 101 Promenade Roger Laroque BP A5 98848 Noumea cedex New-Caledonia Tel: (+687) 260 723 P afin de contribuer au respect de l'environnement, merci de n'imprimer ce mail qu'en cas de nécessité

1 0

Les simus ne se lancent pas sous caparmor
by Delphine.Rocklin＠ifremer.fr Feb. 26, 2010

Feb. 26, 2010

Re-hello ça ne fonctionne tjrs pas les simus sous Caparmor....ça ne fait que charger charger, mais rien ne se passe.... Est-ce que ça fonctionne chez vous ? Delph

3 3

Pb de simulatiions sur caparmor avec la nouvelle version d'isis ?
by Delphine.Rocklin＠ifremer.fr Feb. 26, 2010

Feb. 26, 2010

Hello, encore un petit souci ISIS Les simulations sous caparmor ne se lancent pas. En local, ça fonctionne, mais pas avec Caparmor.. j'ai vérifié la configuration, il semble que tout est ok, et pourtant.... merci Delph

1 0

Petits soucis avec la nouvelle version d'isis
by Delphine.Rocklin＠ifremer.fr Feb. 25, 2010

Feb. 25, 2010

Bonjour les Isis-iens, je ne sais pas si vous avez essayé de lancer la nouvelle version d'isis...ça fonctionne ? Pour ma part, petit souci, apparemment, il coince avec le ResultName J'arrive quand même à ouvrir l'interface isis, donc en le compilant, j'obtiens : C:\Documents and Settings\drocklin\isis-database-3\scripts\ResultName.java:1: class, interface, or enum expected <<<<<<< .mine ^ C:\Documents and Settings\drocklin\isis-database-3\scripts\ResultName.java:145: class, interface, or enum expected ======= ^ C:\Documents and Settings\drocklin\isis-database-3\scripts\ResultName.java:179: class, interface, or enum expected import static org.nuiton.i18n.I18n.n_; ^ C:\Documents and Settings\drocklin\isis-database-3\scripts\ResultName.java:181: class, interface, or enum expected import fr.ifremer.isisfish.util.Doc; // pour pouvoir afficher une aide contextuelle (BUG#1605) ^ C:\Documents and Settings\drocklin\isis-database-3\scripts\ResultName.java:568: class, interface, or enum expected >>>>>>> .r234 ^ 5 errors je ne sais pas d'où viennent les <<<<<< et les >>>>>>>>> et les ======, mais apparemment il n'aime pas... De plus, certains noms de fichiers apparaissent en couleur (ex, le ResultName apparaît en bleu). Certains sont en vert, apparemment ceux faits-maison ! et une grande majorité des "rules" sont en bleu....(cantonnement, effortreduction, interdictionengin, tac....) ça veut dire quoi ? Qu'il les a modifié en les important ? (en remplaçant les org.cordelutin par org.nuiton ? D'ailleurs, ce n'est pas modifié automatiquement ds tous les scripts.... Est-ce que qqun d'autre a eu ce genre de soucis ? merci Delph

3 6

Nouvelle version d'Isis-Fish 3.3 disponible
by Eric Chatellier Feb. 24, 2010

Feb. 24, 2010

Bonjour, Une nouvelle version de test d'IsisFish 3.3.O.0, est disponible à l'adresse : http://isis-fish.labs.libre-entreprise.org/wiki-moin/instance/cgi-bin/moin.… Pensez à sauvegarder votre dossier isis-database-3 avant de lancer cette nouvelle version d'IsisFish. Cette version comporte plusieurs modifications: - migration codelutin vers nuiton - amélioration de l'utilisation de caparmor - diverses corrections de bugs Migration codelutin vers nuiton ------------------------------- Les librairies utilisées par IsisFish ont changé de serveur et leurs nom de package également. Concrètement, cela signifie que dans les scripts (règles, plans), les imports en tête de fichier: org.codelutin. devrons être remplacés par: org.nuiton. IsisFish effectuera la migration lui même lors du premier lancement. Il est toutefois conseillé de vérifier les scripts depuis l'interface de gestion. Les liens vers les API Java ont été mises à jour sur le wiki : http://isis-fish.labs.libre-entreprise.org/wiki-moin/instance/cgi-bin/moin.… Erreur de compilation ~~~~~~~~~~~~~~~~~~~~~ Certaines erreurs de compilation sont connues. Auparavant le code suivant: List<PopulationGroup> groups = matrixCatchPerStrategyMetPerCell.getSemantic(2); produisait un warning Java. Maintenant il produit une erreur. Il faut corriger ce genre d'erreur en forçant le cast : List<PopulationGroup> groups = (List<PopulationGroup>)matrixCatchPerStrategyMetPerCell.getSemantic(2); C'est normalement la seule erreur qui pourrait survenir. Amélioration de l'utilisation de caparmor ----------------------------------------- La majeure partie des améliorations concerne l'utilisation de caparmor. Multijob ~~~~~~~~ Les plans d'analyse indépendants et les analyses de sensibilités sont exécutés sur caparmor dans un job unique. Cela permet notamment d'aller au delà de la limite de 100 simulation qui était imposée dans la version 3.2. Il est maintenant important que les plans d'analyse se termine correctement (sans erreur sur la condition d'arrêt) car IsisFish demande le démarrage du plan lors de l'envoi de la dernière simulation. Les plans dépendants exécutés sur caparmor ne sont pas concernés car les simulations sont séquentielles. Espace disque ~~~~~~~~~~~~~ IsisFish supprimera maintenant les fichiers inutiles après téléchargement des résultats. Les erreurs dues au dépassement du quota de 50go seront donc moins fréquentes. Installation ~~~~~~~~~~~~ Pensez à modifier votre configuration. Si IsisFish n'est pas installé sur votre compte caparmor, vous pouvez utiliser la version disponible à l'emplacement suivant (configuration : "Emplacement d'IsisFish") : /home3/caparmor/poussin/isis-fish-3.3.0 Le changelog complet est disponible à l'adresse suivante : http://isis-fish.labs.libre-entreprise.org/wiki-moin/instance/cgi-bin/moin.… Cordialement. -- Éric <chatellier(a)codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com

1 0

error lors de la vérification de la pecherie
by Sigrid LEHUTA Feb. 23, 2010

Feb. 23, 2010

re bonjour ! (vous l aurez deviné, je travaille sur isis aujourd hui ;-)) J'ai obtenu ce message lorsque j ai tenté de verifier ma pecherie. je ne comprends pas d ou vient l erreur : de la pecherie ou de la procedure de vérification ? Merci de votre aide. Sigrid -- Erreur Message: java.lang.NullPointerException Level: SEVERE Stack Trace: null fr.ifremer.isisfish.ui.input.check.CheckRegion.check(CheckRegion.java:92) fr.ifremer.isisfish.ui.input.check.CheckRegion.check(CheckRegion.java:297) fr.ifremer.isisfish.ui.input.check.CheckRegion.check(CheckRegion.java:237) fr.ifremer.isisfish.ui.input.check.CheckRegion.check(CheckRegion.java:376) fr.ifremer.isisfish.ui.input.InputAction.checkFisheryRegion(InputAction.java:1301) fr.ifremer.isisfish.ui.input.FisheryRegionUI.check(FisheryRegionUI.java:147) fr.ifremer.isisfish.ui.input.FisheryRegionUI.doActionPerformed__on__check(FisheryRegionUI.java:353) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) java.lang.reflect.Method.invoke(Unknown Source) jaxx.runtime.Util$1.invoke(Util.java:144) $Proxy4.actionPerformed(Unknown Source) javax.swing.AbstractButton.fireActionPerformed(Unknown Source) javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source) javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source) javax.swing.DefaultButtonModel.setPressed(Unknown Source) javax.swing.plaf.basic.BasicButtonListener.mouseReleased(Unknown Source) java.awt.Component.processMouseEvent(Unknown Source) javax.swing.JComponent.processMouseEvent(Unknown Source) java.awt.Component.processEvent(Unknown Source) java.awt.Container.processEvent(Unknown Source) java.awt.Component.dispatchEventImpl(Unknown Source) java.awt.Container.dispatchEventImpl(Unknown Source) java.awt.Component.dispatchEvent(Unknown Source) java.awt.LightweightDispatcher.retargetMouseEvent(Unknown Source) java.awt.LightweightDispatcher.processMouseEvent(Unknown Source) java.awt.LightweightDispatcher.dispatchEvent(Unknown Source) java.awt.Container.dispatchEventImpl(Unknown Source) java.awt.Window.dispatchEventImpl(Unknown Source) java.awt.Component.dispatchEvent(Unknown Source) java.awt.EventQueue.dispatchEvent(Unknown Source) java.awt.EventDispatchThread.pumpOneEventForFilters(Unknown Source) java.awt.EventDispatchThread.pumpEventsForFilter(Unknown Source) java.awt.EventDispatchThread.pumpEventsForHierarchy(Unknown Source) java.awt.EventDispatchThread.pumpEvents(Unknown Source) java.awt.EventDispatchThread.pumpEvents(Unknown Source) java.awt.EventDispatchThread.run(Unknown Source) -- Sigrid LEHUTA ~ ><> ~ Doctorante Département Ecologie et Modèles pour l'Halieutique IFREMER, rue de l'ile d'Yeu BP 21105 44311 Nantes Cedex 03 Tél : +33 (0)2 40 37 41 23 (interne : 8123)

2 1

selection des cellules d une zone V3.3
by Sigrid LEHUTA Feb. 23, 2010

Feb. 23, 2010

Bonjour tout le monde, j'ai un petit bug en V3.3 : dans l interface de saisie de la pecherie, onglet zones, je veux creer une zone qui contient toutes mes cellules, mais ctrl+A dans la liste des cellules ne fonctionne pas. Je dois cliquer sur chaque cellule une par une (c est le meme souci je pense que celui identifié pour la selection des strategies dans la fenetre de lancement de simulation). Pourrait on autoriser le ctrl+A dans une future version ? merci a++ Sigrid -- Sigrid LEHUTA ~ ><> ~ Doctorante Département Ecologie et Modèles pour l'Halieutique IFREMER, rue de l'ile d'Yeu BP 21105 44311 Nantes Cedex 03 Tél : +33 (0)2 40 37 41 23 (interne : 8123)

2 1

CAPARMOR accès extranet
by Bastien Preuss Feb. 16, 2010

Feb. 16, 2010

Bonjour à tous, Jai contacté Tina pour savoir si je pouvais avoir accès à CAPARMOR en nétant pas sur le réseau IFREMER, et sa réponse est quil est possible dutiliser le « portail extranet ». Ma question est donc de savoir sil est possible de configurer laccès en extranet à CAPARMOR via linterface ISIS ? Merci. Bastien Bastien Preuss Doctorant (PhD Student) IFREMER - IRD - Université de Nouvelle-Calédonie 101 Promenade Roger Laroque BP A5 98848 Noumea cedex New-Caledonia Tel: (+687) 260 723 P afin de contribuer au respect de l'environnement, merci de n'imprimer ce mail qu'en cas de nécessité

1 0