- Isis-fish-devel - mailman.cloud.codelutin.com

fichier de résultats mappés dans la ram ?
by Loic GASCHE Feb. 11, 2014

Feb. 11, 2014

Bonjour, En discutant avec Tina au sujet du ficher results.mapped de chaque simu elle a émis l'idée que celui-ci soit écrit dans la ram plutôt que sur le disque. A priori cela permettrait d'accélérer pas mal les temps de simulation car les accès disques sont couteux en temps. Comme on peut disposer de 24 gigas de ram au maximum par simu il y aurait largement de quoi faire tenir ce fichier. Par contre plus on utilise de ram et moins on peut utiliser de coeurs sur caparmor, donc on aurait des simus qui tournent plus vite mais moins de simus en parallèle. Mais le compromis peut être intéressant si on réduit vraiment les temps de simulation. Est-ce que vous pensez qu'il est faisable de demander à ISIS d'écrire le results.mapped (et éventuellement d'autres fichiers écrits sur le disque dont on n'aurait pas besoin au final pour l'AS) dans la ram ? Loïc

3 3

Running a big sensitivity analysis with ISIS-Fish on caparmor ?
by Loic GASCHE Feb. 6, 2014

Feb. 6, 2014

Hi Tina, It seems that we have solved the last few problems we had with ISIS-Fish and that it now runs well on caparmor. We would like to run one big sensitivity analysis on caparmor. So far we ran 500 simulations. The ideal for us would be 10000 simulations to be consistent with a sensitivity analysis we ran at the beginning of 2013. If this number is too high maybe we can make choices and reduce it a bit but we will still need to run several thousand simulations. We are not in a great hurry so it is perfectly fine for us if the analysis runs for several weeks or even a month. Is it possible to run the analysis on caparmor with "a few" cores and "automatically" increase the number of cores used when more cores are available on caparmor (weekends, holidays ?) ? Do you think we should wait for a period when few jobs run on caparmor and only then run our big sensitivity analysis ? Loïc

1 0

Re: [Isis-fish-devel] last night's problem with isis-fish
by Eric Chatellier Jan. 30, 2014

Jan. 30, 2014

Le 29/01/2014 10:33, Tina ODAKA a écrit : > 2. or put more memory space for the simulation, and stop the java option to > use disk. > >For isis simulations, we are using a memory mapped file [1] to store results > into memory (but with real backend storage on file system). > > What you can do is, if isisfish can chose directory to use on caparmor, chose > /home/trash/Users/5_days_max/lgasche We could try to modify configuration to point to that directory or simlink simulation directory to that directory. > then, > also use option not to use real backend storage on file system, then submit > job with > -q parallel8 -l select=1:ncpus=8 > so that we can check how much memory in total it will use; We can't do that anymore with isis fish (this is not a configurable options). Can you confirm that memory mapped file is counted into global jobs memory ? If so, since it's not real RAM memory, if there a way for caparmor to exclude memory mapped file from total count ? Is it a problem to use memory mapped file on caparmor ? Thanks in advance. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28

2 1

Re: [Isis-fish-devel] [Isis-fish-users] Simulations arrêtées en cours
by Eric Chatellier Jan. 24, 2014

Jan. 24, 2014

Le 30/12/2013 09:39, Tina ODAKA a écrit : > Hi eric, > were you able to see that it use more than 2G of ram?? Hi Tina, We may have a clue on this issue. For isis simulations, we are using a memory mapped file [1] to store results into memory (but with real backend storage on file system). It's possible that this memory mapped file is counted into global job memory (this file is huge > 3Gb) ? [1] : http://en.wikipedia.org/wiki/Memory-mapped_file -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 0

Calibration & caparmor
by Sigrid Lehuta Jan. 20, 2014

Jan. 20, 2014

Salut les lutins, Audric qui travaille sur la calibration pour ISIS, a commencé à identifier les librairies java et R dispo pour l’optimisation et à s’interroger sur la manière de les utiliser dans ISIS. On aimerait bien bénéficier de vos lumières là-dessus et voir la manière la plus efficace de développer les codes pour qu'ils s'intègrent dans la nouvelle interface aisément. De plus j'aimerais faire le point avec vous sur les problèmes avec Caparmor et les remarques que m'a fait Tina vendredi aux journées des utilisateurs... Seriez-vous dispo cette semaine pour une réunion (à l’ifremer) ? De préférence jeudi aprem ou vendredi. Ca sera l'occas' pour que vous nous apportiez la carte de voeux code lutin ;-) Merci Sigrid

2 4

Présentation journées caparmor
by Sigrid Lehuta Jan. 13, 2014

Jan. 13, 2014

Bonjour à tous, je présente vendredi l'utilisation de Caparmor pour ISIS aux journées des utilisateurs Caparmor. Ca serait l'occasion de faire un bilan des améliorations et problèmes rencontrés depuis la dernière présentation a ces journées en 2009. N'ayant pas été la plus active sur caparmor, pourriez vous apporter de l'eau à mon moulin? Avez vous des demandes pour caparmor 2017? Merci d'avance! Sigrid

1 0

Re: [Isis-fish-devel] Fwd: Re: CAPARMOR - différence entre la réservation cpu et l'utilisation
by Tina ODAKA Jan. 10, 2014

Jan. 10, 2014

thanks, i'm following your job now. you are using r2i2n2 for your job (for array number 1) http://caparmor-admin2.ifremer.fr/ganglia/?m=load_one&r=hour&s=descending&c… if the developper from isis-fish want to follow how the job evolve, using top or strace, they need to connect caparmor with your account, then do ssh r2i2n2 with your account. tina Le 07/01/2014 10:30, Loic GASCHE a écrit : > Hi Tina, > > I submitted the same job as yesterday using the option you told me to > use. > > Loïc > > Le 07/01/2014 10:10, Tina ODAKA a écrit : >> hi loic, >> can you try to submit same job you've submitted yesterday this morning? >> (plz use option >> -q parallel8 -l select=1:ncpus=8 >> ) >> i want to verify if you've really using 8 cores; >> thanks tina >> >> >> Le 07/01/2014 09:55, Denis Croizé-Fillon a écrit : >>> >>> >>> >>> -------- Original Message -------- >>> Subject: Re: CAPARMOR - différence entre la réservation cpu et >>> l'utilisation >>> Date: Mon, 06 Jan 2014 17:12:27 +0100 >>> From: Denis Croizé-Fillon <Denis.Croize.Fillon(a)ifremer.fr> >>> To: Loic GASCHE <Loic.Gasche(a)ifremer.fr>, >>> isis-fish-devel(a)list.isis-fish.org >>> >>> >>> Ok, merci de votre retour. >>> Je verrai avec tina et l'équipe isis-fisch car les processus java >>> utilisent plus d'un coeur et pénalisent les autres utilisateurs >>> >>> Bonne fin de journée, >>> Denis >>> >>> >>> On 01/06/14 16:58, Loic GASCHE wrote: >>>> Bonjour, >>>> >>>> Lorsque lancé dans la queue "sequentiel" ISIS-Fish utilise >>>> habituellement 8 coeurs. >>>> >>>> Nous n'utilisons pas les files "parallel" car en fait ISIS fait >>>> tourner >>>> une simulation par coeur, l'utilisation de beaucoup de coeurs >>>> venant du >>>> fait que nous faisons de nombreuses simulations en même temps. >>>> >>>> Il y a à priori une file spéciale pour ISIS mais elle limite les >>>> jobs à >>>> 10 minutes, ce qui est très insuffisant pour les simulations que nous >>>> faisons tourner actuellement. >>>> >>>> Tina m'a donc dit d'utiliser la file "sequentiel", que nous utilisons >>>> par ailleurs depuis plusieurs années. J'ai d'ailleurs déjà fait >>>> tourner >>>> des dizaines de milliers de simulations de cette manière. >>>> >>>> Je n'ai pas les compétences techniques pour faire évoluer ISIS afin de >>>> pouvoir utiliser les queues "parallel", mais je transmets votre mail à >>>> la liste des développeurs afin de voir quelles seraient les solutions. >>>> >>>> Loïc >>>> >>>> Le 06/01/2014 16:36, Denis Croizé-Fillon a écrit : >>>>> >>>>> Bonjour, >>>>> >>>>> >>>>> >>>>> j'observe pour vos jobs 6019446[0] et 6019446[1] une différence >>>>> entre la >>>>> réservation CPU et l'utilisation qui est faite. >>>>> >>>>> Vous lancez ces processus sur sequentiel correspondant à un unique >>>>> coeur >>>>> utilisé. La commande qstat -f 6019446\[0\] montre alors ce que PBS >>>>> réserve : exec_vnode = (r5i2n8:mem=2867200kb:ncpus=1) >>>>> >>>>> Pourtant, localement, le processus utilise plus qu'un coeur (% cpu >>>>> supérieur à 100): >>>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND >>>>> >>>>> >>>>> 1990 lgasche 20 0 2562m 1.6g 406m S 255 6.7 213:43.96 java >>>>> >>>>> >>>>> 1994 lgasche 20 0 2603m 2.3g 1.1g S 164 9.8 219:46.86 java >>>>> >>>>> Votre processus java apparait faire du multithreading, donc utilisant >>>>> plus d'un coeur. Toutefois, le noeud de calcul est également utilisé >>>>> par >>>>> d'autres processus ayant fait la demande des coeurs disponibles. Ces >>>>> processus n'ont toutefois pas accès à toutes les ressources demandées >>>>> puisque utilisées par vos processus. >>>>> >>>>> Il vous faut donc, soit limiter votre utilisation en nombre de coeur >>>>> à 1 >>>>> comme ce qui est réservé ou, demander plus de coeurs et soumettre sur >>>>> une file comme parallel8 parallel16 ... >>>>> >>>>> Merci de faire évoluer vos scripts en ce sens et de relancer vos jobs >>>>> pour libérer les ressources des autres utilisateurs. Merci >>>>> >>>>> Denis >>> >>> >>> >> -- =================================================== Tina Odaka RIC - IDM - IMN - IFREMER Pôle de Calcul Intensif pour la Mer (PCIM) Tel: +33 (0)2 98 22 41 85 Fax: +33 (0)2 98 22 45 46 email: Tina.Odaka(a)ifremer.fr http://www.ifremer.fr/pcim ==================================================

3 4

Re: [Isis-fish-devel] CAPARMOR - différence entre la réservation cpu et l'utilisation
by Loic GASCHE Jan. 6, 2014

Jan. 6, 2014

Bonjour, Lorsque lancé dans la queue "sequentiel" ISIS-Fish utilise habituellement 8 coeurs. Nous n'utilisons pas les files "parallel" car en fait ISIS fait tourner une simulation par coeur, l'utilisation de beaucoup de coeurs venant du fait que nous faisons de nombreuses simulations en même temps. Il y a à priori une file spéciale pour ISIS mais elle limite les jobs à 10 minutes, ce qui est très insuffisant pour les simulations que nous faisons tourner actuellement. Tina m'a donc dit d'utiliser la file "sequentiel", que nous utilisons par ailleurs depuis plusieurs années. J'ai d'ailleurs déjà fait tourner des dizaines de milliers de simulations de cette manière. Je n'ai pas les compétences techniques pour faire évoluer ISIS afin de pouvoir utiliser les queues "parallel", mais je transmets votre mail à la liste des développeurs afin de voir quelles seraient les solutions. Loïc Le 06/01/2014 16:36, Denis Croizé-Fillon a écrit : > > Bonjour, > > > > j'observe pour vos jobs 6019446[0] et 6019446[1] une différence entre la > réservation CPU et l'utilisation qui est faite. > > Vous lancez ces processus sur sequentiel correspondant à un unique coeur > utilisé. La commande qstat -f 6019446\[0\] montre alors ce que PBS > réserve : exec_vnode = (r5i2n8:mem=2867200kb:ncpus=1) > > Pourtant, localement, le processus utilise plus qu'un coeur (% cpu > supérieur à 100): > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND > > > 1990 lgasche 20 0 2562m 1.6g 406m S 255 6.7 213:43.96 java > > > 1994 lgasche 20 0 2603m 2.3g 1.1g S 164 9.8 219:46.86 java > > Votre processus java apparait faire du multithreading, donc utilisant > plus d'un coeur. Toutefois, le noeud de calcul est également utilisé par > d'autres processus ayant fait la demande des coeurs disponibles. Ces > processus n'ont toutefois pas accès à toutes les ressources demandées > puisque utilisées par vos processus. > > Il vous faut donc, soit limiter votre utilisation en nombre de coeur à 1 > comme ce qui est réservé ou, demander plus de coeurs et soumettre sur > une file comme parallel8 parallel16 ... > > Merci de faire évoluer vos scripts en ce sens et de relancer vos jobs > pour libérer les ressources des autres utilisateurs. Merci > > Denis

2 1

Ressources Isis-fish
by Postmaster ISIS-Fish Dec. 31, 2013

Dec. 31, 2013

Amis utilisateurs d'ISIS-Fish, Ce mail automatique, envoyé tous les 3 mois sur les listes de diffusions du projet, a pour but de vous rappeler toutes les ressources disponibles pour toutes vos éventuelles questions et problèmes. Documentation et manuel utilisateurs ------------------------------------ La documentation d'ISIS-Fish est présente sur le site à cette adresse : http://isis-fish.org/v4/index.html. N'hésitez pas à nous remonter les parties qui ne sont pas claires ou les parties qui ne sont pas à jour, le logiciel évoluant, certaines parties de la documentation sont peut-être obsolètes. Questions et FAQ ---------------- Vous pouvez poser vos questions à cette même liste de diffusion en envoyant un mail à isis-fish-users(a)list.isis-fish.org. Toutes les personnes abonnées le recevront et pourront répondre à vos éventuelles questions. N'oubliez pas, avant de poser votre question, de rechercher parmis les archives de la liste (http://list.isis-fish.org/pipermail/isis-fish-users/) votre question a peut-être déjà été posée. Les questions les plus fréquemment posées sont regroupées sur le site sur la page FAQ : http://isis-fish.org/v4/user/FAQ.html Forge, rapports de bug, suivi des évolutions -------------------------------------------- Si vous rencontrez un bug, vous pouvez vérifier sur la forge ISIS-Fish (http://forge.codelutin.com/projects/isis-fish/issues) si nous en avons déjà connaissance. Si nous n'en avons pas connaissance, vous pouvez nous rapporter le bug, nous l'intègrerons dans la liste des évolutions prévues (http://forge.codelutin.com/projects/isis-fish/roadmap) Pour rapporter un bug (ou une demande d'évolution), donnez nous le maximum de détails sur ce bug (comment vous l'avez obtenu ? votre base, vos paramètres et le fichier debug.txt). Plus nous avons d'informations, plus nous pourrons vous aider simplement. L'équipe ISIS-Fish

1 0

Re: [Isis-fish-devel] [Isis-fish-users] Fwd: Re: Fwd: Re: Fwd: Re: HelpDesk Nv3 / n°=191007 : Re: Accès à plus de coeurs sur caparmor ?
by Eric Chatellier Dec. 17, 2013

Dec. 17, 2013

Le 17/12/2013 13:42, Tina ODAKA a écrit : > > hi eric > cc loic > > if the time is lost with read and write, i should see that on system call as > 'read' > and > 'write' > but i do not see that. > > so it is strange > > i tried to strace for 8 minutes, it loose 12 seconds with systemcall, with > futex, where you have 27817 err of futex. > > i do not see at all 'read or 'write' for system call! > tina > > > r5i0n0:~ # time strace -p 29123 -f -c > Process 29411 attached with 31 threads - interrupt to quit > ^CProcess 29123 detached > Process 29203 detached We are using java embedded database that may use linux lock file. If this lock file can cause futex wait errors, maybe i can search how to use another lock mecanism. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 0