C'est ultra spécifique à datarmor et je ne connais pas grand chose. Il vaut mieux demander à l'assistance dans ce cas. Le 19/03/2024 à 12:34, Sigrid LEHUTA a écrit :
Hello, J'ai testé et j ai une erreur :
"cannot send environment with the job". Eric, tu sais pourquoi ? le pbs est en pj.
Ya pas un pb a utiliser :
# calculer le nombre de cœurs, car utiliser $NCPUS pas fiable (cf tout en bas) export mpiproc=$(cat $PBS_NODEFILE | wc -l) # normalement = 28 × nº queue MPI choisie et
myR () { mpiexec -np $mpiproc $(R RHOME)/library/snow/RMPISNOW --no-restore --no-save --quiet $@ # shouldn’t use --vanilla because errors don’t stop execution }
Merci !
Le 19/03/2024 à 12:07, Sigrid LEHUTA a écrit :
Je pense que c est aussi ce qu'il m a proposé, il m'avait bien maché le travail. je n ai pas encore testé, je suis preuneuse de tes retours.
--- message de mickael :
Une autre possibilité, c'est de sortir du MPI pour utiliser un noeud à forte mémoire, qui aura du disque local pouvant porter ton besoin. Auquel cas au lieu d'écrire sous $SCRATCH/myISISdb, tu pourrais aller écrire dans $TMPDIR qui dispose sur ces noeuds de quasiment 1To d'espace, et de suffisamment de place pour tes millions de fichiers.
Auquel cas ta soumission ressemblerait à
#PBS -N ISIS_DEFIPEL_search_LHS_q_tarEsp_pil_year15 #PBS -q omp #PBS -l select=1:ncpus=56:mem=240g #PBS -l walltime=48:0:0
Le 19/03/2024 à 11:58, Eric Chatellier a écrit :
Je pense que c'est déjà correct.
Dans le script il y a déjà l'option: PBS -q omp
C'est la file 'omp' qui a une limitation a 56 coeurs. La file "mpi_2" qui tu devais utiliser avant a des limitations différentes.
Le 19/03/2024 à 11:12, aricouar a écrit :
Bonjour,
Ci-dessous les instructions de Mickael pour Datarmor. Il me suggère une solution sans utiliser le SCRATCH. Ci-joint le script .pbs partiellement modifié ; je ne sais pas quelle est la commande pour demander 56 cpus comme indiqué par Mickael. Quelqu'un pourrait-il m'aider ? Merci,
Antoine
-------- Courriel original -------- Objet: Re: [Ticket#2024031520001384] PBS JOB 8772608.datarmor0 Date: 2024-03-18 11:27 De: Assistance Informatique <assistance@ifremer.fr> À: aricouar <aricouar@ifremer.fr>
Dans ce cas on va tenter autre chose. Au lieu de faire du mpi_2, je te propose plutôt de demander 56 cpus et 240gb de ram sur la file omp Tu iras sur un noeud qui a un disque local.
Et au lieu d'écrire tes données sous $SCRATCH, essaie de les écrire sous $TMPDIR
Tu utiliseras alors le disque local plutôt que le scratch, et l'impact sera alors effacé.
-- Mickael DEQUIDT
18.03.2024 10:20 - aricouar a écrit: Da combien faudrait-il réduire le nombre de simulations ? Je peux sans doute réduire un peu mais il me semble important d'en lancer suffisamment en parallèle.
Le 2024-03-18 10:05, Assistance Informatique a écrit :
OK.
Peux-tu tout simplement réduire le nombre de simulations en parallèle ? Ou bien l'intérêt du job est-il justement de les paralléliser ?
-- Mickael DEQUIDT
18.03.2024 09:52 - aricouar a écrit: Bonjour,
Non, j'ai lancé un seul job qui comprend 56 simulations en parallèle, mais chacune de ces simulations est assez gourmande en mémoire. Comment pourrais-je faire pour faire tourner ces simulations correctement ? Merci.
Antoine
Le 2024-03-18 09:41, Assistance Informatique a écrit :
Bonjour Antoine,
ah, oui, ton job a dû secouer le scratch suffisamment pour que le serveur PBS le tue direct. Tu en avais lancé plusieurs en même temps ?
-- Mickael DEQUIDT
15.03.2024 16:44 - aricouar a écrit: Bonjour,
Mon job datarmor voir (ci-dessous) a été stoppé. Y a-t-il un problème ? Et cela a-t-il un rapport avec l'extension de mémoire requise ? Merci
Antoine Ricouard
-------- Courriel original -------- Objet: PBS JOB 8772608.datarmor0 Date: 2024-03-15 16:28 De: pcim@ifremer.fr (root) À: aricouar@ifremer.fr
PBS Job Id: 8772608.datarmor0 Job Name: ISIS_MACCO_Eq Job to be deleted at request of root@admin.head.ice.ifremer.fr
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- Éric Chatellier - www.codelutin.com - 02.40.50.29.28