Attendre pour l'ensemble de qsub travaux

lancez vos travaux qsub, en utilisant l'option-N pour leur donner des noms arbitraires (job1, job2, etc):

qsub -N job1 -cwd ./job1_script
qsub -N job2 -cwd ./job2_script
qsub -N job3 -cwd ./job3_script

lancez votre script et dites-lui d'attendre que les travaux nommés job1, job2 et job3 soient terminés avant de commencer:

qsub -hold_jid job1,job2,job3 -cwd ./results_script

qsub -hold_jid job1,job2,job3 -cwd ./myscript

une autre variante (de ici ) est la suivante:

FIRST=$(qsub job1.pbs)
echo $FIRST
SECOND=$(qsub -W depend=afterany:$FIRST job2.pbs)
echo $SECOND
THIRD=$(qsub -W depend=afterany:$SECOND job3.pbs)
echo $THIRD

l'intuition est que qsub renvoie le jobid et que celui-ci est typiquement sous-évalué à la sortie standard. Au lieu de cela, capturez-le dans une variable ( $FIRST , $SECOND , $THIRD ) et utilisez le drapeau -W depend=afterany:[JOBIDs] lorsque vous interrogez vos emplois pour contrôler la structure de dépendance de quand ils sont déclarés.

si tous les emplois ont un motif commun dans le nom, vous pouvez fournir ce motif lorsque vous soumettez les emplois. https://linux.die.net/man/1/sge_types vous montre quels modèles vous pouvez utiliser. exemple:

-hold_jid "job_name_pattern*"

dans le cas où vous avez 150 fichiers que vous voulez traiter et être en mesure d'exécuter seulement 15 à chaque fois, tandis que l'autre sont dans la tenue dans la file d'attente, vous pouvez définir quelque chose comme ceci.

# split my list files in a junk of small list having 10 file each
awk 'NR%10==1 {x="F"++i;}{ print >  "list_part"x".txt" }'  list.txt

qsub tous les emplois d'une manière telle que le premier de chaque list_part*.txt tenir le second ....la deuxième, de la troisième .....et ainsi de suite.

for list in $( ls list_part*.txt ) ; do
    PREV_JOB=$(qsub start.sh) # create a dummy script start.sh just for starting
 for file in  $(cat $list )  ; do
   NEXT_JOB=$(qsub -v file=$file  -W depend=afterany:$PREV_JOB  myscript.sh )
   PREV_JOB=$NEXT_JOB
 done
done

c'est utile si vous avez dans myscript.sh une procédure qui nécessite le déplacement ou le téléchargement de nombreux fichiers ou créer un trafic intense dans le cluster-lan

cela fonctionne à bash, mais les idées doivent être portables. Utilisez -terse pour faciliter la construction d'une chaîne de caractères avec des identificateurs de tâches à attendre, puis soumettez un travail fictif qui utilise -hold_jid pour attendre les travaux précédents et -sync y pour que qsub ne revienne pas avant qu'il (et donc tous les prereqs) ait terminé:

# example where each of three jobs just sleeps for some time:
job_ids=$(qsub -terse -b y sleep 10)
job_ids=job_ids,$(qsub -terse -b y sleep 20)
job_ids=job_ids,$(qsub -terse -b y sleep 30)
qsub -hold_jid ${job_ids} -sync y -b y echo "DONE"  

• -terse l'option rend la sortie de qsub juste être le job id
• -hold_jid option (comme mentionné dans d'autres réponses) fait un travail d'attendre sur les id de tâche
• -sync y option (référencée par L'OP) demande à qsub de ne pas revenir tant que le travail soumis n'est pas terminé
• -b y spécifie que la commande n'est pas un chemin vers un fichier de script (par exemple, j'utilise sleep 30 comme commande)

Voir la l'homme page pour plus de détails.

j'avais besoin de plus de flexibilité, donc j'ai construit un module Python pour ceci et d'autres buts ici . Vous pouvez exécuter le module directement sous forme de script ( python qsub.py ) pour une démo.

Utilisation:

$ git clone https://github.com/stevekm/util.git
$ cd util
$ python
Python 2.7.3 (default, Mar 29 2013, 16:50:34)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import qsub
>>> job = qsub.submit(command = 'echo foo; sleep 60', print_verbose = True)
qsub command is:

qsub -j y -N "python" -o :"/home/util/" -e :"/home/util/" <<E0F
set -x
echo foo; sleep 60
set +x
E0F

>>> qsub.monitor_jobs(jobs = [job], print_verbose = True)
Monitoring jobs for completion. Number of jobs in queue: 1
Number of jobs in queue: 0
No jobs remaining in the job queue
([Job(id = 4112505, name = python, log_dir = None)], [])

conçu avec Python 2.7 et SGE puisque c'est ce que notre système exécute. Les seules bibliothèques Python non standard requises sont les modules tools.py et log.py inclus, et sh.py (aussi inclus)

évidemment pas aussi utile si vous souhaitez rester purement dans bash , mais si vous avez besoin d'attendre sur qsub jobs alors j'imagine que votre flux de travail est en bordure vers une complexité qui gagnerait à utiliser Python à la place.