General Motors > Informatique
[TOPICAZAT] Python et structure de donnees complexes
Caabale:
Nan mais je sais ce que c'est xargs, hein, c'est juste que c'est complètement hors-sujet...
John Henry:
No no ! xarg peut servir à faire de la parallélisation de script §§
Caabale:
Non, mais atta, je t'explique:
Les scripts d'analyse en question sont générés par un flow, qui générent ces scripts (qui lancent des outils dans différentes conditions), et qui sont inter dépendants (certains scripts génèrent des fichiers utilisés par d'autres).
Ces scripts sont lancés en série par un "run file" qui est un bête script sh qui lance ces scripts.
C'est une grosse usine à gaz, c'est trop compliqué, mais c'est comme a, j'ai pas le choix.
Le but de mon truc, c'est de modifier ces run files pour que les scripts soient lancés sur lsf, avec une option qui dit quand besoin est à chaque script : attend que celui-là soit fini avant de te lancer.
Pour faire ça, je fais un perl qui lit ces scripts pour voir quelles sont leurs dépendances, ce qui me permet de modifier le run file de façon adéquate.
xarg ne m'est d'aucune utilité là-dedans et en plus, c'est pas la question.
Bon, je vais jeter un coup d'oeil au man de python, d'après ce que tu m'a dit, doit y avoir un moyen de faire quelque chose de plus lisible.
Shor-T:
--- Citation de: Caabale le 19/05/09 23:32 ---
Ok, mais le genre de stuctures à la con comme décrit plus haut, ça se fait plus simplement ou pas ?
Si :D Mais là, je vois relativement mal comment faire plus simple. Pour la structure là, cétait en fait un script qui analysaient une série de scripts sh qui lancent des outils qui génèrent des fichiers, mais avec des dépendances (genre le 10 ème script attends un fichier généré par le premier).
Donc je mets ces scripts dans un tableau ordonné (dans l'ordre de lancement), et à chacun, je leur associe une liste (un tableau donc) des scripts dont il dépendent. Sachant que j'ai aussi besoin de stocker d'autres infos sur ces scripts.
Le but étant de paralléliser le lancement de ces scripts, qui aujourd'hui s'exécutent les uns après les autres...
--- Fin de citation ---
[:grunt]
Caabale:
Ca n'est pas le script perl le plus complexe que j'aurais fait :o Et si les scripts que j'analyse étaient pas aussi mal foutus, il fonctionnerait depuis qqs temps. Mais bon, garbage in, garbage out, je suis pas alchimiste, je transformerai pas la fiente en or...
Navigation
[*] Page précédente
Utiliser la version classique