La lecture à portée de main
Description
Sujets
Informations
Publié par | chawyang |
Nombre de lectures | 315 |
Langue | Français |
Poids de l'ouvrage | 1 Mo |
Extrait
11, rue de l’Université
67000 Strasbourg
ST40 – Stage professionnel
Développement d’un environnement de
distribution de tâches
7KRPDV%8&+(5 – GI03
Automne 2003
6XLYHXUVHQHQWUHSULVH François BONNAREL et Pierre FERNIQUE
6XLYHXU87%0 Jaafar GABER
5HPHUFLHPHQWV
Tout d’abord, je tiens à remercier Jean-Marie HAMEURY, le directeur de
l’Observatoire, ainsi que Françoise GENOVA, la directrice du CDS, pour m’avoir permis de
joindre leur personnel durant ces quelques mois.
Ensuite, je remercie François BONNAREL et Pierre FERNIQUE, mes tuteurs, pour
toutes les informations qu’ils m’ont apportées, pour les conseils qu’ils m’ont donnés, pour
leur suivi, leur patience et leur intérêt porté sur le travail que j’ai réalisé.
D’autre part, je suis reconnaissant envers Thomas KELLER et Jean-Yves
HANGOUET, les administrateurs, pour le temps qu’ils ont consacré à m’aider lors de pro-
blèmes réseau et d’administration.
Je remercie aussi André SCHAAFF, membre de l’équipe ViZieR, pour s’être impliqué
dans la correction des différentes documentations et pour sa participation aux tests de mon
système, de même que Christophe PICHON et Anaïs OBERTO pour leur collaboration com-
mune à l’interfaçage de mon système avec leurs applications.
Par ailleurs, je tire mon chapeau à Marc WENGER, pour avoir répondu posément à
plusieurs de mes questions concernant différents langages et concepts informatiques.
Enfin, je remercie tout le reste de l’équipe pour son accueil chaleureux et sa bonne
humeur générale, ainsi que Benoît pour avoir partagé avec moi pendant 6 mois ses repas du
midi et ses pauses café.
Automne 2003 Rapport de stage professionnel
6RPPDLUH
Sommaire .............................................................................................................................. 1
Introduction ........................................................................................................................... 3
1 Présentation du lieu d’ accueil......................................................................................... 4
1.1 L’ Observatoire Astronomique de Strasbourg ............................................................................. 4
1.2 Les thèmes de recherche à l’ Observatoire .................................................................................. 4
1.3 Le Centre de Données astronomiques de Strasbourg.................................................................. 5
2 Présentation du sujet ...................................................................................................... 7
2.1 Contexte...................................................................................................................................... 7
2.2 Sujet proposé............................................................................................................................... 8
2.3 Existant et expérience de l’ équipe .............................................................................................. 8
2.4 Déroulement du stage ................................................................................................................. 9
2.4.1 Planning prévisionnel.........................................................................................................9
2.4.2 Planning réel ....................................................................................................................10
3 Recherche de technologies dédiées au clustering.......................................................... 11
3.1 Qu’ est-ce que le clustering ?..................................................................................................... 11
3.2 Plateformes dédiées au clustering............................................................................................. 12
3.3 API particulières au calcul parallèle ......................................................................................... 12
3.3.1 LAM/MPI ............................................................................................................................13
3.3.2 PVM.....................................................................................................................................14
3.4 Logiciels de distribution de tâches............................................................................................ 15
3.4.1 OpenPBS..........................................................................................................................15
3.4.2 Platform LSF....................................................................................................................16
3.4.3 Queue ...............................................................................................................................16
3.4.4 OpenMosix.......................................................................................................................16
4 Analyse comparative des technologies ......................................................................... 17
4.1 Choix de la plateforme utilisée ................................................................................................. 17
4.2 Choix d’ un logiciel existant...................................................................................................... 17
4.3 Utilisation d’ une API pour la réalisation .................................................................................. 18
5 Développement ............................................................................................................ 20
5.1 Structure de l’ environnement de distribution............................................................................ 20
5.2 Choix du langage ...................................................................................................................... 21
5.3 Nommage.................................................................................................................................. 22
5.4 Communication inter-démons................................................................................................... 22
5.5 Structure des démons ................................................................................................................ 23
5.6 Transfert des fichiers ................................................................................................................ 24
5.7 Description des tâches .............................................................................................................. 24
5.8 Gestion des erreurs.................................................................................................................... 26
5.9 Gestion des utilisateurs / sécurité.............................................................................................. 27
5.10 Purification du code.................................................................................................................. 27
5.11 Affichage des informations....................................................................................................... 27
5.12 Auto-configuration.................................................................................................................... 29
5.13 Documentation.......................................................................................................................... 29
5.14 Quelques statistiques................................................................................................................. 30
5.15 Autres utilitaires........................................................................................................................ 30
6 Exploitation et évolutions............................................................................................. 32
BUCHER Thomas - GI03 - UTBM 1 Rapport de stage professionnel Automne 2003
6.1 Mises en exploitation actuelles ................................................................................................. 32
6.1.1 Marsiaa.............................................................................................................................32
6.1.2 Composition RGB............................................................................................................33
6.1.3 Décompressions ...............................................................................................................33
6.1.4 Réechantillonage..............................................................................................................34
6.1.5 Mosaïquage......................................................................................................................34
6.1.6 Débruitage et déconvolution ............................................................................................34
6.2 Évolutions à venir ...............................................................................