Scheduling tasks sharing files on heterogeneous clusters - HAL

Scheduling tasks sharing fileson heterogeneous clusters Arnaud Giersch, Yves Robert, Fr´ed´eric Vivien

To cite this version: Arnaud Giersch, Yves Robert, Fr´ed´eric Vivien. Scheduling tasks sharing fileson heterogeneous clusters. RR-4819, INRIA. 2003.

HAL Id: inria-00071767 https://hal.inria.fr/inria-00071767 Submitted on 23 May 2006

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

Scheduling tasks sharing files on heterogeneous clusters Arnaud Giersch, Yves Robert, Fr´ed´eric Vivien

No 4819 May 2003

ISSN 0249-6399

ISRN INRIA/RR--4819--FR+ENG

` THEME 1

apport de recherche


     ! "# ! $% ! 
 &' (*),+'-/.021 3546),78:9#;=?4@7*AB?CD46)EF;G)&4@H 0I46H ),3J8K3J>&3J4@+ LNM'PRO Q P SUTWVYPRX Z[PR\^]`_aP:bIZdc?Z[b PRO Q PRZ e%f[g@h P:bNV$Pjik\ e V$\Fl&l g^f bNmnP f PRo M P f o M Pp,q rts`SRukTvik\6cxwFy^y{z|T}w@r{~IlnlPRpnmn€_`b[\F&‚ƒP^„†…Fu|l=\F‡^PRZ ˆ ‰‹Š:Œj@Žn^Œ{ LNM ‘Zl&\FlP f ’Zm“P:” g bdPRm•b g Z[o M PRmn]n‚’’pn‡–\—‚’\ f ‡^PYo g ‚‘‚ƒPRo˜b[ g p g^™ ’pnmnP:l=PRpnmnPRp/b a b[\^Z[š?Z g p/b g M P:bdP f[g ‡^PRp“P g ]nZ‹o:‚’]nZdbdP f Z:„ LNM P›b[\^Z[š?ZDm“P:l=PRp&mœ]“l g pžŸ’p“l&]“b &¡&‚’PRZ'¢ M ’o M ’pnƒb[‘\^‚’‚ƒc f PRZ[’m“P g p–\ Q \^ZdbdP f l f[g o˜PRZZ g^f „%~£‡{ƒ”{PRpY¡&‚’P¤Q \jcž¢¥PR‚‘‚=PZ M \ f PRmY?caZdP:”{P f \^‚b[\^Z[š?Z:„ L$M P fg ‚ƒP g^™ b M PNQ \^ZdbdP f ’Z#b g mn’Zdb f ’&]“bdP%b M P¡&‚ƒPRZ#b g b M Pl fg o˜PRZ[Z g^f Z:¦/Z g b M \Fb›b M P:c|o:\^p P˜_?PRo:]nbdP b M P$b[\^Zdš`Z:„ LNM P g  h PRo˜b[ƒ”{P ™5g^f b M PIQ \^ZdbdP f ’Z%b g ZdPR‚ƒPRo˜b¥¢ M ‘o M ¡=‚ƒP$b g ZdPRpnm b g ¢ M ’o M Z[‚’\6”{P^¦ \^p&ma‘p ¢ M ’o M g^f m“P f ¦?Z g \^Zb g Q ‘pn’Q ƒ§:P$b M P¤b g b[\^‚P˜_?PRo:]“b[ g pYb[’Q P^„ LNM P¤o g p?b f ƒ&]nb[ g p g^™ b M ’Z$l=\Fl=P f ’ZIb¨¢ g^™5g ‚’m'„¤©œpkb M P|b M P g^f P:b[‘o:\^‚‹Z’m“P^¦¢¥P|PRZdb[\F&‚‘’Z M o g Q l&‚ƒP˜_“ƒb¨c f PRZ]n‚ƒb[ZNb M \Fb \^ZZdPRZ[Z*b M Pam&ƒª o:]n‚ƒb«c g^™ b M P l fg &‚ƒPRQx„¬©œp­b M Pal f \^o˜b[’o:\^‚®Z[’m“P^¦#¢¯PžmnPRZ[ƒ‡{p°Z[P:”{P f \^‚%pnP:¢ M PR] f ’Zdb[‘o:Z:¦&¢ M ’o M \ f P Z M g ¢$p–b g lP f[™5g^f Q±\^Z¤P:ª o:ƒPRp?b[‚ƒc–\^Z¤b M P|=PRZ[b M PR] f ’Zdb[‘o:Z$’p2² r ¦ z ³ \^‚’b M g ]“‡ M b M PR f o g Z[b$’ZN\^p g^f m“P fNg^™ Q \F‡{pnƒb[]nmnP¤‚ g ¢¯P f „ ´—µt¶·[¸¹ @º‹Š^ » o M PRmn]n‚’’pn‡“¦ M P:bdP f[g ‡^PRp“P g ]nZxo:‚’]&ZdbdP f Z:¦I‡ f ’m'¦$‘pnm“P:lPRpnm“PRp?b b[\^Zdš`Z:¦U¡&‚ƒP˜¼ Z M \ f ’p“‡“¦ M PR] f ’Zdb[’o:ZR„ ½ƒ¾|À¨¿ ÁÃÂRÄ À¯¿ 'ŠƃÁÃÇÉÈ:Ê ËÌ@ÍÏÎÐÃѨÒjÐÍÏÎ#ÓÔÏÎÉÕIÓdÖÓÍÏÔ×ÓØ6Ô×Ñ%ÓÎ#Ó¥ÙÃÑÚÎÉÑdÓ[ÙÃ̤ۨÙÃÑ«Ü^ÕÙÉÐDÕÝnÐÃÌ@ÑÞ/ÓØ^ÕÙßÓ[ÐÃÕ,ÍàÙÃÑ®á6Ñԃâ ãJä6ÝåÕÙÃæNÓÐÃÍ×ç:è@Ñájèœé“ÓÙßÓÔàê ÔßÑ«ë Ô×ÍÏÎÉæÑ#ì:í,í,î&ïŸð˜ð[ñ˜ñ˜ñ&ò5óô6õ,ö˜÷ø:ùô&òJú˜û:ðü6ý[þFÿ

Unit´e de recherche INRIA Rhˆone-Alpes 655, avenue de l’Europe, 38330 MONTBONNOT ST MARTIN (France) T´el´ephone : 04 76 61 52 00 - International : +33 4 76 61 52 00 T´el´ecopie : 04 76 61 52 52 - International : +33 4 76 61 52 52

£' !  N
›
%U£  
$NU  £
 [%'  
 &%' #    ! %  µ Š µ  P:b \ f b[’o:‚’PxPRZdb o g pnZ[\^o f P X \­  O ‚ g^f m g pnpn\^pno˜PRQ PRp/b mÏ]&p2‡ f \^pnm PRpnZ[PRQ*=‚ƒPxm“P b\^ o M PRZx’p&m®P:X l=PRp&mn\^p?bdPRZžZ[] f o:‚‘]nZdbdP f Z M P:X b?P X fg ‡ PRO p“PRZ:„PRZYb\^ o M PRZ–m¥P:X lPRpnm“PRp?bYm“P ¡&o M ƒP f Z Ÿmà PRp/b f P:X P6 ? ]n f PRX Z[’m“PRp?b%‘pnƒb[’\^‚ƒPRQ PRp/bZ] f ]&p l fg o˜PRZ[ZdPR] f Q \ƒb f P^„!Ipa¡&o M ƒP f m g pnp¥PUX lPR]“b P: b f PUl=\ f b[\F‡DP¤X l&\ f l&‚’]nZ[’PR] f Z#b\^ o M PRZ:¦" P f g  ‚ƒP¤mn]aQ \ƒb f PUPRZdbm“P¤mn’Zdb f ƒ&]“P f ‚ƒPRZ¥¡&o M ƒP f Z%\^]`_ O o˜P#? ]Ï ’‚’ZUl&]n‘Z[ZdPRp?b$P˜_%PRX o:]“bdP f ‚’PRZ¤b\^ o M PRZR„$ g  h PRo˜b[ ™ ¦l g ] f ‚ƒP l f[g o˜PRZ[Z[PR] f Zœm“P Q \^p& PO f P \x f g O / ]nPR‚%PRZ[o:‚‘\j”{P^¦#P:b mn\^pnZ&? ]“PR‚ g^f m f P^¦ Q \ƒ b P^¦#PRZdb m“PžZ?PRX ‚ƒPRo˜b[ pnp“P f ? ]“PR‚%¡=o M ’P f PRp?” g ctP f \% \F¡=p mnP¬Q ‘pn’Q ’Z[P f ‚ƒP¬bdPRQ l&ZYmà P˜_%PRX o:]“b[ g p b g b[\^‚É„'D \•o g p?b f ’&]“b[ g p m“P¬o˜P:bx\ f b[‘o:‚ƒP—PRZ[b m g ]“&‚ƒP^„&()Ï ]&p l g ’p?b¤m“P ”`]“Pb M P X g^f *? ]“P^¦p g ]nZ—P:X b[\F=‚’’Z[Z g p&ZUmnPRZ f PRX Z[]n‚ƒb[\Fb[ZœmnP o g Q l&‚ƒP˜_“ƒb/P X P:X ”F\^‚’]n\^p?b ‚‘\ mn’ª o:]n‚ƒb?P–X mn] l f[g =‚ PRO Q P^„(&Ï ]np l g ‘p/bam“Pk”`]“P—l f \Fb[*? ]“P^¦Np g ]nZao g pno˜P:” g p&Z l=‚’]nZ[ƒPR] f Zp g ]“”{PR‚’‚’PRZ M PR] f ’Z[b[*/ ]nPRZ/ ]ntZdP®Q g p?b f PRp?b\^]&Z[Z[^lP f[™5g^f Q \^p?bdPRZ+? ]“P®‚’PRZQ PR’‚‘‚ƒPR] f PRZ M PR] f ’Zdb[,/ ]“PRZ¥m“P ² r ¦ z ³D&ƒPRp-? ]“P‚ƒPR] f o g ]“ b$Z g ƒbNmÏ ]np g^f m f Pm“Pœ‡ f \^pnmnPR] f ’p ™ P X f ƒPR] f „ . ¹ ŒjŠ · 0/ µ  © f m g pnp&\^pno˜PRQ PRp?b:¦@o:‚‘]nZdbdP f Z M P:X b/P X f[g ‡ PRO p“P^¦t‡ f ’‚’‚ƒPRZDm“P¯o:\^‚’o:]n‚ɦFb\^ o M PRZ#’pnm¥P:X lPRp`¼ m&\^p/bdPRZR¦“l&\ f b[\F‡^Pm“Pœ¡=o M ’P f Z:¦ M PR] f ’Z[b[*/ ]nPRZ:„


     !#" $%&'"()("* +
), & -

.

z

U !

 
‹' ! 

p b M ’Z®l&\FlP f ¦`¢¥P¤\ f P¤’p?bdP f PRZdbdPRmY’paZ[o M PRmn]n‚’‘p“‡’pnm“P:lPRpnm“PRp?bb[\^Z[š?Z g p?b g M P:bdP f[g ‡^PRp“P g ]nZ a o:‚‘]nZdbdP f Z:„ LNM PRZ[P*’pnmnP:l=PRpnmnPRp/b$b[\^Zdš?Z¤m“P:lPRpnm¬]“l g p—¡=‚ƒPRZ*Ÿo g^f[f PRZdl g p&mn’p“‡žb g ‘p“l&]“b$m&\Fb[\`¦ ™5g^f P˜_`\^Q l=‚ƒP6 ¦\^p&mkmnƒªžo:]n‚ƒb«ca\ f ‘ZdPRZ ™5f[g Q b M P ™ \^o˜bIb M \FbUZ g Q P*¡&‚’PRZ$Q \6cx¢¯PR‚’‚'P|Z M \ f PRm `caZdP:”{P f \^‚b[\^Zdš`Z:„ LNM ’Zœl=\Fl=P f ’ZQ g b[ƒ”@\FbdPRm `c b M P ¢ g^f š g^™  \^Z\^p g ”F\–P:b|\^‚É„¥² r ¦ z ³Ã¦#¢ M g b[\ f ‡^P:bb M P Zo M PRm&]n‚’’p“‡ g^™ b[\^Z[š?Z|’p°~ e » L ¦b M PY~Ilnl P » e \ f \^Q P:bdP f » ¢¯P:P:l L PRQ l&‚‘\FbdP¬² w ³Ã„¬~ e » L ‘Z\—‡ f ’m`¼Ã&\^Z[PRm PRp?”? fg pnQ PRp?bœ¢ M g ZdPa\^’Q ‘Zb g¬™ \^o:’‚‘ƒb[\FbdP b M PaQ \Flnl&‘p“‡ g^™ \Flnl&‚‘’o:\Fb[ g p b g M P:bdP f[g ‡^PRp“P g ]nZkl&‚’\Fb ™5g^f Q Z:„ L c?l&’o:\^‚‘‚ƒc^¦$\^p ~ e » L \Fl&l&‚’’o:\Fb[ g p o g pnZ[‘Zdb[Z g^™ \ 0 1 p`]nQ|P fNg^™ ‘pnm“P:lPRpnm“PRp?bb[\^Zdš`Z:¦¢$ƒb M l g Z[Zƒ&‚ƒP‘p“l&]“b$m&\Fb[\žZ M \ f ’p“‡“„ 2®c 3*45 ¢¯P|Q PR\^p b M \FbNb M Pp`]nQ|P fg^™ b[\^Z[š?ZI’ZN]nZ[]&\^‚’‚ƒcž\FbU‚ƒPR\^Zdb g pnP g^f m“P fNg^™ Q \F‡{pnƒb[]nm“P‚‘\ f ‡^P f b M \^pkb M P p`]nQ|P fg^™ \6”@\^‘‚’\F&‚ƒPao g Q l&]“b[’pn‡ f PRZ g ] f o˜PRZ:7 „ 6 M PRp•m“P:l&‚ g c`’p“‡k\^p2~ e » L \Flnl&‚‘’o:\Fb[ g p'¦ Mb Pž’p?b[]nƒb[’”{P|‘m“PR\–’Zb g Q \Fl•b[\^Zdš`Zb M \Fb|m“P:lPRpnm°]“l g p­b M PžZ[\^Q Pž¡&‚ƒPRZ g p/b g b M P Z[\^Q P o g Q l&]“b[\Fb[ g pn\^‚ f PRZ g ] f o˜P^¦Z g \^ZIb g Q ‘pn’Q ƒ§:Po g Q Q|]&pn’o:\Fb[ g p f P /]n f PRQ PRp?b[Z:„  \^Z[\^p g ”F\ P:bž\^‚É„N² r ¦ z ³ M \6”{P–o g pnZ[‘m“P f PRm•b M f P:P M PR] f ’Zdb[’o:Zm“PRZƒ‡{p“PRm ™Jg^f o g Q l&‚ƒP:bdPR‚ƒc2’pnmnP:l=PRpnmnPRp/b b[\^Z[š?ZYŸp g ’pnl&]“bœ¡&‚ƒP Z M \ f ’p“‡/ ¤b M \Fb¢¯P f P l f[g l g Z[PRm°’p ² s ³Ã„ LNM P:c M \6”{P Q g m&ƒ¡nPRm­b M PRZdP b M f P:P M PR] f ’Z[b[’o:ZU g^f ƒ‡{’pn\^‚’‚’c o:\^‚’‚ƒPRm–i—’p`¼ßQ ’p¦?i—\@_/¼ßQ ‘p'¦n\^pnm » ]8P f \F‡^Pœ’p­² s ³5 ®b g \^m&\Flnb b M PRQ b g b M P\^mnmn’b[ g pn\^‚o g pnZdb f \^‘p/b¥b M \Fb$‘p“l&]“b®¡&‚ƒPRZ\ f PZ M \ f PRmY=P:b«¢¯P:PRpxb[\^Zdš`Z:„~UZ¢\^Z \^‚ f PR\^m“c¤l g ‘p/bdPRm g ]“b:¦Fb M P®p`]nQ|P fg^™ b[\^Zdš`Z‹b g Z[o M PRmn]&‚ƒP’ZP˜_`lPRo˜bdPRm*b g P%”{P f c‚‘\ f ‡^P^¦@\^p&m Z[l=PRo:’\^‚\FbdbdPRp/b[ g pkZ M g ]&‚’mY=P|m“P:” g bdPRmkb g š{P:P:l&‘p“‡ b M Po g Zdb g^™ b M PZ[o M PRmn]&‚’’p“‡ M PR] f ‘Zdb[’o:Z f PR\^Z g pn\F&‚ƒca‚ g ¢„ / pkb M ’ZNl=\Fl=P f ¦¢¯P f PRZ[b f ’o˜b$b g b M P|Z[\^Q PZdl=PRo:‘\^‚o:\^ZdP g^™ b M P|Z[o M PRmn]n‚’’pn‡|l f[g &‚ƒPRQ \^Z  \^Z[\^p g ”@\ P:bI\^‚É„#² r ¦ z ³ 9¯¢¯P\^Z[Z[]&Q Pb M P*P˜_`‘ZdbdPRpno˜P g^™ \žQ \^ZdbdP f l f[g o˜PRZ[Z g^f ¦¢ M ’o M ZdP f ”{PRZ \^Z b M P f P:l g Z[ƒb g^f c ™Jg^f \^‚’‚¯¡=‚ƒPRZ:„ L$M P f[g ‚ƒP g^™ b M P–Q \^ZdbdP f ’Zb g m&’Zdb f ƒ=]“bdP b M Px¡=‚ƒPRZ|b g b M Pl f[g o˜PRZ[Z g^f ZR¦Z g b M \FbUb M P:cko:\^p—P˜_`PRo:]“bdPb M P*b[\^Z[š?Z:„ LNM P g  h PRo˜b[ƒ”{P ™5g^f b M P|Q \^ZdbdP f ’Z b g ZdPR‚ƒPRo˜b|¢ M ’o M ¡&‚ƒP b g ZdPRp&m­b g ¢ M ’o M Z[‚’\6”{P^¦#\^pnm°’p°¢ M ’o M g^f m“P f ¦#Z g \^Z*b g Q ‘pn’Q ƒ§:P b M PIb g b[\^‚P˜_`PRo:]“b[ g pab[’Q P^„ LNM ’Z%Q \^Z[bdP f ¼ßZ[‚’\6”{P$l=\ f \^mnƒ‡{Q M \^Z¯\ ™ ]np&mn\^Q PRp?b[\^‚n‚’’Q ƒb[\Fb[ g p:9 o g Q Q|]&pn’o:\Fb[ g pnZ ™5f[g Q b M P$Q \^ZdbdP f Q \6c*¢¯PR‚’‚n=PRo g Q PIb M P$b f ]“P g bdb[‚’PRp“PRoš g^™ b M P g ”tP f \^‚’‚ Zo M PRm&]n‚’’p“‡*Z[o M PRQ P^„~I‚‘‚ g ¢I’p“‡ ™5g^f ’p?bdP f ¼ßZ‚’\j”tPIo g Q Q]npn‘o:\Fb[ g pnZ:¦`\^pn= g ¢¯P:”{P f ¦/¢¥PI=PR‚‘ƒP:”{P b M \Fb*o g pno˜PRp?b f \Fb[’pn‡ g p°b M PžZ[’Q l&‚’P f Q \^ZdbdP f ¼ßZ[‚‘\j”{P l=\ f \^mnƒ‡{Q ‘Z\x¡ f Zdb&]“bQ \^pnmn\Fb g^f c Z[bdP:l–b g ¢\ f m&Z\ ™ ]&‚’‚=]&pnm“P f Zdb[\^p&mn’p“‡ g^™ b M ’Zo M \^‚’‚ƒPRp“‡{’pn‡|Z[o M PRmn]&‚’’p“‡*l f[g &‚ƒPRQ–„ LNM P*o g p?b f ’&]“b[ g p g^™ b M ’ZIl&\Fl=P f ’Z$b¨¢ g^™5g ‚’m'„œ©¤pkb M P*b M P g^f P:b[’o:\^‚#Z[’m“P^¦=¢¥P|PRZdb[\F&‚‘’Z M o g Q l&‚ƒP˜_“ƒb¨c f PRZ[]n‚ƒb[ZUb M \Fb\^ZZdPRZ[Z¤b M P mn’ª o:]n‚ƒb«c g^™ b M P l f[g &‚ƒPRQx„©¤p b M Pl f \^o˜b[’o:\^‚›Z’m“P^¦ ¢¯P mnPRZ[ƒ‡{p­ZdP:”tP f \^‚p“P:¢ M PR] f ’Z[b[’o:Z:¦¢ M ’o M \ f P Z M g ¢$p b g l=P f[™5g^f Q \^ZP:ª o:ƒPRp?b[‚ƒc \^Z*b M P PRZdb M PR] f ’Zdb[’o:Z¯’p­² r ¦ z ³\^‚ƒb M g ]“‡ M b M PR f o g Zdb$‘Z\^p g^f m“P fNg^™ Q \F‡{pn’b[]nm“Pœ‚ g ¢¥P f „ /

?@?

äBA C!DE'F


 r





"  
   1)

LNM P f PRZdb g^™ b M Pžl=\Fl=P f ’Z g^f ‡{\^pnƒ§:PRm2\^Z ™5g ‚’‚ g ¢$Z:„ LNM Pap“P˜_`bZdPRo˜b[ g p  » PRo˜b[ g p w  *’Z g nm P:” db PRmab g b M PIl f PRo:’ZdPI\^p&m ™5g^f Q \^‚ZdlPRo:ƒ¡&o:\Fb[ g p g^™g ] f Z[o M PRmn]&‚’’p“‡œl fg &‚ƒPRQx¦/¢ M ’o M ¢¯P mnPRp g bdPx\^Z !#"%$&(')*$+ ,-F„/.IP˜_?b:¦¥’p » PRo˜b[ g p z ¦%¢¯PxZdb[\FbdP–o g Q l&‚’P˜_`ƒb«c f PRZ[]&‚ƒb[Z:¦ ¢ M ’o M ’p&o:‚’]nm“P¬b M P/. e ¼ßo g Q l&‚ƒP:bdPRpnPRZ[Z g^™ b M P ”{P f c Zdl=PRo:’¡&o ’pnZdb[\^p&o˜P g^™ b M P l fg &‚ƒPRQ ¢ M P f P\^‚’‚¡&‚ƒPRZI\^pnmkb[\^Z[š?Z M \6”{Pb M P|Z[\^Q PZ[ƒ§:P^„ L$M PRp'¦ » PRo˜b[ g p r m“PR\^‚’Z$¢$ƒb M b M P*m“PRZƒ‡{p g^™ ‚ g ¢¼ßo g Zdb*l g ‚’c?p g Q ’\^‚€¼Ãb[’Q P M PR] f ’Zdb[’o:Z¤b g Z g ‚ƒ”{P b M P01#  ("%$&(')*$+ ,-|l fg &‚ƒPRQx„ 6 P f P:l g^f b¤Z g Q PP˜_`lP f ’Q PRp?b[\^‚m&\Fb[\ž’p » PRo˜b[ g p 2 „43#’pn\^‚‘‚ƒc^¦n¢¯P*Zdb[\FbdPZ g Q Po g pno:‚’]&mn’p“‡ f PRQ \ f š`Z’p » PRo˜b[ g p 5 „

6 /

7 '
8 ! ' pYb M ’ZZ[PRo˜b[ g p'¦n¢¯P ™Jg^f Q \^‚’‚ƒcaZdb[\FbdPb M MOI N MTE Y MQC XA MQA W ? MT? V = JIJI FEFE DCDC AA BABA ?? @?@? == JI FE DC A BA ? @? =

P g &l b[’Q ƒ§R\Fb[ g MQ= UG MTG S MQ; R 9 >>== HGHG HGHG