Portable and architecture independent parallel performance tuning ...

! "#$ % & ' & (*)+ ,.-0/!-13254768:9;1-=-@?A-BC8EDEDGFIHJ-01-,K8EL8EMNDO25PK8E9QSRT-@U-KRV2N9W8EDYXZ6F []\_Ê`#abdcfeg^dhZciOjlk3i7emòn#cY^pbrqtsvu=^phtsw^dx%y5hZu0z7^dbw{wufcf|liOj}a7bw~3u=sdxry qG|WsdbOih3cWxho^ k3aegdbu=v^Vo^dbbOasw^xjpib xy #^.eg^pbwu=sahk3i@^îjgb^w^sw^dx3c@ ^dh {¡W¢W£v¤ ¥7xb^w^sw^ ¦ §N¨p©]ª «G¬7© ®p¯7°±°³²´7µ¯¶Z·¶Gµ¸7¹Z°º±» ´¼¸¸W°½·G¯7¾¿ÁÀpÀv»ÃÂGÀv¾ºÄ´W» ÀvÂÃ¯7»GÂÃº±Å¶Z°ÄÀvÅÀv»¼ÀvÂÆ¼¸¯7»G¯7°ÄÇ#¾À_¼· ÀrÀpÈS² ®pºÄÀv»Z®dÇ%¸7ÉG¶Gµ¸7´7µw¯7ÅS¾NÊµºÄ¼¼Àv»_º»_ËÌ ÍÏÎÐYÑ Ò]Ó·Gº¾¼¸¸W°#·Gº´W·G°ºÄ´W·¼¾®d¸WÅ¶tÔ ¼¯¼ºÄ¸W»¯7»GÂ_®d¸WÅSÅÔ ² »Gº±®p¯¼ºÄ¸W»ºÅ¿Z¯7°¯7»Z®dÀº»¶Z¯µ¯7°°ÄÀv°¶Gµ¸7´7µ¯7Åg¾pÕZÀdÖ#¶Á¸W¾º» ´S¶Á¸7µ¼º¸W»G¾¸7É3¶Gµ¸7´7µ¯7Å×®d¸#Â À_Êm·Gº®w· ¯µÀ¯7ÅÀv»G¯¿Z°ÄÀ¼¸lºÅ¶Gµ¸Ø7ÀvÅÀv»¼pÒ ×ÔG»GºÙÚÔ ÀSÉ@Àv¯¼Ô µÀ¸7É¼·Gº¾¶Gµ¸7¹Z°ÄÀpµº¾¼·G¯¼SºÄ¼ÔG¾Àv¾_¼· ÀÛÜ#Ý ®d¸W¾¼Å¸#Â Àv°=ÕN¼·ÔZ¾¶Zµ¸² Ø#ºÂGº»G´.¯%ÅSÀv®·G¯7»Gº±¾ÅÞÉ@¸7µ¶Á¸7µ¼¯¿Z°ÄÀ¯7»GÂS¯µw®·GºÄ¼Àv®d¼ÔGµÀd²Yº»GÂ Àp¶ÁÀv»GÂGÀv»¼½¶Z¯µ¯7°±°ÄÀv°Ú¶oÀpµÉ0¸7µÅg¯7»G®dÀ ¼ÔG»Zº» ´ ÒZßO»Ã¸7µÂ Àpµ.¼¸ ¼Àv¾¼.¼·GÀ_®p¯¶Z¯¿tº°ºÄ¼ºÄÀv¾m¸7É¼· ÀÅ¸#Â Àv°¸W»à¯ µÀv¯7°³²Ê¸7µ°ÂÃÀdÖ#¯7ÅS¶Z°ÄÀ7ÕZ¼·GÀ ¶ÁÀpµÉ@¸7µÅS¯7»G®dÀ®w·G¯µ¯7®d¼Àpµº¾¼º®p¾3¸7ÉÁ¯7»lÜGáâVÙÚÔ ÀpµÇ¶Gµ¸#®dÀv¾¾º» ´¯¶G¶t°º®p¯¼ºÄ¸W»¯µÀº»Ø7Àv¾¼ºÄ´W¯¼ÀvÂ ¸W»Æ¯g»ÔGÅ¿ÁÀpµ¸7É3ÂGº³ãÁÀpµÀv»¼¶Z¯µw¯7°°ÄÀv°¯µ®w·GºÄ¼Àv®d¼Ô µÀv¾vÒ ^p|S~Ïib {dä ÝÏµ¸7¹Z°º±» ´ ÕÚÛÔG°åÜÚÇ#»G®·Gµ¸W» ¸WÔG¾Ý½¯µ¯7°°Àv°=ÕGÝµ¸7´7µw¯7ÅçæÈl®pºÄÀv»G®dÇ7Ò è éê5ë7ìWí3îÏïKðÚë7ñYíê òóÁô.õwö#÷@ômöÚøùrúÁõöû÷@ü0ýÁþrÿötöÚ÷Zü Ïÿöù ö ü@ùÿdôÿdóÁôô tô oÿdü0ö#ý ö wÿ öÚøùrúÁõö#þÚõdù %ü±ÿdó ü Áôý ÿdü0ûù Á÷@ô ôþ ô ý ÿ öÚøÿóÁô Áý Áô õw÷ Zü@ýÁþ ö Áõ ô ö Áô rö wôø Á÷oùúÁõöû÷@ü0ýÁþrÿötöÚ÷ ü Áôú5ôý gö#ýóÁö ô ù ü±ÿü øö#õ_úÁõö#þÚõdù Ãôõ ÿöCô Ãúo÷@ö +ÿóÁü ü0ýoøö#õ àùÿü@ö#ý ö ù ÿdöùÚ÷0÷@ô Zü@ùÿdô ö ú oÿpùÿdü@öÚýùÚ÷ 5öÚÿwÿd÷0ô ýÁô rü@ý ÿóÁô ü0õ ö Áô òóÁõôô õü±ÿdô õwüfùýÁôô Tÿdö 5ô ùÿdü wûô %óoô ý oô ü0þ#ýÁü0ýÁþ ô wø Á÷rúÁõwöÚû÷@ü0ýÁþÿdöZö#÷ øö#õ ô oô ý ÿdü@ùÚ÷úÁõö#þÚõdù Ãü0ýÁþ÷@ùÚýÁþ ùþ#ô òóÁôgûÁõ wÿõô÷fùÿô ÿdö ÿdóÁôSúÁõwöÚû÷@ôõ Ãô ù oõô ü0ÿ ü oô ü0õdù o÷@ôàøö#õgÿdóÁô úô õ ôýGÿdùÚþ#ô öÚørô oô oÿü@ö#ý ÿü ô úô ý ÿÆü0ý ôù pó úùÚõÿöÚø3ÿdóoôúÁõöÚþ#õdù ùÚý ö#õ.ÿóÁôù ö Áý ÿ.öÚø Ãô ÃöÚõ ô ÿdö ôü oô ý ÿdü±ûô tòóÁô ô ö#ý õwü0ÿdôõü0ö#ý ö#ý ô õwý #ü@ýVÿdóoô ö oôÿdóÁô ô ö ÿ óÁö Á÷ 5ô%ùÿÿdõwü tÿdô ü@ýöÚõ Áôõ_ÿdö ü ÃúÁõwö #ôlÿóÁôVúÁõwö#þ#õdù ü Ãúo÷@ô ô ý ÿdùÿdü0ö#ý ö wÿ wóÁö Á÷ 5ôù wö üfùÿô %ü0ÿóÆø oý ÿü@ö#ý ö#õ÷0ü ÁõùÚõü0ô %ü±ÿdóÁü0ýÿdóÁô ö Áô òóÁô%ÿdóÁü0õ õwü0ÿdôõü0ö#ýVõô÷fùÿô ÿdö

#

!!

$

'

&

!@

" !

!

$'

5

.

"

$

:

>

E

0

% !

E F

?HC #

.2 35467$8

;

?

%

!

I

J

Ó¸¯¶G¶ÁÀv¯µlº±» aba@Ä^pk3i7emòn#cfu@h æK°¾ÀpØ#ºÄÀpµ Ü#®pºÄÀv»Z®dÀ7ÕK¾¸WÅÀp¼º±ÅÀÃº» PO

$Q

&

/ ! "

!

!;2 354CBD+BC8

=

8

@ H

%

K

!

!

1

'

!

!

9

!

* H

!

< =43@

!

'

'

N

*

9%

T

!

'

1>

?H

65

T

,

E !

!

!

G

)6

H

!@

!

0

0

!

! H

$'

0

5

0*

/. -0

#

(2. -0

>

H $'

L9%

?H?!

# T

A

!M

@

?

?H

#!

#

!

?9.

M !

0

!N

$

' !

=

-."

6D + 4'" 7 B 7#DB

E

0

/ ?H

#

:

5

J T

!

;

N N !%

DB%" 67" L$C

!

!

(B CBE$)(BE$C7

!N

>

H5

F. 0

A

&'

J

E !

!

:

%

!

N !

@

A

9

#

' - !

!

!9

! H

ÿdóÁôgõdùÿü@ööÚøÿóÁôgÿöÚÿpù÷ÿóÁõö Áþ#óÁú tÿ_öÚøÿdóÁô wÿô ü@ý ÿdô õ öÚø Áù ü ö Ãú ÿdùÿdü0ö#ýùÚ÷ö#úô õùÿdü0ö#ý ÿdö+ÿdóÁôàÿóÁõö Áþ#óÁú tÿVöÚøÿdóoôõö tÿdô õ ü@ý!ÿô õ öø .ö#õ VöÚø ü0ýoøö#õ Ãùÿü@ö#ý Áô÷@ü Úô õwô ù÷0ÿdôõýùÿdü Úô ÷ wÿpùÿdô ü ÿóÁô ü0ýÁþ#÷0ô ö#õ Áô ÷0ü Úô õ ö wÿ Áý Áô õ öÚýGÿü@ý Áö ô dùÚþÚôSÿõdù ý ÿ Áü±ÿdü Úô ÷ ôù Áõô mÿóÁôrú5ôõ ôù Áü0÷@ü±ÿ öÚø5ÿdóÁôrýÁô]ÿ .ö#õ Vÿdö ö#ý ÿdü0ý Áö Ãô ùÚþ#ô ÿdõù ÃùÚ÷0÷ ùÚ÷ oô øö#õ 5ÿóÁô õwôøö#õwô oþ#þ#ô ÿ SÿdóùÿgùÚýIùÚõ póÁü±ÿdô ÿ oõôÆúÁõö Zü oô ô ü0ô ý ÿ oô ÷@ü #ôõ TöÚø ô dùÚþÚôJúô õ oÿpùÿü@ö#ý tü Ãü0÷fùÚõw÷ ùÚútÿ Áõwô ÃÿóÁô ö ÿöÚø ùÚõwõü@ôõ Zý póÁõwö#ýÁü dùÿü@ö#ý wü@ýÁþÿdóÁô Áô]ûýÁü±ÿdü@öÚý öøù Áúô õ wÿô úÞùÚý ÿóÁô ÿ .öùÚõ póoü0ÿdô ÿ ÁõdùÚ÷%úùõdù ôÿô õ ùÚý ü0ÿlü gúö wü Á÷0ôÆÿö ö Ãú oÿdôÿdóÁô ö ÿöÚøô tô tÿdü@ýoþù+úÁõwö#þ#õù ö#ýAù+þ#ü Úô ý ùÚõ póoü0ÿdô ÿ Áõô ýúùÚõwÿü Á÷fùÚõ ÿóÁô ö ÿ öÚøù Áúô õ wÿdôú Vü ùÚúoÿ Áõô JÿóÁô øö#õ Á÷fùÚô >

!

!H

'

0

'

H

9%

'

'

!

H

*

J

&=PH NQP@

N

E

N

/

%

T

!

'

!

H

$'

?

H

!

GH

H

#

@

!

'

9%

9%

?9

E

@

H

:

J

'

(

P

H

%óÁô õwô Ãù Ãù

M

M

Ãù

Eü@ý Oö

M*.

P P

oÿ

30

. = 0

%óÁô õwôõùÚýÁþ#ô 3ö #ô õ3ÿóÁô Áúô õ wÿô ú õùÚýÁþ#ô 3ö #ô õúÁõwö ô ö#õ ü 3ùÚý VõôúÁõô ô ý ÿü@ýÁþIÿdóÁô àù oü ý ô õöÚø ù ü ö Ãú oÿpùÿü@ö#ý %óÁü pó ùÚý 5ôÆô oô oÿô úÁõwö ô wö#õ %ü0ýIÿóÁôÃ÷0ö ùÚ÷ ö Ãú oÿpùÿü@ö#ýúÁóÁù ôÃöÚø ú5ôõ ÿdô !ú Oü@ý Yõwô wú5ô ÿdü #ô÷ ö oÿ _ü ÿóÁôV÷fùõþ#ô wÿgù o÷fùÿô ü#" ôVöÚø.ùÚ÷@÷ Ãô ùÚþ#ô rô ý ÿô õü0ýÁþ Yõwô úô ]ÿdü #ô ÷ ÷@ô ù tü0ýÁþ úoõö ô ö#õ$ %ü0ÿóÁü@ý Áú5ôõ ÿdô ú%& ý+ÿóÁô Ãö Áô ÷ oÿdóoôgÿöÚÿpùÚ÷ ö ú oÿpùÿdü@öÚý ö wÿöÚøùúÁõöÚþ#õdù ü %ÿdóÁô öøùÚ÷@÷ ÿdóÁô ö wÿ öÚøÏÿdóoô Áúô õ ÿdôú '

" $)(B CBE$)(BE$C7

P

P

.

H JL

'

H

'

0

!

!H

4

9

@6D + 4'" 7 B 7#DB

(

10

T'

!

T

/

-

&

!

gìWí*) Yñ:ê,+Ië Jñ .-0/ 1/ÁêKð +ñ:ê324/Áì5/

!

H

$'

!

H

! 9

.

(

:

9

$'

+L7

62KìWí*+ì5/ 8 7

òóÁô ö oô ÷ ÿdü@ú Á÷fùÿô ÿóùÿ+ùÚ÷@÷_úÁõö ô öÚõ Cú5ôõwøö#õ ÷@ö ÿdô ú IöÚø

ö ú oÿdùÿdü0ö#ýAøö#÷0÷@ö .ô ö ÁýÁü ùÿü@ö#ý KòóÁü Æôý ö oõdùÚþ#ô àù Áü ü0úÁ÷@ü0ýÁô Tùú úÁõö#ù póü0ýÿdóÁô oÿü@÷0ü dùÿdü@öÚýJöÚø ö ú oÿdùÿdü0ö#ýùÚý ö ÁýÁü ùÿdü0ö#ýõwô ö Áõ ô úÁõöÚþ#õdù Ãù 5ô %õwü0ÿÿô ý wü@ýÁþ ô tü wÿdü0ýÁþ ö Áýoü ùÿdü@öÚý÷@ü ÁõdùÚõwü@ô %óÁü pó Áú ú5öÚõwÿgýÁö#ý Á÷@ö Gü@ýÁþ ö ÁýÁü ùÿdü0ö#ý ö ô #ôõ ÏÿdóÁô ôàþÚô ýÁôõdùÚ÷ ú Áõwú5ö ô÷@ü oõdùÚõwü@ô ùÚõôÃõdùÚõwô ÷ öÚúoÿdü Ãü ô øö#õgÿdóÁô wôÿVöÚø%öÚú5ôõdùÿü@ö#ý %óÁü póTùÚõôÃõô Áü0õô Aøö#õgÿóÁô >úÁõwö#þ#õdù ü@ýÁþúÁùÚõdù oü@þ ý ö#õ Áô õÿdöAù Áõô àÿóÁü úÁõwö Á÷@ô ÿóÁô õô wôùÚõ pó ö ÁýÁü0ÿ +óù úoõö#úö ô Iù wÿpùý ùÚõ I÷0ü ÁõùÚõ %óÁü pó ùÚý ô ô øö#õúùõdùÚ÷0÷@ô ÷5úÁõöÚþ#õdù ü@ýÁþ %ü±ÿdóÁü0ýÿdóÁô øõdù ô ö#õ Cü Sù àùÚ÷0÷ ö ÁýÁü ùÿdü0ö#ý÷@ü Áõdùõ ö#ý wü ÿdü@ýoþCöø.ÿ ô ý ÿ Iö#ú5ôõdùÿü@ö#ý øö#õ HKJL

$

J

%#

T

$

A

!

%

$

'

!

&

!

>

!

1

> >

&H

*C< R H:= @

T

P

!

T

VHKJT

HKJT

N

%C46$B

/

%

5 @N

H

!

< = H RQU@

!

!/ @N

+*Q

!!

?

!

K @N

/ !

@N

%

@

HKJL

+*

HKJL

(

!

tü@ýÁþÚ÷@ô õö#þÚõdù Á÷0ÿü@úÁ÷0ô ùÿpù úoõö#þ#õù Ãü0ýÁþ òóÁô ÃùÚü0ýøô ùÿ oõô göÚø ùÚõô ÿ ö ö Áô öÚø ö ÁýÁü ùÿdü0ö#ý ÿdóoô ûõ ÿ ùÚútÿ Áõwü@ýÁþ ù ö#õwü@ôýGÿô Ãô ùÚþ#ô Oúù ü@ýoþVùÚúÁúÁõwö ù pó ùý àÿdóoô ô ö#ý õwô ô ÿü@ýÁþVùgö#ýÁô ü Áô Áü@õwô ÿ.õô ÃöÚÿô Ãô ÃöÚõ ù ô ö Áô ÷ òóÁôIùÚúÁúÁ÷0ü ùÿdü0ö#ý oô õü 5ô ü0ý ÿdóÁü úùÚúô õ óù ÚôúÁõwô Áö Ãü0ýùÿdô÷ ô ô ý %õü±ÿÿô ý ü0ýÁþ ÿdóÁô ÿ Z÷@ôÆöÚø ö Áýoü ùÿdü@öÚý òóÁô oÿü@÷0ü ôgÿdóÁôVöÚýÁô ü oô ø Áý ]ÿdü@öÚý oòóoü ø oý ÿü@ö#ýàÿõdùÚý wøô õ ùÿdùløõö ö#ý ÿdü0þ Áö Ãô ÃöÚõ Æ÷@ö ù ÿdü0ö#ý ö#ýÆÿdóÁô%úÁõwö ô ö#õ %óÁü póü@ýoü0ÿdü@ùÿdô ö oýÁü ùÿdü0ö#ýVü@ý ÿdö ö#ý ÿdü@þ Áö ô ö#õ ÷@ö ùÿü@ö#ý ö#ý ùõô öÚÿôúÁõö ô wö#õ ÿóÁô ù ]ÿdü Úô úùÚõwÿü ü@úùÿü@ö#ýöÚørÿdóÁô õô ÃöÿdôúÁõö ô öÚõ ÏòóÁôÃø Áý ÿdü0ö#ý ü Áô ý ÿü0ûô gÿóÁôàôý AöÚø%ù Áúô õ wÿô ú ùÿ %óÁü póÃÿdü ôrùÚ÷@÷úoõö ô ö#õ ùÚõwõü0ô õ Zý póÁõwö#ýÁü wô Oÿ.ü .ùÿmÿdóoü mú5ö#ü0ý ÿÿóùÿ.ùÚý ô dùÚþÚôÿdõdùý ü ü@öÚý ü Áô JúÁõö ô öÚõ Áõwü@ýÁþÿóÁô Áúô õ wÿdôú!ùõôVþ ùõdùÚý ÿdôô ÿdöÆóù #ôlùÚõwõü Úô +ùÿÿdóoô ü@õ oô wÿü@ýùÿdü@öÚý ý ö#ý ÿdõù wÿÆÿdöúÁõwö#þ#õù %õü0ÿwÿdôý ü0ý ùþÚô ýÁôõdùÚ÷ ô dùÚþÚô úÁù wü@ýÁþ wÿ Z÷@ô øYù ü0÷@ü±ÿpùÿô .úoõöÚû÷0ü@ýÁþVü0ýCùÆý 5ôõröø .ù òóÁô ö ÿ Ãö Áô ÷NóÁü@þ#óo÷@ü@þÚóGÿ ÿóÁô ôSöÚø öÚÿdó ö Ãú oÿpùÿü@ö#ý ùý ö ÁýÁü ù ÿdü@öÚý+ù úÁõöÚûÁ÷@ü@ýoþ ö ÿ ôÿõü òóÁô ö wÿöÚø ö ÁýÁü ùÿü@ö#ý %ü0ÿóÁü@ýù Áúô õ wÿô ú ùÚý ô ö#ý ü Áô õwô Zòóoü .þÚõôùÿd÷ wü úÁ÷@ü±ûô ÿdóoô_úÁõwô ôý ÿpùÿü@ö#ýöøúÁõöÚûÁ÷@ô àõô Á÷0ÿ ýúùÚõ ÿdü Á÷fùõ ö ÁýÁü ùÿü@ö#ý %ü±ÿdóÁü0ý+ù oú5ôõ wÿô ú ùÚý 5ôgùÿwÿdõü oÿô ÿdöÆÿdóÁô ùÚõ õü@ôõ tý póÁõö#ýoü dùÿdü@öÚý %óÁü pó ÃùÚõ .ÿóÁôôý öÚøÏù Áúô õ wÿô ú+ùÚý ýÁöÿÿdöVü0ý Áü tü ùÚ÷ ö ÁýÁü ùÿü@ö#ýù ÿü@ö#ý

ö ÿÆùÚýùÚ÷ ü lü ö Á÷fùõlùý ÿdóÁùÿü Ïü úÁõö #ô Ãôý ÿÿdöJÿóÁô ú5ôõwøö#õ àùÚý ô_öøù÷@þ#ö#õwü0ÿó mù ù %óÁö#÷0ô ùÚýoýÁöÚÿ ôù póÁü0ô Úô Ãù Gü@ýÁþlö#ýÁô úùÚõwÿ w÷@ö .ôõ ZòóÁü ü mü Ãúö#õÿpùÚý ÿ %óÁôýúÁõöû÷@ü0ýÁþ ù úö#õwÿü@ö#ý möø ö Áô àù ô ô ÷@ü Áô ÿö wü úÁ÷@ü±ø +ÿóÁôÃúoõô wô ý ÿpùÿdü@öÚýöÚø.õô Á÷±ÿ ýIÿdóÁü Ãö Áô ÷ÿóÁü ùÚý ô Áö#ýÁô ùøô ÷ tÿdóÁôõwô ö Úô CúùÚõÿ öÚøÏÿdóoô ö Áô %ü@÷0÷5óù ÚôgýoöÃù #ôõ ôSô ô ÿrö#ý ÿdóÁô ö wÿröÚøÏÿdóÁôSõô àùü@ýÁü0ýÁþ oú5ôõ wÿô ú òóÁôÿdõô ùÿ ô ý ÿöÚø ö Ãú oÿpùÿü@ö#ýùÚý ö Áýoü ùÿdü@öÚý_ô ýoþ#ü@ýÁôô õwô _ÿdóÁô Ãö Áô ÷ :ùý ö#ý ô Áôý ÿd÷ øö wÿô õÆùJúoõö#þ#õù Ãü0ýÁþ ÿ Z÷@ô ü@ý %óÁü pó úÁõö ô ô Súù ÿóÁõö Áþ#óÿdóoô dù ô ÿdô Zÿ ùÚ÷ øö#õ_ôù pó oú5ôõ wÿô ú .ö#ý ô Áô ý ÿd÷ ÿdóÁôg÷@ü0ýÁôý ô õùÚý û÷@ôgýù ôSöÚøÿóÁô ö oô %óÁü pó ö#ý ÿpùÚü0ý ÿdóÁô wÿdùÿdô Ãôý ÿúÁõwö tü Áôù öÚý Úô ýÁü0ô ý ÿõwôøôõô ý ô.úö#ü0ýGÿÏü0ýgÿóÁô wö Áõ ô

ö Áôÿdö %óÁü póCúÁõwöÚû÷@ü0ýÁþ ö wÿ ùý ôgùÿÿõü oÿdô JL20

.#J

E

-

!;

-.

!

0

!

0

' !

G %

HKJL

#

.

,

! 1

D3" 7 BD3" 6

,

?H

%

B

9

!

!

BE$

'

!

8

!

# (

$'

'

!H

#

T'

*

? E

'

TA

P

!

!

%

10

A

!

H

%

&

:

!

$'

HKJT

P

/

'

!

?

!

?

(B E" $

7;

ýàÿdóoü ô ÿdü0ö#ý Gÿ .ö Áõö ù ù ÿù÷@þ#ö#õwü0ÿó ùõôùÚýùÚ÷ wô ùý ÃÿóÁô ùÚ÷@÷ þ#õùÚúÁóÆúÁõwö û÷@ôõøö#õ úoõö#þ#õù ü ü0ýGÿõö ô Óm·Gº¾ºÅ¶Á¸W¾Àv¾¼ºÄ´W·¼ÀpµmµÀv¾¼µº®d¼ºÄ¸W»Z¾¼·G¯7»V¼· ÀrËÌ#ÍKÎÐYÑ¶Zµ¸7´7µ¯7Å ¾ÀvÅg¯7»¼º®p¾vÒ

F

?H

N

!

%

H/

!

(

A E

L$L (

+L$

TLMD

!

H

A

!

< =N@

!

'

@

1

!

E

.

!

. 10

*

3

-

9

!F

!

J

J

!@

&

'

!

!

T

E

# !

$

T

?

J

@

H %

;

!

J %

%6 $B

/

A

.#RQ0

?

@

+HKJL

H03" 7 4CL7

!N

. = 0

.ND0

3

T'

@

65

!

P

'

!

!

"

T'

%

?H

" !

!

F

(

!

0

%

F @N

" !

Q0

. -. 0

0

!@

! ! ?

3

!

>

>ú5ö wÿ ÃöÚõwÿdô úÁõöû÷@ü0ýÁþàÿdöZö#÷Kóù ô ô ý Áô #ô÷@ö#úô ÿdöCùÚýÁùÚ÷ ôlÿdõdù ô ü@ýoøöÚõ Ãùÿdü0ö#ý!þ#ôýÁô õùÿdô oõü@ýoþÿóÁô ô tô oÿdü0ö#ý öÚø úÁõöÚþ#õdù KòóÁô ÁýÁü0ÿ öÚø ö ÁôJÿö %óÁü póÞúÁõwöÚû÷0ü@ýÁþü@ýoøö#õ àùÿdü@öÚý ü ù wü@þ#ýoô ùÚõwôJÿdôõ ô ö#õ wü úÁ÷@ü ü±ÿ ô ù pó ö ÿ ô ý ÿdõwôü@ý ÿóÁôJúoõö#þ#õù ö#õwõô úö#ý àÿöAù ùÚ÷0÷ ù pó ö ÿ ô ý ÿõôÆõô ö#õ ÿdóÁô øöÚ÷@÷@ö %ü0ýÁþàü0ýoøö#õ Ãùÿü@ö#ý ü %ÿóÁôÆù o÷fùÿô

ö ú oÿdùÿdü0ö#ýÿdü ô ü@ü ÿóÁôù Á÷fùÿdô ö Áýoü ùÿdü@öÚýIÿü ô Yü0ü@ü ÿdóÁôàù Á÷@ùÿdô Cü Á÷@ô ö#õ ÿü ô ùý ü .ÿdóÁôgù Á÷fùÿô õô÷fùÿü@ö#ý wü "ô òóÁô ÿdü Ãü0ýÁþõô Á÷±ÿõô ö#õ oô ùÿù ö wÿ ôý ÿdõô+ü wü úÁ÷ IÿdóÁô öÚø_ÿóÁô àù oü

ö Áýoü ùÿdü@öÚý ùÚý ö ú oÿdùÿdü0ö#ýÿdü Ãô õô ö#õ Áô ü0ý ôÿdóoô÷fù ÿ ù÷@÷

6#"$" D 6EC4

.!

@

/

!

!

!

9

DB

!

.

9

0

T

+L7/+BE$C7

!

T

-

&

!!

!N

A

!

G. 0

P %

, %

. 'L0

!

%

$

$ 0

0

36 " 7#"

%

.

9

.

H

/ '

#

!

Computation Time Idle Time

Communication Time Idle Time Barrier Synchronization

º ´ ÒÒoÜ#Ô ¶ÁÀpµ¾¼Àp¶¾¼µÔG®d¼Ô µÀ7Ò òóÁôùü öÚøÿdóÁôÃúÁõöÚûÁ÷@ü@ýoþCÿötö#÷ü gÿöJô oúö wôàü ùÚ÷fùý ô lü0ýôü0ÿdóoô õ ö ú oÿdùÿdü0ö#ý ö#õ ö oýÁü ùÿdü0ö#ý ùÚý Þÿdö óÁü0þ#óÁ÷0ü@þ#ó ÿàÿóÁö wôIúÁùÚõwÿ öÚølÿóÁôúÁõwö#þ#õdù %óÁü póùÚõwô ù ô ýù o÷@ôÿdöü ÃúÁõwö #ô ô ý ÿ òóÁôCó ZúöÚÿdóoô ü ÿóùÿ ù÷fùÚý ô ü ÿóÁô Úô TÿöIþÚötö oô ü0þ#ýCü oúÁú5öÚõwÿdô ÿóÁô ö wÿ%øö#õ Á÷fùô ü±ÿdóÁü0ýÆù Áú5ôõ ÿdô úÃÿdóÁô ö ú oÿdùÿdü0ö#ý óoö Á÷ ô ÁùÚ÷fùÚý ô ôÿ ô ô ý úoõö ô ô òóÁü ü ù ô +ö#ý ÿdóÁôSúÁõwô ü wôÿdóùÿÿóÁô àù oü ùÚ÷ Áôöø øöÚõ wô ôSô ùÿü@ö#ý %ü0÷@÷ oôÿdôõ ü@ýÁôÿóÁôSö #ô õùÚ÷@÷ ö wÿröÚøK÷@ö ù÷Nô tô oÿü@ö#ýCÿdü ô ü±ÿdóÁü0ýTù Áúô õ ÿdôú ÿdóÁô ö ÁýÁü ùÿdü0ö#ý wóÁö Á÷ ô ùÚ÷fùý ô ôÿ ô ôý úÁõwö ô wô òóÁü Ãü ù ô Þö#ý ÿóÁôJúÁõwô ü wô+ÿdóÁùÿàÿóÁô Ãù tü Úù÷ ÁôCöÚø =øö#õ & wô ô ô ùÿdü0ö#ý %ü0÷@÷ oôÿdôõ ü@ýÁôSÿdóoôlö #ôõdùÚ÷0÷ ö ÿ_öÚøÿdóÁôSøYùÚý Oü@ý+ùÚý øYùÚý ö oÿöÚø ô dùÚþÚô ü0ýùÚ÷0÷ ÿóÁôÿdöÿpùÚ÷ý 5ôõ öÚø Áúô õ wÿô ú óÁö Á÷ ô Ãü0ýÁü ü wô ù pó öÚý ÿõü oÿdô %ùÚý ÿdôõ ÿdöVÿóÁôÿdöÚÿdùÚ÷½ô tô oÿü@ö#ý ÿdü Ãô ôôlô Áùÿdü0ö#ý ü@þ Áõô óÁö Æù póoô Ãùÿdü Áüfùþ#õdù öÚørù Áú5ôõ ÿdô ú ùÚý ü0ÿ ù wö üfùÿô

ö ÿ òóoôgûþ Áõô óoö rÿdóùÿ%ü %ü0ÿúö ü o÷@ôøö#õü o÷@ôÿdü ÃôÿdöÃùÚõü ôü@ý ôü0ÿdóoô õ%÷@ö ùÚ÷

ö ú oÿdùÿdü0ö#ýVö#õ ö ÁýÁü ùÿdü0ö#ý Áúô õ wÿô ú %óoü pó ö#ý ÿpùü@ý ÿ ö ú oÿdùÿdü0ö#ý %ü@÷0÷3ô tóÁü oü0ÿü Á÷@ôÿü ô %óoô ýúÁõwö ô wô SùÚõwôløö#õ ô Jÿdö ùÚü±ÿùÿ_ù ùõõü0ô õ Zý póoõö ýÁü ùÿdü0ö#ýøö#õ.ÿóÁôSúÁõö ô %ü0ÿó ÿdóÁôS÷fùõþ#ô wÿ%ù ö Áý ÿ%öÚø ö Ãú tÿpùÿü@ö#ýàÿö ö úÁ÷@ô]ÿdô

- @

?H

HKJL.

P

= 0

@

H=

G

=-

$0

%

!

E

*

%

!

'

P

?H

!

'

M

$'

.

!

?

0

!

@N

9

.

T

>

!

9

!

J

$'

= 0

!

N

A

@N

H

!

1

5

HKJL.

E

/

&

'

1

7

$'

7

:

!

H JL

?

@

U

I

."

1

?

%

;

!

!* ! F

%

T

C= 0

!

0 !

J

ý ÿdóÁô ù wô %óÁô õwôJÿdóoô Áúô õ wÿô ú ö#ý ÿdùÚü@ý ö ú oÿdùÿdü0ö#ý ùÚý ö Áýoü ùÿdü@öÚý úÁóù wô ü o÷@ôÿdü Ãô %ü0÷@÷ö oõ oõü@ýoþCÿóÁô ö ÁýÁü ùÿdü0ö#ýúÁóù wôàöÚøù Áú5ôõ ÿdô ú %óÁô ý úoõö ô ô VùÚõôÆøö#õ ô ÿdö .ùÚü±ÿ Áý ÿü@÷mùÚ÷@÷ü0ý ÿdô õ úÁõwö ô ö oýÁü ùÿdü0ö#ýóù 5ôô ý ö úÁ÷0ôÿdô ÿàô ù pó ö wÿ ô ý ÿõô ö wÿ ö#õwõô wú5öÚý Áü@ýoþIÿö!ö#ýÁô ö wÿúô õúÁõwö ô ùÚõwô õô ö#õ Áô òóÁü ùÿdùü úÁõô ô ý ÿô JÿöÆÿóÁô ôõ%ü@ý ö#ýÁôSöÚøÏÿ .ö .ù

H

A

!;

!

; @N

&

N

%

&

N @

;

?

!

H

>

!

!>

!

$

J

3ï /oì1ñ 7 ZîIî0/oë / òóÁô ö wÿ %ü0ÿóÁü@ýÆù wü@ýÁþ#÷0ô ö wÿ ôý ÿdõô ùÚý 5ô ÃùÚõwü ô @ü ý ÿdôõ öÚø àù tü ÿóÁô wÿpùý ùÚõ ü@ý ÿdôõúÁõwôÿdùÿdü0ö#ý öÚø ö ÿ Áù Úô õùÚþ#ôlùÚý Ãü0ýÁü ù Á÷@ùÿdô ö ÿ ö #ôõôù póöÚøÿóÁô ÆúÁõö ô wô Cö#õôøö#õ àù÷@÷ Wþ#ü Úô ý ÿdóùÿù úÁõwö#þ#õù àù úù .ÿdóÁõwö Áþ#óù úùÚõÿdü Á÷fùõ ö wÿ ô ý ÿõôÿü ô Gþ#ôýÁô õùÿdü0ýÁþ ù wô Áô ý ô öÚø ö wÿ 3ÿóÁôù Á÷fùÿô ö ú oÿpùÿdü@öÚý ö wÿløö#õgÿóÁô þ#ü Úô ý ö ÿ ô ý ÿõôgü þ#ü #ô ý ÿdóoôSøöÚõ Á÷@ùÚô 8

%

N !

!

& 1

'

T

#

!

A

.

M !

$'

%6 Q " &T

F

H

'

+L7

6 BD 6 B++L7

0

!

!

$'

H

'

H

P

P

M

=

!@

30H

Ãù

J

!N

0

E

HKJT

.#RQ0

P

.ND0

ü@ý tü ü@÷@ùÚõøö#õ o÷fùÚôô tü wÿ%øö#õ ö ÁýÁü ùÿü@ö#ýàÿü ô tü Á÷0ôÿdü ôùÚý õwô ÷@ùÿdü0ö#ý ü#" ô &" $(" &T

J

+L7

:

%

. 10

H

T

Ïî,/oë / òóÁô ö wÿ ù ö üfùÿdô %ü0ÿóÆôù póÃöÚøNÿóÁô àúÁõwö ô ô ùÚõô%úÁõwô ôý ÿdô Ãÿdö ÿdóÁô ôõ.ü0ýÃÿdóoôøö#õ >öÚøùlúoü@ô póùÚõwÿ tòóoô_õô Á÷±ÿ wÿ ô_ü@ý ÿô õúoõôÿô %ü±ÿdó ö ô ùÚõwôù mÿdóÁô ö ÿ %ùÚõwô ù÷ o÷fùÿô ü@ýoþ øö#õ Á÷fùÚô %óÁü pó Áü ô õmøõö >ÿóÁô ÿpùÚý ÁùÚõ

ö wÿøö#õ Á÷@ùÚô 3òóÁü ü ýÁô ô dùÚõ ù ù wô õöøÿdóÁü úÁü0ô póÁùÚõwÿVü gÿ ZúÁü ùÚ÷0÷ ÷@öZö Gü@ýÁþÃÿdö ü Áôý ÿdü0ø +ÿdóÁôV÷@ùÚõþÚô wÿ àù oü wô þ ô ý ÿgü@ýÿóÁô póùÚõwÿ ½òóÁô ü#" ôVöÚø ÿdóÁü àù oü ôþ Ãôý ÿ_ü àù !

E

!

HKJL

/."

N

;

!

J

E

*

!

!+0E

;

-

& !

@

J

@

!

%

P

. Q0

Áùÿdü0ö#ý _ù wÿdõù ÿ ÿdóÁô àù tü ö oÿ ü ÁôÿóÁô Ãùÿdü0ö#ý WúÁõwö ü@ýoþù_õô Á÷±ÿ %óÁü pó àù ô àù÷@÷@ôõÿdóùý+ÿdóÁùÿ_ö oÿpùÚü0ýÁô øõö ô ùÿü@ö#ý _÷±ÿdóÁö oþ#óCÿóÁü rü@ý ßE¼º¾» ¸7¼ÀvÂ¼·G¯¼º±ÂG°ÄÀ.¼ºÅÀÂGÔ µº±» ´®d¸WÅSÅ_ÔG»Gº±®p¯¼ºÄ¸W»Â Àp¶ÁÀv»GÂG¾Ô ¶Á¸W»g¼·GÀ¼YÇÚ¶oÀ¸7É½¯µ®·Zº³² ¼Àv®d¼Ô µÀ¸W» Êm·Gº®w·ËÌ ÍÏÎÐYÑº±¾.º±Å¶Z°ÄÀvÅÀv»¼ÀvÂÒ ¸7µ%ÀdÖ ¯7Å¶Z°ÄÀ7Õ¸W»¼·GÀ ¯7»GÂ¾·G¯µÀvÂ ÅÀvÅS¸7µÇ ¯µ®·ZºÄ¼Àv®d¼Ô µÀv¾ @À7Ò ´ Ò µ¯]Ç "Ó !$# æ ¯7»GÂ&Ü %.ß%ÝN¸]ÊÀp'µ ·G¯7°°Àv» ´7)À (wÕ5®d¸WÅSÅ_ÔG»Gº±®p¯ ² ¼ºÄ¸W»àºÂG°À¼ºÅÀ¯µwº¾Àv¾.¯7¾.¾· ¸]Êm»Ãº» ºÄ´WÔGµÀ +Ò *m¸ÊKÀpØ7Àpµ]ÕÊmºÄ¼·¯µw®·GºÄ¼Àv®d¼ÔGµÀv¾mÊ·Gº®·Ã¸W»G°ÄÇ ¾ÔG¶G¶Á¸7µ¼3ÅÀv¾¾¯´7À¶t¯7¾¾º» ,´ @À7Ò ´ ÒÚßE-Û Ü#Ý .(wÕ®d¸WÅSÅÔZ»Gº®p¯¼ºÄ¸W»Sº±ÂG°ÄÀ¼ºÅÀº¾3®d¸W¯7°Àv¾®dÀvÂgÊºÄ¼· ¼· À®d¸WÅ¶ZÔ ¼¯¼ºÄ¸W»ºÂG°ÄÀ¼ºÅÀ¸7ÉN¼· À%É@¸W°°Ä¸Êmº» ´¾ÔG¶oÀpµw¾¼Àp0¶ / ¾Àp2À 1 43)5É@¸7µÂGÀp¼¯7º°¾pÒ

1

&

T

M !

R

?

@

1

?H

R

!

'

ÿdôõúÁõwôÿpùÿdü@öÚýü ýÁöÚÿ ÿdõwü ÿ÷ ü@ýV÷@ü0ýÁô %ü±ÿdó ö ÿ.ùýùÚ÷ wü ü0ÿü ù ô]ø Á÷ Ãô]ÿdóÁö øö#õü oô ý ÿdü±ø tü0ýÁþÿdóoôgúoõö ô %óoü pó àù ô ù ü@ýoþàùÚý ô ü@ôý öÚÿÿ÷@ôýÁô

F

6 )"B

HKJL,

E

T

M6#" CB

DL6 (' 67#" $

H

E9@

7 L

# !

!

" C

+*=

)D+L+B $B

ýÿdóÁü _ô Áù ÃúÁ÷0ô ù ö ÃöÚý Áõwö ù ù wÿúoõö Á÷0ô ü ö#ý ü oô õô 5ÿóÁü ü rÿdóÁô ö ÁýÁü ùÿü@ö#ýöÚøù ùÿpù wÿõ ]ÿ ÁõwôöÚø wü " ô %óÁô õwô øõwö >ö#ýÁôúÁõö ô .ÿöVùÚ÷@÷ Júoõö ô ô ü0ý+ùVúùõdùÚ÷0÷@ô ÷ ö ú oÿü@ýÁþ wÿdô TýùÚü Úô.ù÷@þ#ö#õwü0ÿó øöÚõÿóÁü 3ÿdù ùÚý ômü úÁ÷@ô ÃôýGÿô Sü@ýgù ü0ýÁþ#÷@ô Áú5ôõ ÿdô ú ü0ø Áü ÿdü0ý ÿ ùÚõwôúô õøö#õ ô lÿóÁô Áõwö ù ù wÿü@ýÁþúÁõö ô ÚòóÁü õô Áü@õwô KÿóÁô ÿdõùÚý ü ü0ö#ýàöÚø ô dùÚþ#ô tôù pó öÚø wü "ô GÿdóÁô Áúô õ wÿdôú ÿdóÁôõôøöÚõôõwôùÚ÷0ü ô ùÚý õwô ÷@ùÿdü0ö#ý %ü0ÿóJùúÁúÁõö tü Ãùÿô ö ÿ wÿü0ÿ tÿdü@ýoþ Cøö#õ

:

@ %

'

!

!

!

.>

.

!

(

=(

=0

L

T

L$GB

?9

!0

!

>

59

&

.

0

F

!

DL6 (' 67

6 B

(

7

&

H

;

+L7

A

*#

!

!

1

T

&=

F

= 03

.3D0

%óÁô õwô ü ÿdóoô ö wÿröÚøKúô õwøöÚõ ü@ýÁþVù ü0ýÁþ#÷0ô Áúô õ wÿô ú

J

(

?

Source

Destination

Superstep One

Superstep Two

"!"#%$'&)("*#%+-,.#%/!10)"32!/%!"#%45$76,98)#%2%$% :=@?BAC@DFEGH=JIH;>KLMANOIHP>GHQSRT=@UVQSW)P AXI7=JEFUTYOLZ=@?[U>EI\?]MAC@A^>C@Q_A?B=3I7?BMSEF?]IBC@=@UOQAG]CJ` =@U>MSGHQA?HQS?'ab=3I7;dcfe g [ U ACJIHQG]U AXI7=3hFQ