The widespread availability of high-performance uniprocessor ..... [Plu82], distributed routing update protocols, and the Domain Name System (DNS) [Moc87].
!"# $%"& '()*# $+,- ."*/+)") !0 1!+2) 34"4 5"()6 !0 7")24*6 89":)!"# 7' ; > 31 42 01 6 / ? 2 1 @ ,@
5> 2 01 2 3
A
364G 5
B & C % D # % E $ # F J2 I I 1 ,I 5
,7 ,/ 0 46 . / 05
5 ,= 2> H 6 I,5
5 ,-. ,/ 4,I 5
K
L C& % ; C M % $
5 H 2 I 1/N @ 6 = 2 1/ 5
O
O
¥¤ ¦ ¨ ® ³ ¤
¨¢©®¯³
¡
£
£°¬ ¥
¢£¤ ¦ ¡
°
²
¢£¤ ¥
¦ ª
²
¢£¤
B ! " # # " % #
| | ~
¥ ¦ ¡
¡
»ÃÅ ¿ÀÁºÃÁ·»Ç Ç»¹ ! ºÎ¸¼»Çº ·¸Á¹·Ä¾ÁºÂ »¿¿Ç·¼»Á·ÀÃ¸Ó ¿»¹Á·¼¾Ç»¹ÇŠþ " º¹·¼»Ç »¿¿Ç·¼»Á·ÀÃ¸Ó ¼»Ã ĺ º¸· ! ú ·Ã ¸¾¼¶ » ½»Å Á¶»Á Á¶ºÅ º # ¶·Ä·Á Á¶·¸ ĺ¶»$ ·À¹Ë ̺¹Á»·ÃÇÅ »¿¿Ç·¼»Á·Àø º # ·¸Á Á¶»Á $ ·ÀÇ»Áº À¾¹ »¸¸¾ " ¿Á·Àà »Ã ¸¶»¹º Ç»¹ ! º » " À¾ÃÁ¸ À % »Á» » " Àà ! " »ÃÅÓ ·% ÃÀÁ »ÇÇÓ " »¼¶·Ãº¸Ë &%ÁºÃÓ ¸¾¼¶ »¿¿Ç·¼»Á·Àø »¹º ¸·" ¿ÇÅ ÃÀÁ ½ºÇÇθ¾·ÁºÂ % À¹ » Ç»¹ ! ºÎ¸¼»Çº ·¸Á¹·Ä¾ÁºÂ ºÃ $ ·¹Àà " ºÃÁÓ Äº ·Á ' È À¹ " º¸¸» ! º ¿»¸¸·Ã ! Ë ' º¸¿·Áº Á¶º ·Ã»¿¿¹À¿¹·»Áº ûÁ¾¹º À % ¸¾¼¶ »¿¿Ç·¼»Á·ÀÃ¸Ó ( ÷%Å )¸ ¸¶»¹·Ã ! ÂÀ " »·Ã¸ »Ã " ¾ÇÁ·¼»¸Á ¿¹ÀÁÀ¼ÀÇ ¼»Ã »¼Á¾»ÇÇÅ À¾Á¿º¹ % À¹ " " º¸¸» ! º ¿»¸¸·Ã ! ·" ¿Çº " ºÃÁ»Á·ÀøË
5 H 2 I 1/N
@ 6 = 2 1/ 5
O
O
¡
±
£
¥
¦
© ± ¡
¥
¦
¥
¦ ±
¡
±
5 ,N = ,/ 0
O
43. 5 0 ,I
6 IG 5> 2 4,
6 I G ,I
Global Shared Address Space
W1 C1
W2 C2
S2
S6
S5
S3
S1
C3
S4
S9 S3 S8
W3
C5
S10 S2
W4
S6
S7
C4
S11
S1 S10
C6
S4
S9
S8 Key
S11
- Segment - Cluster
S7
- Workspace S5
±
! $ %& '&
© ¢£¤
ͺ¼ºÃÁ ¶»¹Â½»¹º »Â $»Ã¼º¸ ¶»$ º " »Âº $ º¹Å Ç»¹ ! º $ ·¹Á¾»Ç »Â¹º¸¸ ¸¿»¼º¸ ¿À¸¸·ÄÇºË Èº $ º¹»Ç »¹¼¶·Áº¼Á¾¹º¸ »Ã À¿º¹»Á·Ã ! ¸Å¸Áº " ¸ ÃÀ½ ¿¹À$ ·Âº ÖÙÎÄ·Á »Â¹º¸¸ ¸¿»¼º¸ ¼»¿»ÄǺ À % ¶ÀÇ·à ! $»¸Á » " À¾ÃÁ¸ À % »Á» Ì ¶ÏÒÓ Ê ÏÒ Ë « I2 / @ 6 = 2 44,5 5 5 ,N = ,/ 05
2 44,5 5 5 ,N = ,/ 05
25 5 64 1 2 017 , 5 ,N = ,/ 05
5 ,-. ,/ 01 2 3
±
£
£
¬
¥¬¤¦
¡
¥ ¦ £
£
±
% $
" #
/ , 0 I,2 @
/, 0
I 10 ,
/ , 0 I,2 @
/ , 0 I,2 @
/, 0
I 10 ,
% # F
}| | } | ! ¢£¤
" ¨£ª ³ § ¡
¥
¦
¥¦
"
" "
#
¥
¦
¥ ¦ "
$ ¡
¥ ¦
% & ¸¸À¼·»Á· $ º ¸º !" ºÃÁ¸ ¿¹À $ ·Âº »Ã »Ä¸Á¹»¼Á·Àà ¸· " ·Ç»¹ ÁÀ Á¶º Á¾¿Çº ¸¿»¼º »Ä¸Á¹»¼Á·Àà ¸¾¿¿À¹ÁºÂ ·Ã ·Ã» ÊÌÌÌØ ' Ó ÊºÇØÏ Ë
42 4 H , 46 H ,I,/ 4
0 ,= > 6 I2 3
46 / 5 15 0 ,/ 4
5> 2 01 2 3 46 / 5 15 0 ,/ 4
,= > 6 I2 3 46 / 5 15 0 ,/ 4
+ > 2 01 2 3 46 / 5 15 0 ,/ 4
1/ ? 6 I@ ,I
6 . 0? 6 ? 6 I@ ,I
O
"
" "
¥ ¦
± ®¯ © ® ³
¡
" ¨
¥
¦
" ®¯ © ® ³ ¨¢£ ª²³ " ¨ " ¨£¬® ³ " " ¨ £® ³ ±
¨ ±®«³ "
± " ¨ ®³
§
¡
§
¥ ¦
¥ ¦ "
§
§
¥
¦ ¡
¬ ¨ ª ³
¢ £ ¥¢ £¦ ¨¤ª ³ " ¥ ¦
¥
¦
¤
¨©ª²³ £ ¨ £ª ³ º ¶» $ º ¾¸ºÂ ¹ºÇº»¸º ¼Àø·¸ÁºÃ¼Å ·Ã À¾¹ ¿¹ÀÁÀÁÅ¿º · " ¿Çº " ºÃÁ»Á·Àà º¸¼¹·ÄºÂ ·Ã Ⱥ¼Á·Àà ' 2> > 31 42 01 6 / ? 2 1 @ ,@ 46 / 5 15 0 ,/ 4
2 . 0 6 = 2 01 4 46 / 5 15 0 ,/ 4
) > > 31 42 01 6 / ? 2 1 @ ,@ 46 / 5 15 0 ,/ 4
I,3 ,25 , 46 / 5 15 0 ,/ 4
,2 G 46 / 5 15 0 ,/ 4
I,3 ,25 , 46 / 5 15 0 ,/ 4
J.
,I,@ 46 / 5 15 0 ,/ 4
,/ 0I
46 / 5 15 0 ,/ 4
2 . 0 6 = 2 01 4 46 / 5 15 0 ,/ 4
5 ,- . ,/ 01 2 3 46 / 5 15 ?
0 ,/ 4
K
J,5 0? ,
6I0
,7 ,/ 0. 2 3
0
0
0
J,5 0 ,
6 I 0 46 / 5 15 0 ,/ 4
O
0
O
K
7 ,/ 0. 2 3 46 / 5 15 0 ,/ 4
0
O
0
0
O
²
£ ¡
¨©ª² £§ ª ª ³
K
£
£
$ ¡
¯¯
± © £
©
©
$
¥ ¡
©¦ ¤
©
¥
¦ §
± ¡
¥ ¦
¡
¡
¬
1/ ? 6 I@ ,I 46 / 5 15 0 ,/ 0
6 . 0? 6 ? 6 I@ ,I 46 / 5 15 0 ,/ 0
1/ ? 6 I@ ,I 46 / 5 15 0 ,/ 0
6 . 0? 6 ? 6 I@ ,I 46 / 5 15 0 ,/ 0
I2 / @ 6 =
| ~| }|
£ ¢£¤
°
¨ ®¯ © ® £® £¬® © ª®³
± ¡
¢ ¡
¥
¦
K
¨¬ ®³
©
± ¡
¡
©
¡
¡
¥ ¦ ¥ ¦ ¡
¥ ¦
±
¥ ¢ ¦
¨¬ ®³
¥
¦
¥
¦
¡
,7 ,/ 0 46 . / 05
H ,/
K
0H 2 0
A
K
~ |} }
¡ ¢£¤
¡
²
¯ ¤
² £ £ ¬©
¥ ¯ ¤ £ ¦
¥ ¦
¡
£ ° ¬¡ ¥£°¬¦
O
A
ª
SOR using 16 hosts in 2 domains 350 Random Segment Implemenation Sequential Segment Implemenation 300
Total Runtime (Seconds)
250
200
150
100
50
0 2
4
6
8 10 Number of Hosts
12
14
16
± RST _\_db [iV _WhT [T iW[Tf _\ ^\hZbT_T d x w ax w k Z[\ebTh i`WVc eT_oTTV w dVf x k `_d_W\V` \V fWrT[TV_ x ueZ` `ieVT_` ^\VVT^_Tf eY d _o\ cd_TodY S\Zj R\ dl\Wf d `iffTV ^SdVcT WV ZT[X\[hdV^Tn o\[p`_d_W\V` oT[T dffTf WV ZdW[` `i^S _Sd_ _ST[T d[T d T idb ViheT[ \X hd^SWVT` \V Td^S `ieVT_ d_ dbb _WhT`j
¢
¡
¥¦
£
¨ ®¯ © ® ³
¥
¦ §
§
¯¯ ¯ « ¡ ¯ « ¡
± ± ¥ ²¦ §
²
ª
¡
¥ ¦
¡
¥
¦ ° ¥ ² ¦
²²
I,3 ,2 5 , 46 / 5 15 0 ,/ 0
I,2 @ / , 0
| |
®
©
¡
¬
²²
| |}
© ¢
¡
~ | k j Vf[To`n j k^SbW^S_WVcn j dYT`n dVf Rj i[fWVj RST tT`WcV \X _ST kdcid[\ tW`_[Wei_Tf ZT[d_WVc kY`_Th j
n k gx x x xx n dVid[Y x j !"# k w j tj ! W[[Tbn j " TlWVn ju j # TTfSdh n dVf u jtj k^S[\TfT[j [dZTlWVT V aT[^W`T WV tW`g _[Wei_Tf \hZi_WVcj $ %% & ' ( $) n w * n x wj !+ k ! [WdV ! T[`Sdfn ud__STo + Tpdi`pd`n dVf , dYVT kdof\Vj RST uWfodY tW`_[Wei_Tf kSd[Tf uThg \[Y kY`_Th j - V . / '
$ %0 $ $ n x j "1 j Sd`Tn 2 j hdf\[n j " dm\o`pdn j " TlYn dVf j " W__bTqTbfj RST heT[ kY`_Th d[dbbTb [\c[dhhWVc \V d # T_o\[p \X uib_WZ[\^T``\[`j - V . / ' 3%0 &% 40 3% . 0 5 n ZdcT` x x * n tT^ x j !+ x \SV ! j d[_T[n \SV 6 j ! TVVT__n dVf , WbbY + odTVTZ\Tbj - hZbThTV_d_W\V dVf ZT[X\[hdV^T \X uiVWVj - V . / 78 ' ( $) 3%0&% 40 3% . 0 5 n ZdcT` x* w j ``\^Wd_W\V X\[ \hZi_WVc ud^SWVT[Y k - kn ^_\eT[ x xj ST tj ST[W_\Vj RST 9 6 T[VTb k\Xod[T ! d`T X\[ tW`_[Wei_Tf kY`_Th`j
n x w x n x j ST tj j ST[W_\Vj [\ebThg\[WTV_Tf kSd[Tf uTh\[Y tT^TV_[dbWmTf ZZ[\d^S _\ tW`_[Wei_Tf kY`_Th tT`WcVj - V . / ' :' 5 $ ; ' 78 ' ? 3%0 &% $ %0 & ( '& n ZdcT` wn iVT x j 2 dZSdTb 2 WVpTb dVf tTe[d TV`cTVj @ 6 k \V d kSd[TfguTh\[Y uib_WZ[\^T``\[j ( $) A(B $C $ %0 & ( '& D n kTZ_TheT[ x j 2 ! [T__ tj 2 bTW`^S dVf T[dbf j \ZTpj uW[dcT ^\ST[TV_ fW`_[Wei_Tf `Sd[Tf hTh\[Y fT`WcVj - V . / ' 7E ' ( $) 3%0 &% 40 3% . 0 5 n ZdcT` wxx wwwn tT^TheT[ x j 2 k j j 2 WVpTbn u j " j k^\__n dVf jg @ j SdVcj aZT[WTV^T oW_S Sd[b\__T kWhZbW^W_Y dVf 2 iV^_W\V WV d tW`_[Wei_Tf ZT[d_WVc kY`_Th j
n x* * n iVT x j
¯
!61 w , j j d[[T__n j ! WdV^SWVWn " j 6 \V_\_SdVd``W`n j j u^ dbbih n j RS\hd`n j , W`VWTo`pWn dVf u j" j k^\__j tYVdhW^ kSd[WVc dVf ! d^pod[f \hZd_WeWbW_Y \V geW_ ud^SWVT`j RT^SVW^db [TZ\[_n * Tb ""1
@ 2 "1 " dh " dh " u\^ ul R 1 t 1 bi w d` 6 6 x khW w k w kiV @ *
UVWlT[`W_Y X \^ST`_T[n Z[Wb x wj tj TbT[V_T[n # j d[[WT[\n kj SdVf[dVn dVf kj SdVcj d[dbbTb [\c[dhhWVc WV " WVfdj - V . / ' 5 $ . 555 . n ici`_ x * j tj TbT[V_T[j uib_WZbT _iZbT `Zd^T` WV bWVfdj .(B= 0 5 n xwn x j TfW_Tf eY j f]Wpn u j Th n dVf j kdY[Tj 6 \i[\`S Sd[d^S\[b\\n tdVWTb " TV\`pWn dhT` " dif\Vn SWbbWZ Wee\V`n V\\Z iZ_dn dVf \SV TVVT``Yj uTh\[Y \V`W`_TV^Y dVf lTV_ [fT[WVc WV k^dbdebT kSd[TfguTh\[Y uib_WZ[\^T``\[`j - V . / ' 7 ' (& 5 5 3%0 &% $ %0 & ( '& n ZdcT` x* w n udY x j j [Ws\TVn j @ dld_pd[n dVf j 2 WVpTbj a_TVfWVc _ST tWhTV`W\V` \X \V`W`_TV^Y kZd_Wdb \V`W`_TV^Y dVf kT iTV_Wdb kTchTV_`j RT^SVW^db TZ\[_ k w g n UVWlT[`W_Y X 6 TV_i^pYn Z[Wb x j jkj Sd`Tn 2 j j hdf\[n jtj " dm\o`pdn Sju j " TlYn dVf j j " W__bTqTbfj RST heT[ k`Y_Th d[dbbTb [\c[dhhWVc \V d # T_o\[p \X uib_WZ[\^T``\[`j - V . / ' 5 ' ( $) 3%0&% 40 3% . 0 5 n tT^TheT[ x j " j " dhZ\[_j \o R\ udpT d uib_WZ[\^T``\[ \hZi_T[ _Sd_ \[[T^_bY aT^i_T` uib_WZ[\^T`` [\c[dh`j
$ %0 & n w xn kTZ_TheT[ x j ! j , j " dhZ`\Vj WV_` X\[ ^\hZi_T[ `Y`_Th fT`WcVj - V . / ' D ' 4 . n ZdcT` n ^_\eT[ x j 6 dW " W dVf dib ifdpj uTh\[Y \ST[TV^T WV kSd[Tf 9 W[_idb uTh\[Y kY`_Th`j ( $) > $ %0 & 3% n wx* n # \lTheT[ x j j u\^pdZT_[W`j t\hdWV # dhT` g \V^TZ_` dVf 2 d^WbW_WT`n # \lTheT[ x j 2 x j kj uibbTVfT[n j ldV \``ih n j RdVTVedih n j ldV TVT``Tn dVf j ldV k_dlT[TVj h\Ted tW`_[Wei_Tf ZT[d_WVc kY`_Th X\[ _ST x v`j
$ %0 & n w * n udY x j j i`_T[S\i_n j ST[TV`\Vn 2 j t\icbW`n u j # Tb`\Vn dVf ! j , Tb^Sj RST kZ[W_T # T_o\[p ZT[d_WVc kY`_Th j
$ %0 & n ZdcT` w n 2Te[id[Y x j tdlWf j bihhT[j V _ST[VT_ ff[T`` T`\bi_W\V [\_\^\bn # \lTheT[ x wj 2 w j W^p d`SWfj RS[Tdf` X # To kY`_Th j B n n ici`_ x j tdlWf TTf dVf d]TVf[d 6 dV\fWdj kYV^S[\VWmd_W\V oW_S TlTV_^\iV_` dVf `T iTV^T[`j $ %% &> ' ( $) n ww w xx* xw n 2Te[id[Y x j Uj dhd^SdVf[dV dVf u j @ j j 6 SdbWfWj V - hZbThTV_d_W\V \X tW`_[Wei_Tf kSd[Tf uTh\[Yj . / 0 n wx * n udY x xj bdV j khW_Sj d^ST hTh\[WT`j ( $) $ %0 & & 3 n x * n kTZ_TheT[ x wj j kSdS dVf Uj dhd^SdVf[dVj R\od[f` aZb\W_WVc _ST [^SW_T^_i[db 2 Td_i[T` \X ! TTSWlTj RT^SVW^db [TZ\[_n T\[cWd - V`_W_i_T \X RT^SV\b\cYn x wj RT^SVW^db TZ\[_ j 9 jkj kiVfT[dhj 9 u 2 [dhTo\[p X\[ d[dbbTb tW`_[Wei_Tf \hZi_WVcj $ & 3 .
/ 0 n w n tT^TheT[ x j j @ dld_pd[ dVf j [Ws\TVj RuR k^dbdebT R[dV`Z\[_ [\_\^\b X\[ - V_T[d^_WlT uib_WZ\WV_ ZZbW^d_W\V`j RT^SVW^db [TZ\[_n tTZd[_hTV_ \X \hZi_T[ k^WTV^Tn UVWlT[`W_Y X 6 TV_i^pYn Z[Wb x * j `iehW__Tf X\[ ZiebW^d_W\Vj