Distributed Performance Testing using Statistical Modeling

Distributed Performance Testing using Statistical Modeling Alan F. Karr

Adam A. Porter

National Institute for Statistical Sciences (NISS) PO Box 14006 Research Triangle Park, NC 27709–4006

University of Maryland College Park, MD 27042

[email protected]

[email protected]


2 + D &# 2- * % ; # „]a#g0­.¢f]bƒ®`Jd|ƒ‚b,©/Z/ˆ>¢f]&gŠZ/dE£ ZJa#g0bdH]bƒ¯ƒfb,©/bˆ0ZJ¤6€FbdH] ¤|a Z[… b„&„b„ ‰2f * H° $8  -H5+  CAQ%3  D   $ '
  D  % N# * -!/  D -  *”* @  !,Q '
)%1#"0  ,@A @A * @A /'  * + )%  * - - ›8  8- :#
)-J&  )-C  !OŒ-CB- * %  - 8 -)Œ#  4•j
1 %O"># /-
I /O -% =# *  !! )#[ #Ÿ7 4 —1
L- A#'
 * %1R !O±)'  )8 * @  /  ; # # !C#% 8$% ; # < D   * 9

J&@A!8-' :#  * 4 P !/#"2 D
-% K‘’ 
#$  8# :-!$&#N/~-J#3Œ *  L=B)@A/-" * :#[  K‘“ &-!!
 @ RM,  @AO- 1#=#J#  * - D
-%  *  -.1  '
 D 
 D J * /
&@# &4fST?-,  * 
J | :
)% # *  -)› *  *  =  * 8-L
‹8 -1GH @A ; )/ &@AL % D +:# Š#f ! CJ'GH- &C/# *  -% L
  %8-
-%L
 -"Š ; #   * %+ 4 ET **  !
 O -! ; R#  * @A-8F  - *  '
)%Q"0- 1UK+ %  * C›  ,%-%~%J#^±‘B  % :- •ªUÂ$K‘K—'457J  )%)# ; =# ~"0% 8Q IUÂ$K‘Ð    
#R  * %O/ "># 1-T--3 # -% *D 
 D ; -  * - *   % *D 
 D 'Ó-o'C:
J#8-)8F
3 /
J&@,)#  @A ‹ !L-  * -#    % C !2-+ :-  # *   % 2&@ #Š#37H˜# * •jÔ —?p r Ñ yx ¸   * 3GH .9 * %  ~   % CH %:
-B   # K / * CH!!# I&@--)-) D 3^C :#  ; # - 1#-CJ#&%3 8 * #:9"Š  
OC # * + # )8F- * -J#3Œ)8R
 *  :4R5™Ž#) ,@A @AŠ# D 8
 ³ C~ž  D  -^/!U=Â$K‘’,@,3  !, *   / *  ÛAÛ Û?Ü ÝAÞfÜjß#àá6Ü7â-á ßã äå,æ ç â,Ý#èÞ-ãÞ&é æAê ê 4ë›%  3†},# = '
 * %)8O# * !- 3M% 81:- u ¸ o'p'w7r:m ¸ µjr-unv r-u x ¸ p t#µ>u ¸ªx 
J 2)!3$
K   8-".-K-  O-  *  
K   8 2-" -
 41‘ñÓ#t ³ µj´Rv r-u&¹f¶ y p t ¸ µjr#u”= Q
J =@,)-)# =N, ' D    Q + :#, 46}# % ?!# ›
&&@3
J#%:
J#8  * "0&# % C# * •ª¿—v³ µ™o'u ¸ v:Èt-p+tAv ¸ o'p:µ x ¸ µjv x t-u/´Qmp o>q&o'p o'u/v:o x i"0- =M#! CH
    * -8 % :   1Q%+‹/L-!J# ) ; 3
!
 P }Q % D 8Ž O
K~1#'
)K- B-J8-% :  )-LQ%+$ % ; 3
% ' D @  ln : 
 $
-I %/ % ' D @  lõ - ' )-O! * 4 ‘L"Š  ?B@-- *  8 % :#  )6:
- EC#
5+}‘ÁJ#'- 1# + :—L-  )   * ; 3
  -"Š ; # I #Ÿ7&4Fz?-:
OŸ+-ž J8 % :#  ž9
T ,=  }<  B)&C ;
):
M% !
Ÿ+ Ç 8 % :#  Ç# *  D  % 
1  %3 Q R
5 }‘94.
N5+}‘&#Á)# Á"0  ÷


 %3 L- *  * -$
~  i‹"f  !K 8 % :#  2">-E  ; - # 1#   ~! * 3"Š9"0% %  %:- < #  8 !, 2 ; &$
J 2!  @AK  2/ "># 1- 4 },=U=Â$K‘ø   ~&-R/=-!MHCH},- LM#! C ; B%  * Â|‘‚  * Š#8      2# *   D  8 B
# ;  =
=-% 4L57 !# I , ; - < ;  * @A)-/ * +:  + )-B -1  *  8- # * #J#ŒK"0- 1#EM/ ! 4

* / * )8Q-O
 ; "ª#+L
++ :
J-8 4 
L#  %! -!/
 * 
?@A D + Ž  ›?
J#‹  1-”GH 1    O
O-!
J N#GH1/' ">- 1# ! +&Cf@--%J  )8-› QJ# --"$
 !   T   8 C ;
:
; 2&#
Žû^  8= %3  C ü=&- &- -J-3!+ 1#  / "0- 1-$#   .
›  ‹ J8-% :# -Ž J# 4.5™"
.# D  %!  I$ %-C + 8Q
  8Q %3 
-% *   @, *  Q%'
N
9 -!9)"># 1#  -L + 81
9  9-J8-% : D   F J# CE%K#=!"0 :#  -"›
9 !- * GH#  3 2Q%:
 1- 2
J-
 3 K-8 % :   R J# 4 2.2.2 Feasibility Study

2.2 A Sample DCQA Process for PerformanceOriented Regression Testing

ST=@--%#  * 
K ;   KO-383B N1)# 8- D  &#)++ Ò&#) * ‘LÂz‹ÃK|‘ P X3–&Ô#hj4O
!+ % * ">%  *   
1">-) ; 8Á#)&   n J )4±UK%1 F Ž:
J#8  1 * R Á
!  -8-(%%8ž+ :  8-CL
 * @A / N-" ‘LÂz›ÃKf‘ P Û57‘ P ; '    * ; 3
Q!- % 8L ; ~/' D "># 1-6 3  )i•+–&—/
6Š  '~"># |&#'
 &%+|# * •™V-—H  D :- !  -8-?
  %8-
%6•ª@A,  º  - * —// ; K
?‘BÂz‹Ã D |‘ P Û5+‘ P )- *   @A' &4I»- =
=@A   (-"2‘LÂz‹Ã D |‘ P Û5+‘ P CE
 * @A-/ Ž *  3J * –¿J# ( % D  !    !
Á">3I#GH  * )# ”- * 
  %8
%&4Ç
%C 
' =# 9V,ý™þBÿø–&
ù :Ô W-¿ * 3GH 2-J8-% :  )-4 fB@ #%J# $-% ?#  -:
EC ; 8- :   * / "0- 1# * #: "># =-–ùC Ô W#¿I@-- *  J8 % :#  C ;
'
; 9 "0 K -L
 û^"0%/ %3 ü- * 
L/ "># 1- * #:=-‹
1û^"0% *  :9 &4 ü ST
®M-! * 
T'GH-"1-:
¯  )-¯# * Ÿ7% * 8- * ;
'
 2
'N
 * !/# :-2GH L I/ "># 1- 4 Å -  *  ž
) * #: ;  * '  ! * 
#Q ; F  )- ;  I)# 3 !/- :#,&C#-
 $
  ; ' =# 8 %-!/- :#&C- * 
 1#)8Ž-   ;  #L)!/# :-&4 ST
Ž@--%#  * ;

 ?
 !- 3M%  *    D 8 *  )8-K-  3R *   * 
9 -!=!/- :#~-   *   @A'  * Á
1">%) * #: &4”f * F
C ; O&-%)#  * - * M%  * 
  * 3GH Ž  8 *  8-4±
  *  D  8 M-! * #)$–¿I   ~% 8N) &# )8 3F)# 8 '  %  ŒB•jÔAV,Cù-¿CA- L– V-W-  @-#  :—'4.ST "0 ? K
$  8 *  )8-B-    - C    - *   AC  / @A34›S( *  ' D ! * 
#$#[ ' þ 8 *  )8-ý -  3 *  3J * 
L ;  !/- :#,2-   4   ý #) ! *   * 
~
 /-  3 !/- :#,2-  4 
 N  % ! %8 8-+Ž
J R•+– —=  8 *  8 Ž&-   !9&# C *  K!/- :#~-  K#K! 1-f"0 :#  F-" 
L-+$-"EM
J#%+ @A2 + 8˜[•™V-—?
L 1- 
BGH&C
 )# 8- ~
K %I Œ= *  *  ! *  3"0N3&˜/- * •jÔA— * @A /'  
-% * /!-% -% ;
 * &#)8 ; 3
(-  =
#9#/&  (
&@AR-”!/- :-&C‹%Ž )# @A3” 1-2GH&C$-Ž
' 1- %-3(/! )8R# 1-6@  )#  [ i    # *    þ /-
N
J&@AM#!$-"f
4 ~'M&C ; K@--%J   * ;

 L/'
1# - 1#1%):# 1-! D
-% ! 'M !3 ;  ! º GH# &C •> %8¿/:
1 - 1# * 8- : * # -#   ~Ž)# 8 9-J8-% :  )-R J# #O(  %3I#"=++ ì:
J#8-4 P % N-  -:
 )I  Š# Q#"2M/ !:- *  8-9&- * x vp o o'uµ0u,¶(´o x µ)¶-u x X3– Æ&h™C ;
'
 9
8
3N- !&#.- * &#O @A&#f!/- :#,9³r É w r#p ´o'pQo>úBo v ¸ªx C/ %'
I-2 * )@, * %-[  )-L- * -3 2- 2  #"2  )-
J 9+  8-3T GH9/ "># 1- 41ST!&#‹
  !-+2J% )-[  -O   8-û^1-OGH 4 ü ‘›
8
1@AªC,1#)!'GH › ' 8,@A @A‹
$"0  ; D 8+ i=•+– —2 !% 9Ž"># 1-|M/ !:# *  )8--  * -±
N++ O°  J8 % :#  ±! * j˜K•™V —9'M% 1
J !M D /' )!,:# *  8 O- - L *  *  !% 89   % 2N
 },g0­fa#`]&g0Z/dÁ/ ; 4 Y[¤|`… b£+¥6ˆ>ˆ0g>dfe1
b 'E¤6b,a#gª€bd[]`JˆJƒfb„&g0eJd|„  }- D )8 *  8 
J&@A9/%  *  % +">%)3"># =--3 K-"‹)# 8  D  -!  D %  ! * IX3–&V hjC ;
 1

8
* )!  -37ž#"B%  J#9O 8-3J&#  % 4O

 % * /1-&-)# ; ) 
)8-
D^* !  J#-J8-% :  )-Á J-C›% ; )  D %3  * -:#  RN- * ' L  * &# ; 3
O-+ :#) 4 Y[bØ[¢fbd[]&gŠ`Jˆ`d|ƒ’`ƒf`¤|]g0©/bÇ
b 'E¤6b,a#gª€bd[]`JˆQƒEb„&gŠe/d|„  »#  #   %:
¯#F
   *  %   * / ; CŽ * # @AžM D :# -F#"‹
= J8 % :#   -1&N/=J  )%)# 3GH D  @A 4 P 6+ :# 8#C#%  *   B5 }}L)=#
 f   8 C-f  *  &%, )#)3C/8 8 ; 3
Q - D )8 *  8 O ! %   @A :#8  C- * "0  ; )8T% ; 3
±-
' *  )8-Q: 8   *   8-)-LI
K 8 % :#  O -Rû ;
 
- -O4 ü (Za#a Z_!g>dfen„]a bdfeJ]&‡  },QK‘¯:- #  D @A+ 8 # 8O!#  * + %  * # A-:
•ª 3  * /' D   D /' !-8-- 3
!:— ;
:
Á   2# *Á*  :R+ - :-8-R#  * + %  *  Q * %  21-:
4

Screening 2 Options (4 cfgs) Over a Time Period 160

latency

140

120

100

X2003.12.21

X2003.12.20

X2003.12.19

X2003.12.18

X2003.12.17

X2003.12.16

X2003.12.15

X2003.12.14

X2003.12.13

X2003.12.12

X2003.12.11

LgŠe/¢fa b    

X2003.12.10

X2003.12.09

80

ÖBb,a \™ZJa-€`Jd|…-bRb„]gª€`]b„Ž`… a Z/„&„Ž]&gª€FbH‰

»|-3C ; ~@ #)%#  * 
B )1 Ž8-A-H#"E
B1#)!'GH   ' 8 ;
'
ž= ,%'# 1- * 8- : * #  [˜/•™V —f/' D "># 1-1  !Œ&  )-Á- * @  Š#37(  * %' )-l *  ' ! D 8B-  9   8-|
J#|1#M!)Œ‹/ "0- 1#‹- 6!!Œ / "0- 1-2@  )-37H˜,# * •jÔA—f &% ! . # +"ª#  l * '  !8F :#8 I-"-  ”   8 1 @A ;
'
” @A :# / "0- 1- 3  )Ž&#O/K Q%:#-% 3N # +J * 4

U~ 3 R % )3 Š#~ %  CL%:
; - dfeI]‡f" b !$#„&¢f­|]`J„&«R„¤|`… b  ST‹"0- 1#)3=    
  - / #"$
1K‘î %:# # !C?- Ÿ+%+f- 4EST ; ! * -- * --%[">- f%  ' @ #61-:
 D  /3 * 3GH |
#.-% .% 6-  -:
&#-.
- *  4 57N :# K
 ~%-  @--K'
# :#  +  ;  % * /~"ª# D  - = %'
ž#=   # Q / * C.!!- R Œ C|-
' Q#)& D

 -L- *  ; #  * J#'- L+:#9•ª'M#! i P }— )+1 ÿ8  $ J#$-"/%-  @--)L•ª'M#! iEJ# )  / * - LA * CJ!!# — )02 ÿø/ "0- 1#K!- % -4?‘B  %!2
J 2)# 8 ' B@--% # /'   &C  2  % * /!•+– º %89 ! —'4 ‘LE#" * C / C 1 # 
8-
D^* ! )-J#j4 
ŽJ# !+:# + &-‹! * 6K"># 2-3 ÿ’!- %  * / "0- D 1#B">- B+:#5  4 i ÿ 6f• *83 /&3 :9 3 —E0 à ;3 •+–&— 2 3 7 ;
   4 )+* 3=< * ÿø J8-% :# -I"># ~+:#5  4 C &   * # )0/ 30< / ÿ    @ #O"0- F+:-> # 1- C%$
#2&#O/KM * 46
/-)L$
J#  &-89 % *!*  - 2
 * / * $#"[
2! *   %-  @--4 øZ[ƒfbˆ›©`Jˆ>g0ƒf`]&gŠZ/d 5D  ; *  ; $-   6
 ;ž; -% 6!
 * ; - - 2@A ! ; *  :9/-,1&Q/B  )Õ!&4‘î)  * #% 8R#3  J  )@ N= O
& D  ) C.
=  + 8R/&-% 3 9
 *  :O
 *   ! ;
:
žJ#  9-"$
Ž">%) *  8-Á# - %-3 *   4 ) } ! * 3 # F ; :# * -OCL/&-% F
 * / *    @, % * #:,4?
B !&  $
#J-3 4 ) û^ST * ü$ J8-% :# -| ›# %J#  Ð
  %8
D  %&4O}
 % **  8-- ;  J8-% :# -=
J#=   +"0  + :- L% ;  % * @A 2/%  * I -37JF 4.2 Scenario 2: Optimization and Variability Control

57
K J ) ; !,@, )- * @A-/  ;
I# !% * 8 
 ›++ Ù !  1-"[-L- !# 2 !/- 4|S(B#  %! 
J 6
% * ' 8~ !/- .Q%+./$%+  !Π*  K % D /- .
‹ &% ! f-"
› @A' :--)#  [4?
›++  * @A / 2 *
O *  * 8Q
 ;   * Q
4 579
6 # C,-!/  * @A)-/  ; )  @, * $Q%3  D L/:
1 # 1-›&@A :#8  *  @A' @--%$#"f
~%   @ #$$-"| -H, ' +&C,
1
   !)Œ#  O  )œ) *NM • / K

—6ÿÇ# 8‹1#M O

P

6f• *

/ K 9 R— Q|•S9A—UT
9


•jÔA—

; 
' WVf  !6/ "0- 1#6
 
  * - * Q=  ! *  37l J  )%)# &C 
6/-+  - * + )%  #"X9$"Š  Ç
 Å  Š# --3 4 
'  QŽ,%!  %$ !%:# -J-E'
-8-K
  CJ D % * 8Ž
=,%!' )-[) 8# :#   * 3Õ!%3 )BR&#)%)# 8 QfC- * 
~ !)'M3^N#" * - * / 4

b  5^" ; - +›&- L/ "># 1-2#@  # f@--%$#"|
~%-  @--$2
~ 3  -EC
1
K- D  !Œ&  )-O -œ •ª¿A— * M • /&K —?ÿÇ# 8?1#M !) 6f• * /LK 9A— ,

-B! J8-% :# -R J-9 #!8Ž :
),%K ! %/- 2
 :
J# :#  Œ&  )--"|">-%  D  * %8Q  -O   8-4 ÖKa ZJeJa `/€ ZJ¤f]&gª€(g0¦ `]&g0ZJd‹‰ P G D )?-J#3 E
J-E/=# *  n  8# :-ë#J-3 O ”! #@ -! D 8  :#  *  *  4 »# B'M#! C
=‘?$¼f‘~}FX ½ hf%! &-E-8- :! :# N%  -! &#/  )!Œ&   8-)B  *  * L
~@--%›-"f  D  !Œ&#  R# :#!  L,N8  :  )8 * 3GH B -8- :-ñ@A' D   B
J K 9 %R R@-#  %~
# * ; #  º P }I)# "0- !4B
  % %L"Š  ñ
 = %L# 9%  *  1 ~J :-!  B@--% 
J !  @, * 1
/+!/ "0- 1# 4”kO 
1  &-2! * ) # K- !%  *  Q+ )1  K  !)Œ#  NJ# :#!  $-  *   
‹% *  38B# :
3  %  C-
 %8
=!3 &# * #:2.-f"> *  Q
K! * $ Q JK3&4 P  D ?--3 C ;
 ‹"0 * -:# KM/ !:-[@--%J   R-"? ; - %6
 6  J8-% :# - ; 
J * / "0- 1- C 
; '
”)! @--!3"^C$">- 1'M#! C‹
O #"0 ; # R%+!!' /' ">- 1#O ,%3 ! Ž %:
#1 / * # !!- T"0- D  ,&4?¼[  [ M /2
~ '$-"‹•ª J8-% :# -EC   @ # —‹-3  ; 3
J * / "># 1- 46 ; K/    * J -$• Ä &-
J 
8
' 2 L/   2/ "0- 1# 4 —Ž  i #1©/b,a `eJb¤6ba \™ZJa-€`Jdf… b  5^"[/ "0- 1#~ @  :-8- * #@  @-- D %2-"|
%  ' @ #$B#". J-[  +&C
 [ M ] ÿ \L• * /

—›i

P

6f• *

/ :9 R— Q|•S9A—UT
9N^_Va`@

•™Æ-—

; 
 =VNf -!6/ "># 1-?
 
- * # * Q=  ! *  37l #  %) &C#
6/ +  - * + % )-=-"X9›"0 -Ð
 Å  )- #J# 4 
 # R
O -!R-!%:#  ”'
-8-N
 -!"0- },# V,4 YøZJa#„]…-`J„b1¤6ba \™ZJa-€`Jdf… b  5^" ; - +›&- L/ "># 1-2#@  #f@--%2#"|
K%-  @--)L$
'  ' )-EC
 [ M C ÿ b.• * /

—iA! f6 • * Z

/ 9A—8^_Vcd,

•jù —


!-  -:
; ›/ I+ 1# Q
Q e[ M C|# * 8 %  -% ;
J L) * )@,8Q 2+ % %  4?
 )-[+ L  i –-4L› + %9+ 1  - gf[ M #"a[ M 4
!J#)@  ;   *  
 I %+ 3 %  6(B "0- h6(n•™Æ —~# •jùA—'41z6@A ; 

C'
# :-'  Œ81% :- L) f[ M )BQ:
J#)8  4 kI- ›  
+ )#  * - A#'
|% û7/  ' üB+ 1  -  f[ M 4 V 4 A~ i  6 B - * f[ M  F% *  +:- * •ª J8 % :#  -  @ D - —›GH › / "># 1- 4‹»- $'M#! C %I=)- D  3J ; 3
T!/ 
F)j  [ f M  &   * -9I)# F  D  /   4 5.

RELATED WORK

P % ! -/   * ; #  * J#'< D J#  *   !Œ&  )-” :
),%C # * ) 8  D  &#) + / * ,@, -! 4 #1¤|¤.ˆŠ×fg>dEeñg ¡ kŽc ]Zñ„Z\^]:_`a b†bdEe/g>dfb,b,a#g>dfef‰÷‘LI"ª F- ; Ž&#F ªC[ Q
J#K%  *   8 *  8-~"0- = -"Š ; #  /' ">- 1#Ž-    !&49
Ž% -" *  8 F-"›M/ !  •ªU~Az‹—B
#  ; 
( -"Š ; # 18- 8I
J#! + 3/ !3  *  µ>u ¸ o'p tAv ¸ µªr-u ¸ o x ¸ µ>u,¶-C)# 8 1 9 !% B- *  -! D  !=8- :  !!1-. +9 %3 
#= @A #)‹ J D  -!-"~ /3J *  -8- :# % 4n} !NM-!)Ž-"B
 ; - u,¶ x r+q ¸ Èo ò:u ¸ o'p:u/t ¸ µjr-u/t- ³ €Lt#p t ³>³)o³Et-uJ$ ´ …Kµ x ¸ p'µjÑ y,¸ o $ ´ €p r&v:o x x µ>u,¶ Ì · s~mr x µ y sCJ‘L &4JV-¾-¾ Ô4 X Æ&h9}H4 Ä 4UK-)-ªC/‘=4 { -EJC 4 n # %J-3
ªC {4/k4¼E&    ÂB4Hk4¼E# &C/§4JÂB4{.#   /# * Å 4/k4 D -  ; 3 Œ 4 kI *  D -  *  + 8ŽI :#  457g  €p r& v l6r+q ¸ Èoò:u ¸ m³ l | r-uq l.r-uÌ/r+q ¸ªÉ t-p & o ƒu,¶-µ>u/o o'p'µ>u¶-L Ê †>ò | GÌ ƒˆ‡&CJ-8- V-W Æ ‰,V-À-¿C.–&À-À À4 X ù h5'4J}H4UK% Œ CS¯4 n 4z?
 ):
EC Å 4JU4J},Œ&-)-u/o o'p'µ>u¶-L Ê †>ò | GÌ ƒ‹Š Œ
:‡&CJ-8- V-¾ Æ ‰,V,– ÆC.–&À-À ½ 4 X ½ h n -!Nï‹-  @- * í~)--!8!¼[E# * §K# Ä I&4 #j4J‘ › !#   I-"?z6!3 &-E- * kI *  D^* )@  P  !Œ&  )-E457Ž  €$p+r&v'o o ´-µ>u¶ x r+qBó |- Ì,xò =€=‘|E ó ’ v r-u&qo'p o'u/v:oŽr-q u €p r ¶-p+t-sQsµ>u,h ¶ ‘ft-u,¶ y t&¶ o …o x µ)¶-ut-u/´ ò:s~mJ³)o's1o'u ¸ t ¸ µjr-uC { %=V-¾-¾ Ô,4 X W hUQ4 n %
I# * k4 Ä )34‘BN),@A+ )8 #  R#"|
 -&-)3^O-" *  8 I-"6M/ ! › Ž #"0 ; #   + 8 4 €p r& v l “X ¸ ÈóLuu y t- ³ ’LóKÌ,” ó 2r&´A´At#p ´ •ò ƒ=ƒ=ƒ Ì/r7q ¸ªÉ t-p  o ƒu,¶-µ0uHo o'p'µ0u,+ ¶ –Ir-p Î x Èr'mJC/-8-LÀ– ‰ÀAÆC[V-¾-¾AV,4 X À h9ÂB4/¼[%EXC {4J‘94},:## L
5  ~ ; #