May 3, 2017 - P. van Blokland, L. Booth, K. Hiremath, M.E. Hochstenbach, G. ... Hans Duistermaat en Dr. Joop Kolk met de sciptie "De Hankel transformatie ...
! "# "$$% &"'(
)
"' &*+%
!"#"$ !""%$ !"&"$ #" #'$ #" !($ (&)*+ $ ) , )- . - / 0/ (%1&(&1&&"&12
## 0 - #* - , #*# 3 - , #** 3 - , #*& 3 - 4 - , #*+ 3 ,5 - , #*" 3 , - , #*! 6 #& , #&# , 7 #&* , 7, #&& 381 , #&+ 5, - #+ #+# : . #+* 5 #+& / 7, #" ;8 #! / #9 *"# 7 81 6@ *"* 7 81 = .> *"& 6 8 7 81 => 7 81 6@ *! - = .> *9 )7
#" #! #( *# ** ** *" *" *9 *' &%
*9# 3 - 4 - , *9* 3 ,7 5 - , *9& 3 ,5 - , *' *'# 3 ,75 *'* >A *'& , 8 81 < 4 *'+ 0 8 *( / 7, *#%
!
&# &* && 3 =>> ? &+ : &+# 3 &+* ;, 5 &+& ; &" =>> 7 /8 &! - &!# )7 =>> &!* 7 =>> &9 &9# - ? &9* 6 &9& >A &9+ ? 8 : &9" , 8 = .> - 7 &9! 6 , &99 - ? &9' - &9( =>> ,7 &9#% 3 ,75 &' / 7, &(
&& &" &9 &9 &9 &' &' &' +* "
+" +9 +( "% "% "# "" "! "' "' !% !# !# !* !& !& !& !+ !" !! !! !! !9 9*
" # $ % ! & ! ' ! ( )
+# +* 7 +& 7 +&# 1 1 7 +&* > 7 ++ 6 7
9+ 9" 9' 9( '# '+
+" +! +9 +' +(
6 5- ? - , - / ? - < 4 - 4
,, +(# 3 ? , +(* 3 > +#% / 7, +##
'! '9 '' '( (# (# (& (+ ((
! & ! ! $
+
! & !
"# "* , 64 , "& = .> 5, "&# ? 8 - , "&* ? 8 ? , "+ 64 "+# )7 - "+* - "+& 6 5-.64 "++ 6 64 "" , - - , "! 3 ,75 "9 : 4 , , "' / 7, "( !# !* !& !+ !"
!! !9 !' !(
- , , ,
= .> 5, ? !"# ? !"* ? !"& ? , - - , 3 ,75 / 7 ,
*
#%# #%& #%+ #%9 #%' ##% ##% ### ##* ##* ##& ##+ ##" ##9 #*#
#*& #*" #*' #*' #&% # #&& #&+ #&" #&! #&! #+#
) ,- ' '
9# 9* 9& 0 8 9+ 9+# )- 9+* )- 9" , 9! / 7, 99
& !
"
#+& #+! #+! #+' #+' #"% #"& #"" #"(
. ! / ! ( & ! ( +
'# '* ,,7 ? - , '*# ; 1 : '** 381 : '*& ; 1 '*+ 381 '& )7 '&# ,,7 , '&* 3 ,5 - , '+ / 7, '"
0 & % & ! ! 12 !
#!# #!& #!& #!+ #!! #!9 #!' #!' #!( #9% #9"
, - < 4 ,5 , - 64 ,5 , - 5 ,5 ,, < 4 , (!# 0 3 ("# (!* 0 < 4 , - (9 / 7, ('
))
(# (* (& (+ (" (!
#99 #9( #'# #'& #'" #'9 #'9 #'' #'( #(&
%
*
3
*)
*0
- 4 -
%
1 &
)
1 & !
%
*&# ;8B 81 6 5- ? C""D *+* 01- 81 = .> *+& ;- 81 = .> *!+ B - 6 5- ? C!%D *!" - = .> *9! = .> ,7 5 - , &+# 3 =>> - - , "&# = .> 5, - 81, - 1 , !*#
- - 81, - , !+* 381 = .> - 81, - , '*# 3 81 : 81 '&* 6 ,,7 - , ? - ,
#( *& *+ &* &! "# #%" #*9 #*( #!' #!(
3 , , - ,1 8 - - ,$ 8 7 - #9 , - - E ? F $ -1
-$ 5 7 - , - $ 5 E $ -5 F$ E- ? -F 5 5 E 5$ 5 5 , - , 1 F$ E 5 ,F$ - 155 $ - ,5$ $ - - , -$ 5$ , - $ )- - - ,,1 7G 5 , - - , 5 5$ , 5 7
>, - ,, $ - ,$ - ,$ - - , 8 - 3 -5$ @61 1 1 ? $ E 5F - 5 E 5 #% F
! 5
- ,, 8 8 5$ 5 5 E F - - 7 , 3 Æ $ 5 - ? 8 5 ,, 8$ 5$ - - , 8 4 7 5 7 3 , 4 , H ? G 5, 5 5 , - $ $ 7 5 5 8 4 3$ , 71 , 5$ $ ?5$ - $ ,, $ 5 , I 5$ E F , 0 $ $ , , $ - , , $ 7 , 81 , G , 7 5 8 5$ 8 - ,,7 - , 81 , - , ,$ - J K 3 5 , , ,, 7 E$ 4F$ E8 $ 8 5F$ , E , 7$ , F$ $ 8 , - - , - , 5 - ,$ 5 E F - ,$ - 4 - ,$ - ,$ ,5 - ,$ , - ,
3 - 4 - , $ - ,, 3 - , , 5 , ,, - - , -$ 5$ , - $ $ - 0 ,
- $ ? ,$ 7$ - 8 , $ 5 E F 5$ ,,$ E) F 7 3 ,5 - , 5 1 5 5 7 E H 8 -F$ $ A
7 , - , - , 1 ,5 8 , 5 ,
8 8 8 #"
5 5
8 A5 H 5, - , 8 C"D #9 ,, 7 #!
3 E) F E$ $ %F L E#*#F 8 ,7 7 $ $ E F % 5 - L E L F$ 7 - $ - - - , - - E L F$ $ $ $ - $ E $ L F , - 7 L - - $ 5 ,,5 - , - , - $ , - -
- E F 8 J- K$ 5 E F - , : 7 $ - , E F$ 8 %$ % % 5 L L
$ $ $ 3 - , - 8 H ? - , $ 4 - 7 7 ? 4 - 3 - - - $ ,5 $ -
% % , - $ 8 7 - - - 5 - , E &*F 3 - , 5 , & +
"
! 5
3
E:) F L
- 4 ) ) $ - $ L % E-F - $ L % 5 - L - - $ , - , 5 ,5 - 5 $ - , 5$ 3$ - 8 ,, ? - 4 - ,$ , 5 8 3 :) 8 *9#
3 E ) F M M M M L %
- 4 ) :) 3 , - - - 5 , , $ L * - E@) F$ L # 5 :) , ,5 - , , ' *9&
3 E) F - 4 ) :) , 1, L E F 4 L #
L %
L #
8 L #$ 5 :) 3 1, , L , - - 5 3 , ,$ , 81, - ,$ , "$ !$ 9
6 8 - , 4 3 ## #* EJ K J K$ JK J , KF
55
!
!
" #
!
8 - , E#*#F ##$ , 5 - , 3 , , - , 81 , 3 ,, , 5 - - , 7, 8 ,
, - , 8 8 8 - , 8 ,,7 - , , 7 8 5 - , 5, - , 8 7, , 5 8 $ $ 7, , , ,,7 3 $ , -8$ - , ,,7 8 - - , - , , , 8$ 8 5 7, , 8 , , - $ 8 8 ,,7 8 , - , 5 $ 8 8 , $ 8 ? - , - 8 - 8 , , 8 , C"D #9
+
! 5
3 ,, $ ,7 5$ - 4$ ,5 - , , & = .> 5,
, * 8 8 , $ -$ - 3 - 8 - 8 ? 7 5 , $ ? 8 7 5$ 1 - - 3 7 /8 , 7 6 5- ? , +$ , - ,,7 $ : , 7 - 5 = - ,$ ,, ,1 - ,, ? , ,,7 7 5 - , , " ! = .> 5, % $ , 8 , , " 8 1 ! , - , 8 , 1 $ 8 - 8 , $ , 1 , 3 7 , 5 - 4 6 5-.64 $ - 7 - , 7, $ 8 , 8 H ? 8 - 1 , 8 - 1 $ 8 81 ? , 5 - 1 0 A ? ,, ,$ 8 64 8 8 - , , !$ 8 5 8 , - , 3 - - ,$ 8 8 5 ? $ 8 81 ,, EH , F$ , , * , 9$ 8 7 , , , ,1 $ - - 3 , - 8 - ,,7 $ 8 - 1 - , , $ , , 3 5 - , 1 , - - ,$ 7 64 , , 8 , '$ 8 ,,7 -
*
! 5
, 3 , ? - , 1 , 3 8 - $ : 1 ,, 3 , - , 8 $ - 4 - ,5 , 7 1 , , ($ 8 , 7 - 1 7 8 < 4 3 8 < 4$ 64 5 ,5 0 8 - Æ , - $ 8 - 8 E -F , 5 3 5 ,, - ,, ?$ 8 - , < 4 EF 5 - 7 - 8 , , * - ( ,, , , , $ 5 7 $ 5 - -$ - 5 7 - 5 , * E8 *9*F C&'D ) , - ! "
8 *9* 5 C#D . ) # $ ! % & ' & ( ) *
, & + 5 C&&D ) )+% ,
)'
- ... )' ' / ' .
- % / - ! '
8 -1, , , C&+D ) ! # . $ ! % & ' & ( $'* 0 / 1 # $ ' . + )( / + % )'2' - /
, - 7 E &!* &9( 8F , " C&!D ) / )+% , % 3 4
"+&$ "++$ "9 8 , ! 8 -1, , , C&"D
5+5 3
) 0 12 / # . $ ! % & ' & ( *
, 9 C&9D ) / "# # $ ! % & ' & ( 5* / (
, ' C&(D ) . 3 $ ! ! # $ ! % & ' & ( * '' ! /*' )+% ,
)' -
0 / 1 # $ ' - % / - ! '
, ( ,, C("D 4 , 5 ) . 3 % & ' )+% , % 3 3 #& - 8 , 8 , 8 , , 7 7,
$ # % !
% & % '$ ( % &%)%& % &%)%* % + % +%'%* % ,$ -
% & % ' % &%)%& % &%)%* % &%)%' % &%)%' % ,$ -
! " 8 - $ , 6 , 5 8 6 $ 8 : , E-$ F , $ 8 , - , 6 E-$ F 7 8 E $ 8 5$ F , 7 ? $ 8 , , - ,,7 - 8 ? 7 5$ => 6@ E C9"D *&F 0 $ - => - 81 6@$ 81 6@ 3 81 => 5$ - 8 $ , C9&D$ , 6 &" "#& 8 81 => 8 , $ - - ? 7 5$ 5 - , $ 5 ? => 5 $ 8 5 5 ,,7 5$ , 3 , , ,, 81 ,$ 7 81 => 7 81 6@ , 8 - $ , 5
, - 8 , 81 => - - =>$ 8 8 B - 6@ C!%D 3 , - 4 8 ** - , => *& 8 8 ;8B 81 6@$ *+ 8 8 A 81 => 7 81 $ 8 $ 8 - $ *" *! ,, - =>$ *9 7 81 ,7 5$ - 4$ ,5 - , *' 8 , / 7, , *($ *#%
%&' () * + (% ? @ > ,% 3 > :
1 #=B #/ "
7,,9
C!%$ , !'(D 8 8 81 6@ - , - 1 $ 5 - 8$ 8 - , - - - 5 8
/ 5 8
L M L M
*
! 5
8 8 L E M Æ ! F L E M " F E*&&F 8 Æ " %$ ! $ $ ! $ ! 55 71 & /859 +
* * , - *
Æ #Æ " M ,,,
" #Æ " M ,,,
# L E FEE F F ,,, . Æ " / ,,* ,,, EÆ " F* $ M &, :&; 3 - 7 C!%$ , !'(D$ 8 8 E F 7 4
L E M Æ E F E F ! F L E M " E F E F F
8
L Æ "
E F
E F!
M Æ " !
L Æ " E F E F! M 7 $ E F 7 $ 8
E*&+F
E F ! E F M E F EE F F M
Æ Æ " E FEE F F M " Æ " E FEE F F M
3 , , 5
EE F F L E F L E F L EE F F
¾
, - 3 *** *&#$ 5 8 H $ 31 *** 7, - E F E C!#$ 3 +9#DF$
$ ,5 - 3 *&#$ - 5 - ,
5"5
, + %&' , 5 81 6@$ 8 - $% &' 8 8 8 , $ - - ,, 8 1 , $ ,,7 - - $ 8 8 L E F L
,,7 - / 5 E F E F 3 -- , ,,7 - L E F L E F
/8 8 L L !$ 8 E 5 - $ *+# *+*F$ ! 1 ! - - , - , E- 4F - 5 L ! L !
E*+#F
3 7, , $ 81 => $ E 5 - $ *+# *+*F E M F L E M F E M $F L E M $F
E E***FF E F L M E F M E F
E*+*F
, $ 8 , ? , % 7 $ - E?F , - 5 % L % ,,7 , ,$
E **F 8 - E F $ 8 8 E E*&+FF$ , E*+*F$ 5
E F L
E*+&F
8 5 8 -
E F $ L
E*++F
8 8 81 => ,, 8 1- $ 8 -
! 5
( 81 =>$ 8 8 1- $ $ - 7 3 $ - - , - , - - - , - H - 3 - , - , E*+#F 5 - , 8 1- $ $ ? E*+&F E*++F 8
E F L E F $ L
E F E$ F
3 , ? - , , ? $ ? 5 5 5 1 - - E0:F / 0: 8 ? G 5 ,,7 $ 8 ? , 8 ,,7 0:G 8 ; $ 8 8 ? , 5G 8 5 5 5 8 , E, F :6)$ 7, 3 - - , - 8 - - 8 - *+* - $ - , +
- *+* -5 E,5 - 64 F - 7 , * -$ 01: E, F 1 : .$ 1 - 5 8 5 / - $ 8 - 5 - $ 5 - - $ , ; 8 8 - ,,7 - E 7, F$
5 5 $ 8 -$ 8 8 , ,A - 8 8 - 5$ $ - *+*$ Æ E 5 5F $ 5 E F E F E F $ L E*+"F 8 E -F ,,7 - - *+* 5 8 - -$ 5 - ,,7 E*+"F$ 8 5 ? 8 ? , $ 7, -- E*+"F , H
(
, - 0 8 , $ $ $ 8 ? 8
5"5
$ ? > :@$
? @ ? @ ? @
*% > > > 7 9 > 7 9 > * & &% ? @ > ./! ? @ '% > # > (% ? @ ? @ ? @
?%%$ # @ ,% > $ > $ ? > @ -% > ? @ > > ? @ )% ? #@ +% ? @ $ ? @ > > ? @
./ #/ 4 65
L E F E F E F E F $ L
E F E*+!F E$ F
3 - *+& , - 8 - - , * -$ : : .$ - , , ? E*+!F , $ 8 , ? , C9&$ &&D$
, , $ ? E*+!F 5 Q5
C9&D$ 8 7 5 8 - 8 , & 8 C9&D , ,
- 5
& E F
& &
& ? $ , , $ 8
& & &
"
! 5
? , E**&F ,, G , 8 - 81 => 8 ? => ; $ , - 5 , , -
$ ? > :@$
? @ ? @ ? @
*% > > > 7 9 > 7 9 > * & &%
> ! ? @ > ! ? @ '% > # > (% ? @ ? $ @
?%%$ # @ ,% > $ > $ ? > @ -% > ? @ > > ? @ )% ? #@ +% ? @ $ @ > ? @ ? ? @ ? @ >
1 #/ 4 65 3 8 - 7 81 =>$ 81 6@$ 5 - ! 5"5 ) $ E*+&F E*++F *
% $% &' * ,
:&; 3 E*+&F
L M ' E F
1- $ ' L E E F F - $ ' L E E F F - 4 , M , 81 6@ ? 8 7, /8 ,,5 3 *&# ¾
55 % /8
$- + (.$ %&' *# 8 5 => 6@ , 5 7, 8 8 5$ - EE*&*F$ ,5 E*+&F E*++FF$ 5 $ 8 7 *"# *"*$ 8 - 81 6@ 81 => 8 5 , E ,, F *"&$ 8 81 6@ 81 => $ 8 5 5 0:1, E1- ,, F
) *) C'%D C'(D$ 5 7 6@ 35 8 5, - , ? 8 - - 4 7 81 6@ 8 8 8 ? E*&*F 81 6@ 7 5$ 5 8 8 8 8 5 E F ( # E F ( #
E*"#F
/ 8 - , & & E F $ E F& ( E F & ( 5 8 , E $ L & L & F - 5 E*"#F 8$ - $ , , , 3 5 - 7 81 6@$ 8 - 1
E F EF EF
55 0 L E M "F* , E*&&F, - $ 1 L L E F2
# M " E F 2 E F "E F,
:&; > ) L 05 7 - - , ) ) 8 - ) , , ? 8 5,1 - , 8 - - 4 81 => 8 8 8 ? E*+&F E*++F 81 => 7 5$ 5 8 8 8 8 $ E1- F $ E- F 8
E F M (
E*"&F
E F $ M (
E*"+F
% ( ( # 3 7 - - ! 55 71 & % ' 2 & ? @ > &% ? @ > '% > ? @ > (% ? @ > 3 ? @
$ %
B "
7-:9
- , 0 7 4 - 5 4 - $ 5, 5 E $ F - - C!%$ , !(*D 8 E 5F - , - - $ 8 8 5, - - 5 8 E# E F F 8 ,,
- 6@ - , 8 => $ 8 8 &' 3 B ,$ - , E-1
F , - - )5 , ,,7 - - - $ 5 , ,,7 - - 1 $ - *!" 0 , $ - - => - 6@
$ , - ? - E8 ? 7 5F $ - => 7 5 =>$ 8 8 8 - - ; , - => 8 - E-5F
8 5 7 8 / 7, 8 - => => E *(F
# /- 8 7 81 - 4 ,5 - ,$ 8 ,, ,7 5 - ,$ 8 ,
- 381 - => 5 - 4 - 4 - , L 3 : 1 E F E F $%
! 5
$
$ % ? @ ? @ ? @ *% > > 7 9 > * & &% > ! ? @ '% > # > (% ? @ ? @ > ? @ ? @ > ?
@ ,% > -% > ? @ > ? @ > ? @ ?
@ )% ? #@ +% ? @ ? @? @? @ > ? @ ? @? @ ? @ > ?
@
4 65
L
8 - - , , E $ F 1- 81 =>$ ,5 - ? E F E F L E F E F
E*9#F E F E , $ C9&DF 8 ? 7 5$ 8 - L M ' E F E' F$ 7 81 => 8 J- 4 81 6@K E - C!#$ 3 #"(&D 5 F$ - - : 5)5 0 *
- $% &' ,
,
:&; / E F L E F ,,5 3 *&#
¾
/ 8 - - - M 8$ 5, 5 ,
5)5 ?%
- - 8 , - , E$ , - - F$ 8 - , E ,,7 5F ? 81 = .> - 8 E*9+F E*9"F$ 8 $ 64.: E**#F$ 8 , J
,K E*9*F L - L $ $ 8 E F , - , L
3$ , 7 ,7 - $ L E 8 8 5 ,F 3 5 :$ 5 :1 8 , ? => - - , $ - ,7 -1 , 3 , ? 8 - , E E**&FF E F E F E F L E F
/ -1 - 5 3 - ? 8 ? , G $ - ? E*+&F E*++F ?
E F
L E F
E*9!F
3 , ? ,7 5 $ 8 5 E*9!F 5 , 5 - ,7 5 5$ P C#!D$ ,7 5 @6 C*!D$ ;: C(&D 3 = .> 5, - => 4 - *9! 3 *" 5 ,7 5 - 1 , $ 5, - 7 => E8 ? 7 5F $ 8 - 7 E 7
F
- 8 - ? 81 => ,5 - 1 , 3E F L % E*99F
+
! 5
$ $
? @
> > 7 9 > * &
> !/ ? @ > # > ? @
> > ? @ >
? @ ? @ ? @ ? @ > ? @ ? @ > ? @
*% &% '% (% ,% -% )% +%
4 65 8
3E F L M
M M M
,, 8 ,,7 - - $ 8 $ $ - , 3 .: 3EF , L E F
E F L %
E*9'F
3 /8 B E*99F$ 3EFE M 5F 3EFEF L 3EFE5F M
6 5 M E5 F
6
>H - E*9'F 8 , -
E F
8 2 L 3 EF L
6 L E F 6
$ =
6 M L % 6
8 $ 2 L %$
L E 2 F 3EF
? 3EF$ /8 ,
2 3EF L 3EF 2
5.5
)
8 3EF E-F ,5 - , 3 - ? ,5 - ,G C9&$ E'+FD$ 8 8 , L # E*9#F$ $ $ L $ 8 - E*+&F 0 81 , /8 $ 8 7, 5 ? - 3 $ $ C"%$ 3 *D
0 . 7 ,75 , , E ,, - ,F
/ % C ! # C ! # 45 D* : #/ 45 ?/ @ D* D*
45 ? @ D* :
45 ? @ * D* 45 D* :
8 , $ , M # 5 $ 81 = .> ,,7 5 8 7, = .> $ - = .> => 3 8 , - ?
. ,/ 8 - , $ 8 8 $ 8 A - - ,, 8 5 - - , - - 3 $ 8 7 $ L
- , $ 7, - 4
.
! 5
. 0 1 ,, 8 ? E*+&F E*++F$ L L E F $ L L E F 0 - 4 , * - *+*$ ? - L $ L $ 8 , 7, 81 < 4 3 81 => 5$ - 4 =>$ - - 4 81 < 4 . 23 5 H 8 $ 81 => 5 $ 0: E8 8 5 ? F 5 8 $ 1- $ , , $ 5 E 5F - 6 4 - , - ? 5$ 8 8 , $ 8 ,5 $ H E-$ F ,,7 ?
1 " - ; 7, 3< 0 7 / 8 5 => H - E - F
E? - FG 5 81 => 3 8 - , 81 => JK H $ 5
$ ,7 - 1
505 0 L 7 S8 8 L 7 , )
* $% &'8 E*+&F E*++F
" $ * $% &'
E F * $ * EF S* $ * L 8 L 7 . /
1 L , 9 * L 8
* * L L ,
L 7 ,
)
:&; 3 ,,7 -
L
S 7 S8 L L L
E78 F
- , 8 L ES F L ES F8 $ 7 L 8 5 8 8 L L 8 L 7 > 5 E F
505 3 %
0
Q5 , $ - 5 Q5 , 8 E- 4 C!#$ , *!+DF E F L E7 S8 7 F L 7 ES F
8 E F L E8 S 7 8 F L 8 ES F 7 8 , , ? $
E F L7 ES F 8
$ - % L $ E% E F% F L 7 E%ES F% F
,,7 ? 1 5 L 8 $ L 7 $ 05 8 , L 8 7 L S L L 7 $ , 9 L 9 , $ ,,7 - $ ,,7 - E F E F L 8 L 7 , $ $ 7 8 - $ L ¾ 8 5 5 5 7 1
505 : * % $% 4) E*&*F "
$ * $% 4)
E F * $ * EF S* $ * L 8 L 7 . /
1 L , 9 * L 8
* * L L ,
L 7 ,
)
?% 505 0 $ 7 , L -E# #%%F
- *#E F 8 , 7 81 6@ E F 7 81 6@ E F #%% , %* E 3< 0B $ TB %F$ ( L ( L % " E*"#F -$ 8 8 ,,7 - ; 5 8 - 5 6@ 8 - 7 81 6@ - L #%%$ 8 7 81 6@ - L 9( ,, 5$ 8 , , - , -
"*
! 5 5
0
10
10 2−RQI I−2−RQI
0
Two−sided RQ − ordinary RQ
error in approximation
10
−5
10
−10
10
−15
10
−5
10
−10
10
2−RQI I−2−RQI −15
10 −20
10
1
2
3 4 number of iterations
5
6
1
2
3
E F
4 5 6 7 Number of iterations
8
9
10
EF
? @ E ? @ ? :%,$ @ #/ "3 ?* A*::@% ?@ E F #/ " ? @ " ? @ ? @
? :%,$ @ #/ "3 > ?* & *&@ *:: *::% - *#EF 7 , 7 81 6@ - L -E# * # *F $ #%% #%% - 7 8 C # * # * D$ $ ( L ( L % " , H 8 81 6 5- ? EE F L F - F 7 81 6@$ H E 6 5- ? E EF L H F 4 81 6@ - - 2
2
10
10
0
0
10
10
−2
norm of residual
norm of residual
−2
10
−4
10
−6
10
2 bi−orth 2 orth Alt JD
−8
−4
10
−6
10
2 bi−orth 2 orth Alt JD
−8
10
10
−10
10
10
−10
10
20
30 40 number of iterations
E F
50
60
10
10
20 30 40 number of iterations
EF
50
? @ E / #/ 45 ? @$ #/ 45 ? / @$ 45 ? @$ 45 ?@ # 7* & *&9 *:: *::% < !"% ?@ E
? @$ # *: !"%
505 3 %
"
?% 505" /7$ 8 7, 8 81 => - **E F$
8 - 8 - - #%% #%% - 7 8 C # * # * D 3 - $ ? 5 " , , :6) - , ? *$ ,7 - , / $ 81 $ , 8 5 , 3 4 8 ,, - - => E 71 , EFF => - 81 => 8 E*+9F 3 8 $ => 3 - 5 - G - , - - 8 , , - - 01- 81 => -$ 8 - $ - 8 !% - - 5 - 8 - **EF$ 8 - 5
, #% 01 - 81 => 8 -5 => 8$ , 8 5 $ *# 1- 81 =>$ E F "! +" 5 ,,7 %"U 8 ,,7 - E38 51 , 5 J 5 ,K 8$ 8 , JK - $ - 8 - 8 8 8 8 , - F , $ & ( #% * " #% - 5 7 5 E E*+"FF$ 8 ( & #% 3 7, E F EF E F 8 E F & ! #% $ 8 EF & + #% E F # ! #% - => -5 =>$ ,,7 - +9 , %#U 5 $ , $ E & ' #% ' ( #% F / - - - 81 => ?% 505 7 7 ,$ 8 )6 /+ E4 ##%+$ 7 C"&DF$ $ L
? 5 *" ,$ - *&E F /8 81 1- => 8 0: E F 01- 81 => 8 :6) - 81 => 8 :6) 8 $ => - => 8 8 =>$ 8 - 8 * + #% # " #% 7 ,$ 81 ,,7 E F 8 5 8 , - *&EF$ 8 5 7$ #%%% #%%% 7 )6 /# 3 - E F ? E( ( E*"#F$ E*"&F$ E*"+FF %9 3 - 81 -5 E *"$
"
! 5 2
2
10
10
0
10
0
10
−2 −2
norm of residual
norm of residual
10
−4
10
−6
10
−8
10
2 bioBiCG 2 bioGMRES 2 orth Alt JD
−10
10
−12
10
0
5
10 15 20 number of iterations
25
10
−4
10
2 bi−orth 2 orth JD
−6
10
−8
10
−10
30
10
0
20
E F
40
60
80 100 120 number of MVs
140
160
EF
? @ E / #/ 45 ?# .$ / @$ / #/ 45 ?!"$ @$ #/ 45 ?!"$ / @$ 45 ?!"$ @$ 45 ?!"$ @ "! (%
, !"% ?@ E / #/ 45 ? @$ #/ 45 ? / @$ 45 ?@ "! *$ !% ? > @ :%) !"% , F$ 8 => - 8 #9" 3 5 - => =>$ 7
2 3 ,, - -
7 381 => - 4 =>
1 $ 8 ? 8 => E , - ? $ - -$ -$ - 64 F 5 81 =>
81 =>$ 8 - 7 81 => 5, 5 - , -
8$ , - , -
5 $ 8 ,,7 - - - E F 3$ $ E F
8 ,, - $ 8 8 , - 8 E,5F - $ 8 5 8 5 E - -F 8 8
$ , 8 => > - , 8 , 6 5- ? EF$ E F$ E F - $ $ 5 -
5 *5
"
$ E*&#F E F EEÆ " FF EF E F EEÆ F E" FF$ 5 7, , 8 81 < 4$ 81 => A7$ 8 8 5 8 $ 7 , 381 => 81 < 4$ 5 , 8 8 $ 1 5 E *'+F ; $ , 8 =>$ 81 => - $ 8 , 5 381 => ,,7 5 8 8 , , 8 =>$ -5 8 - ; - 5 8 , 5 6@ E =>F - - $ - 5 , 81 6@ E =>F ;8 C"!$ , +9*D J , 8$ 1 7$ 5 6 5- ? ,, 5 , K 8$ C!%$ 6 &$ , !'(D 4 E 7 F 0 81 6 5- ? ? , $ 81 => 5 Æ 8 - 8 - $ H - 5 3 5 - G - E F - $ 81 => => 81 < 4
$ , 5 8 7
E , 5 F 8 ,,7 - - - , - => 5 - - $ , 5 7 -5
3 7 ,7 5$ - 4$ ,5 - , - 3 - , , , ? 1 $ 8 , , - ,,7 - 8 ? 7 5$ 8 8 , 8 8 - 5 , 6 5- ? E6@F 0 , = .> ? 5 ,,7 5$ - 5 , - 7 , ,
5 3$ = .> 8 7 6@ J K = .> - 7 , 8 ,, = .> - , 7 - - , $ 8 - - , , ? - 7$ 8 H , $ 8 , ,,7 ? 7, 8 , H &9"
,, &*$ 8 8 ,, $ 8 8 = .> > E=>>F$ && &+$ 8 - 8 ,, , &"$ 8 8 =>> , 8 E 7 F /8 $ &! 8 - , &9$ 7 , &'$ 8 8 &(
5 5 :
")
4 L 7 V8 - % L L 8 3 L > , - - - 5 E# F E# F$ ,5 , - $ $ $ 8 8 C , - D E, -F
$ 5 5 E 7 FVE 8 F 3 8
4 7 81 - -
¾
1 5 50 7 > /8 $ 8 E &"F $ - $ 8 8 5 7, - $ &+* &!# 0 ; 8 $ 8 8 H E F E; * F 3$ 8 , ? E F - E F 3 , - 5
%
%
*
! 5
!
7 - , ? $ 8 -
%
%
;
$
L
E $F E F
E&&"F
$ 5 , - , L % - L %
%
%
$
L $
E&&"F &'+;'
%
%
*
%
%
$
L E&&!F
8 E $F E F - $ , E&&!F 5 5 , - 4 , , E F E F &" &! 8 7, 85 , 5 - $ 8 8 - 4 ? 7 8 7 : E&&#F
3 5 - , 5 7 $ 8 8 , ! , , / ! $ , 7 / / ,,G C!#$ ##+D 8 - 8 , $ =>>$ , ,, 8 : 8 7
, 7 /8 C**D - , 8 8
55 % 3 !
)
=>> ,, - , > >
*
> E F L
8 L E F * L * E F E&&&F 3 > - , 8 8 ? - , L # - L # , - 8 ? > E F L % J5,, K
E F , L # - L #
, - - ? E&&!F E F ,,7 - $ 7 /81 ,,7 E F - 5 E F L E F M E $ F$ 8 E $ F E, -F ?> E FE $ F L > E F L
; - 7 $ 5 E - L E F * L * E F E&&&FF = ?> E F > - 5
?> E F L
%
%
*
? /8 , - 5
%
%
*
$
8 E $F E, -F
L
5 , - , , L % - - L %$ ? -5 - =>> ? E , 8 E&&!FF$
%
%
*
%
%
$
L E&"#F
8 E $F E, -F / , L - L - E&&!F 8 , ,$ -$ ,$ -$ $ 7 - ,$ $ $ , ,$ - -
4$ /8 , E F - 5, 5 ? 5 8 E F - E F Æ 5 E F 0 8 ,$ -$ ,$ -$ $ - - $ E&"#F $ 8 - 5, 5 ? - 8 3 , L , L L - L - L L - &+# : &+$ E F $ - $
.
! 5
!
? ,,7 E F$ , - G &! &9+ =>> /8 $ 5 - , 1 , , 5 , 3 J,? K , 8 - , , 5 7, ? 7 5 8 5 E&"#F ,,7 5 E &!* &9#FG - #$ C9&D$ , ? 7 5$ = . > ,, 5 7 5, 5 - 0 - 7 E&##F 5$ 8 7, =>> - 3 7 8 7,
! 3 , 8 5 ? , = 5 /8 , /8 8 5, - E #&+ F &!#$ 8 5 - 7 =>> E C9&D = .> ,, - ,F$ &!* - 7 =>>
5 +,6, ? E&"#F$ ,,7 $ 8 - ,$ -$ ,$ - 3 5 , , 3 7 8 7 =>> E $ =>> 8 8 ? 7 5F 5, 5 - , , - 3 ,$ 8 " -$ E F L E"F E F L E"F E&!#F E, F L E"F E- F L E"F E F L E"F E F L E"F E&!*F E F L E" F E F L E" F 3 ,,7 - E E&&&FF - 5 8 3 8 - - 4 C9&$ > 8 5, 5 5,1 5 - ,, 5 ,$ 8 ? 7 5$ % ( #$ , $ - 5 % % * % %
!
$
M (
E&!9F
5+5 71 & % 9 +
$
&'+;'8 ,
E&!9F,
-
:&; , 3 &!*$ 8 8 5 7 ($ % ( ( $ E + F E F$ E $F E, -F % )E $F L M (E + F
5)5
+
8 E&!+F ? $ - % )E $ $F L (E + F % EE F E; * F$F
E&!+F$ 8
; $
3 8
% )E $ $F (
;
$
M E" F
% ) - C9"$ 9&D =>> 7 , =>> - 5 -$ 8 - 7 8 ,5 : , &+#$ - 5 8 8 ? 0 E $F E F$ 8 , 8 E&&!F
$
L M
8 5 ? E $F E F 8
- , & C D$ 8 ,,7
E $F L & M & E F
E&9#F
# E C9"$ , +%!$ , #DF 8 ,,7 E $F ,5 5 E5 - & L $ L L %F$ $ - 4 , * -1 &+#$ ? - E $F L E F 05 , , 8 8 , ,,7 5 ,$ 8
L E F % E F
L E F % E F
- Q5 , , 8 < 4 - 4 $ 8
L E F
L E F
+
! 5
!
* E C9"$ , +%'$ , &DF ? - $ & L C - & L E F , 8
M M$
L
D
E&9*F
7 =>> 6@ & E C9"$ , +%($ , +DF 8 & L C D$ & - $ 8 E $F L & E F 8 7 3 5 E&9*F 7,
+ 8 - , ; $ 8 , 1 ? E&&!F
%
%
;
;
%
%
$
L
- ,, 8 - 8 - J 8 5K 7 ,$ 8 8 , - 1 - $ 8 8 ,,7 - , $ ; 5 - - E &'F - $ 8 ; L % , - 8 , -$ 8 5 , - ? 5 ,,7 - - - - - - - - 5 E F $ 8 , 1 5$ - 8 EJ5KF 5 " , 8 E&"#F ,,7 5 5 71 ,$ 8 , :6) /6) , 5 E : F 5 E,F , G &99
-
,,5 = .> A75 - =>>$ $ - 8 5 , 8 5 $ 5 , - , , , -$ ,5 7 3 , 8 , - 8 : ; $ =>> 8 , - 3 5 8 8 5 - , , 7 M : $ , ,,
5)5
+
- ,/ , , - , 5 - A ? 8 - , $ 8 8 $ 8 A - 7 - , - =>>$ 8 ,, 7 8 5 - - 3 $ 8 7 $ 77
%
%
88
% %
77
%
%
88
- - - 7$ 7, - 1 4 3 8 ,1 ,7 ,
- 0 7 $3 : E &+& , +F$ 8 5 E F L E F /8 8 7, A75 E, -F E&"#F 5 E, -F L E F E, -F L E F E&9&F 8 , E&"#F , E F $ 5, - - 3 &!* E ? 7 5F
, E, -F L E F E, -F L E F
E&9+F
, E&"#F 5 , , E F E F 3$ 8 J, K , - , E F 5 , E F E &' C9&$ 9'DF
-
0 + %, - , =>> 8 = .> # - 7$ - 8 J K - 1 L E F * 3 - 8 = .> =>> 1 ? 7 5$ - 5, 5 5 , - - 7 $ , G 5 H , =>> >$ 8 = . > - , 3 - ? , 3 H =>>$ 5 $ 8 E F , $ 8 = .> , = .> ? 7 5$ E&9*F 8 L C9"D 3 -- =>> 5 , 8 J K $ $ E F$ 8
+"
! 5
!
L
7 7 , 5 - -
E Æ F % Æ # = .> $ =>> , - 4
E5 F H =>> 5 - 7 $ = .> - 7 M &' +#%$ 8 , 7, 5
- # ,, 8 ,,7 - - L E# " F M" 5 ,, $ E F L " 3 $ $ L L E# " F M " ,,7 - 8 , 0 E F M " " L EF"$ - $ L E# " F ,,7 $ 5 > 3 8 - $ - 4 1 C9&$ 3 &"D$ - 8 C*%D$ 8 5 8 7 ! % % " " E&9"F * % % % # % * % % , - ,,7 - , 1 5)5 - &'+;' E&"#F ! ! ! % " * " % " " $ " L * " G E&9!F # , % % % # # % - % % % % * E $ F E&9!F* E $F E&"#F* E $F E&"#F* E $ F E&9!F, :&; , 3 &!* 5 E&9!F ? E $F E F L E $F E, -F
05 , - ? E F , $ 8 $ % E $F L % % & E F % % L % E F % $ % % ' E $F E, -F
5)5
+
/ 8 % L $ % E F L %$ E F 3 ? - ? ? E&"#F$ ? ?5 ¾ ; $ ? 5 8 E&9!F E&"#F 7 5$ 8 8 ,,7 5 , $ 8 8 * L E, -F L *E F$ 7 E&9!F E&9"F
-- & 7 3 ? =>> ,
= . > E$ 7 ,$ C9'DF , 31 &!* ,, 8 , & , - 8 - E- - F E F$ 8 E2 2 F E, -F % &)E2 2 F L E- - F
/ 8 , , 8 $ $ $ E2 2 F L & E- - F & E F 5 , 5 , - 8 ,
%
% -
&
% %
L
%
,
% -
&
- -
3$ 8 (
E2 2 F L ) & % %
,
%
% -
&
% %
,
%
% -
* + & E- - F
, , - E2 2 F - 5 8 - , E#F , E F L & E %F E F L & E% F E*F , E- - F L & E- - F E&F , E F
L
E+F , E2 2 F L E- - F E F E F
, , E#F , * * 7 , E&F , 5 , ?
++
-.
! 5
!
&+#$ =>> 5 Æ 8
- - 7 3 , -$ - , - - 7 0 5 ,, $ -$ , ,, $ - 8 8 8 ,
- , + 8 -5 $ 8 5 - =>> 8 : E F $ &+&$ - 8 4$ , -$ ? 5$ ,5 8 , G &' 8 5 7, ; 5 - - , E-$ FG =>> E8 : F , ,, ? $ 8 - 8 , & $ $ % %
%
L
%
E&99F
8 5 & , - 7
-8
+,6, (
,7 7$ , 8 8 , , 5 - ,
,, $ ,7 $
6EF EF 6EF 6E F L EF 6EF L EF L E F
3 L , L 8$ 8 5 VEF VEF VEF$ 8 - ,$ 8 - 8 &!
- 9
, , 8 E-$ :6) /6)F ? $ =>> E F , - ,$ * M * 71 , $ 8 8 8 G - 5
5.5 3 %
+)
0 " - ; 7, 3< 0 7 / 8 3 8 - , , - $ - 5 E - F - 5.5 ) * &'+;'8 E&"#F 9=+* &'+;'
1
E F L 7 V8 * $ * EF V* $ L 7 L 8 * . / 2 *
L
:&; >
%
% 8 G ) - $ 5 5 E F L )E F$ L V L L $ L ) 81 8 ,,5 Q5 , E C!#$ , *!+DF )
)L
7
L
% V L ) % V ) ) L V % V %
%
%
7 8 , , ? E&"#F$ 8 , E,$ -$ $ $ ,$ -F V15 8 5 ,,7 ? 5 E $ F L )E $ F 05 8 , L 7 L 8 $ , L V L L 9 , $ ,,7 - 9 $ ,,7 E F E F - E F L )E F L ) $ L ¾ $ 8 5 , L -E# #%%F L -E# #%%%F ?% 5.5 - &#E F$ - 5 E
- &+# F =>> , - -1 , L -E# #%%F 3 - 4 L M % #$ 8 8 $ $ L 3 , ,,7 -$ 4 ,, - ? 5 *%% , E , F :6) 0 E - F ? E, ' - &+#F
+.
! 5
!
5
10
residual norm error in approximation
2 5 VAR
0
0
10 residual norm
10
−5
10
−5
10
−10
10
−10
10 −15
10
1
2
3 4 5 number of iterations
E F
6
7
200
400 600 number of MVs
800
1000
EF
? @ E 455 ?* A *::@ '%(%*A ? @ ? @% E / % ?@ ?* A *:::@ $ $ ,$ &$ !" % 4 *%% *%%$ E 5F 7 5$ - 3 &!* 8 7, - - &#E F 8 $ $ ,,7 " #% #% - &#EF$ 8 L -E# #%%%F$ E F 8 7, 8 :6) , $ 8 ? ,,7 5 5 , :6)$ 8 8 5 :6) $ 5 :6) $ 5 ? 7* E& - ' M #F % 71 , EF$ $ 8 :6) :6) ,
7, 8 ,,7 - E F$ 5 ? -
- 8 - -$ 5 5 - - C9'D ?% 5.5 - &*E F 8 , $ L -E# #%%%F$ =>> - - , EF$ 8 = .> - 7 , - - , E F$ 8 :6) =>>$ 8 $# L = .> 8 J K - E F * =>> ,G 8 8 - ,,7 $ - &*EF$ 8 $ 8 - :6) 8 ,$ =>> 8 = .> $ =>> EF - - - ((9 ; 7, -- =>> - 5 E8 F = .> - 7 8 - , 8 E, 5F , =>> => , - 3 =>> -
5.5 3 %
+0
4
4
10
10 JDSVD JD
2
10
0
0
10 residual norm
residual norm
10
−2
10
−4
10
−6
−2
10
−4
10
−6
10
10
−8
−8
10
10
−10
10
JDSVD JD
2
10
0
−10
50
100 number of iterations
150
200
10
0
50
100
E F
150 200 250 number of iterations
300
350
EF
? @ 455 ?@ 4 65 ? @ ?* A *:::@% ?@ E G '%&? @$ # !" % ?% 5.5" /7$ 8 7 , 7 C"&D - &&E F$ 8 ,,5 H =>> - , >)**" E * " #% F$ - 8 - :6) E , -F $ 8 5 - %$ 8 #% $ 8 , - 5 ,,7 - E &9#$ , +F 3 G 8 - - 5$ 7, E &+F 3 , : E&+"F$ 8 ? E&"#F 8 E&9&F 5$ 1 E&+"F 8 E&9+F E&"#F $ &9+$ , E&"#F , E F E F L L $ 8 J, K ? 5 3 , 5 % % % % , E F E F - &&EF$ =>>B ,,7 - , , 3 J K$ / 1 - ,,7 - - - ,,7 -
?% 5.5 /7$ 8 , =>> 8 < 4 - 4 , 3 H < 4 - 4 1
8 ,8 $ 8 =>> 7 6@
- =>> 8 5 , ? 3$ 8 7, 8 , 1 $ , - 5 , , , 5 $ =>> , < 4 - 4 ; $
)*
! 5 2
10
!
6
0
10
5
−2
approximations
residual norm
10
−4
10
−6
10
−8
10
Standard (3.7.4) (3.7.5)
3
2
1
−10
10
−12
10
4
10
20 30 number of iterations
E F
40
50
0 0
10
20 30 number of iterations
40
50
EF
? @ E F 455 5&&,A / $ ?'%(%,@ D ?'%,%*@ D ?'%)%'@$ ?'%(%,@ D ?'%,%*@ D ?'%)%(@% ?@ ?
@ % ( $ - , , $ 8 7, < 4 - 4 8 3 &# 8 =>>$ 8 - ; $ , ; , $ , - $ - 8 < < 4 - 4 8 8 -8 , < 4 - 4 8 5 E, F - 4 G , , $ -$ C"*D 8 7 ,$ - ; 5 - - E % !! ;6#$ # " #% ;6)&F < 4 - 4 , =>> 8 8 , - )6 /#$ - ,,7 " %" 8 , - $ - 4 8 , =>> 3 8 7 , 8 , - 5 , 3 8 8 - $ $ - 7 E&##F > ,
5.5 3 %
)
# 455 $ ;H/ % E !$ # , % E ? @ ?- @ = % E ;H/ A 3;H$ % I 455B # ! ; ?( @% ! ?@ 455 ?@ ? @ 1"*'* ('( ('( (*+& ': ?':$ +(@ :8: * & *)8& *)8& 1"' ,'& ,'& '()( +: ?)&$ &*:@ &, * * *':* *':: ?*+$ (+@ , * & (+:, (+:' "! * *::: *::: '),: ): *:: *:: *:::: )( ?(:$ **(@ *:- * & &88 &88 8 < 4 - 4 ,, : E&+"F
=>> / , 8 - 4 5 - 8 8 =>> , , $ - E, F $ 7, 8 8 =>>$ 8 - ; L #% $ , #% $ 8 8 H , 3 5, E 8 3 &*F$ , , >$ = .> 5, 7, 1
? 0 8 , 7, ,$ 8 7 ? -- , 8 54 $ 7 - - 5 E# F E# F$ ,5 $ 8 - -
$ %$
E+##F
EF L E F
8 , E - - C!#DG 7 4 , 5 3 F 05 8 ) $ 8 EF , $ % - , G J K 8 8 ) EF , $ , 7 $ 1
, 5 E F L
8 E F L % 3 , - 4 8 +* 1 , 7 ,, , &$ , B 6 5-.64 ,,7 $ - - - 8 7 +& 7, 7 $ : 7 1 ++$ 8 ,, 7 +" 6 5- ? - , , - +!$ ? - +9
"5 5 %
)
+'$ 8 5 7 , < 4 1 - 4 $ 8 7 - , 5 ? 3 ,, ? , > +( / 7, , +#%$ +##
- , , - , & : , - , $ 8 8 ,,7 - ,,7 - - 3- ,$ 8 E 5 $ , - , - - %F : E,5 H F ,,7 * - $ ,,7 - - $ L
L
*
3 ,,7 5 8 L L !$ 8 ! L % 3 , 8 8 8 - ? EF
! * !
L L *!
$ EF - : - ,G 8 J K A 8 , E -1 EFF ? , - - L ! L #$ 8 EF ! - - EF
!
9 L
8 - L * G H 5 L L ! - - 8 - L * 8 , , / 7 , 8 L * $ +& ++ 8 6 , & 9 , 4
= E F L = E /
¾ ¾ /
> >
1 ,, F ; $ 8 6 5- ? 7 , ,7 $ 8 8 5 6 5- ?
-
! $ 3 7 , +& ++ E $ 8 7, 1 ,, $ -F 1 - , /8 8 5 8 8 - E , - F - ; % , 8 - 4 1 ,, E +&*F ,, E ++F 8 ; L %$ +& ++ 7 , ! $ 8 8 6 -.64$ 5 7, 64 ,, E$ -$ C'*$ , *(*DF / E ; F / L E ; F/ E ; F/
8 8 E F - ; 8 - 7 E&##F $ J, ,K ! - , R % $ 8 / L % R 8 - ; % - , - , EF - 4 5 - , M ; *;9 *;9 M ;
!
L E ; F
; 9
9 ;
!
8 ; 7 1 , 6 $ , - , ;9 ;9
!
L 9; 9;
!
; 5 ; 8 - : ,, +*$ 8 ; L % - 1 ,, +&*
..
! "5 ?%
! & !
! ,,7 - , 4 ! L ! L # ; ;
; L ! ; !
8 >
5 E M F * 7 ; L %$ 8 - ,, ++ ,, 5 , ,,7 - - $ - , ! $ !
4 ,,$ 7 ,$ L % ! L % 3 ,5 9 L ! E 1 F 7
? - 9
# "* 4 7 , - 1 $ 1 1 ,, $ 8 5 8 9 9 8 8 Æ ? - $ 1 - 9 8 ? - - , 1 ,, $ - 4 EF EF +&*
8 7 3 - 8 - L
E -F
E+(#F
5 5 < 4 - 4 7 ,$ 5 A 8 8 ? ,$ , 8 7 , E F$ 8 - , EA F $ 8 - L 3$ 8 8 , E 5F # $ - 8 8 , E8 J K $ , 7 F 8 - , $ 8 , # - $ - 8 E F $
- 8 ,,7 ? , 8 , $ 8 - - ? $ $ - -
3 8 8 7, , $ 5 - 8 5$ /8 A ,, 8 - , E F$ 8 L % 05 , L E FE F M - L E F- M E F-
8 - - L E FE- E F F M -
"505
0
8 5 E F , - 3 5 E+(#F L E F $ 8 8 E FE- F
$ , $ 8 8 # E F- 8 E $ J K 7 - ,F 8 $ 8 # - $ - 8 E F $ 8$ $ L E F ,,7 ? , ; $ , , 8 - , +#% 7,
8 6, 5 1 - ,,7 +;' 3 - 5 L L
E ? ,F
-5$
- 5 L L $ 8 4 - E ? ,F 8 7 ,$ 8 7, 8 , - ,$ % % L L 9
5 ,,7 , 8 C9#D$ 8 < 4 - 4 ,,7 5 - < 4 , , , $ EF - 4 ,, 5 C9#D /8 , , 3 E+&#F$ 8 8 9 L @" 9 @ 8 , ,1 ,7 $ 8 , ,,7 , - , 8 $ ,,7 $ 8 5 L @" 9@
9
+#% 7,
0"
! "5 ?%
! & !
2 " - 3 8 - 7, 8 7, 8 - $ 8 , JK % , E #+&F ?% "5 *5 , - $ - 5 - E *: &+ * &) * &' & (( & (+ &
> *: $ ? @ ? @ (: ' ** & ', ' *: & (( ' '' ' ', ' '' ' ', ' '' '
> *: &, , &- , -+ , &' ) +* )
8 ,, $ 8 ,, , $ 5 8 8 7 / , $ - , 8 # M #Æ # + 1 1 ,, E / 3 +&*F$ # M * #Æ ## E 3 +**F$ 8 5 , ,, 8 , 1 $ ,,7 L 9 ! E >$ = .> 5, - , , & 8$ 8 8 - , =>> , *%$ 8 8 8 #% E - J K , 7 F =>> ?
@
,,7 $ E, 7 G 7 ,$ 1 ,, 8 L $ L F$ 8 - , $ ; -1 ? $ 8 6 5- ? E F ,,7 - -
-$ ' 1 ? - ; 3 6 5- ? 5 - 5$ 7 8 - ; 8 - $ % %#$ 8 ' ? 6 5- ? 3 8 7 6 5- ? ? E 1 J
KF ,,7 5$ 5 #% , :6)$ , 5 , 5 E , &G , $ , , F 8 # ! #'"% 9#* 7
7 C"&D$ 8 # ! #% , 9% , =>> 8 1 7 - ; L % - , 3 - E*%1 F , 9% , $ ,, E F L + ( #% E F L & ' #%
, $ 8 H 7 ,$ 3 ++
E , F % & ( &:/ ): 455% E $ # *:$ &:$ ': !" $ % /
/
/
> 8 , 7 - , "$ 8 #% , :6)$ ! 8 , *% ,$ &% , ? ,, 8 ? E8 $ $ ,F$ - 8 7 $ , 5 1 ,, ?% "5 *5 /7$ L -E# #%%F$ 8 , #%% EF , =>> 8 7 ,$ 8 5 - , 8
3 +" 8 - ; L % E$ 8 - ,F$ ; L "% # E , "%#F$ 8 ; L #%" ; L E - ,F
E # *:: , F > ?* A *::@% & ' > : ? @$ # ,:* ? @$ # *: &: !"$ $ # # > *:, > ? @% >: > ,:* &: &: &: 6 &*
3 J 7K 8 ' 1 ? ? 6 5- ? -
- & - ! 8 7 - 1 ? % %# $ 1 5 -- )7, +#%*$ J 7K - J 7K )7, "$ ? 5 #% , , :6) , 1 1 $ , 5 1 , , 8 ,1 , - , $ 8 7, 1 - ; ?% "5 *5" - +# 8 , ? 5 7
E F 1 EF - - , )7, +#%& , E F EF$ E F E F$ E F EF$ E F E 1F
"5 *5 3 %
0)
0
∠(U, x) ∠(u, x) ∠(V, y) ∠(v, y)
0
10
10
−2 −2
10 angle
angle
10
−4
10
−4
10 −6
10
∠(U, x) ∠(u, x) ∠(V, y) ∠(v, y)
−6
10
−8
10
10
20
30 40 number of iterations
E F
50
60
5
10
15 20 25 number of iterations
30
35
40
EF
E ? @ /
?@ > ?* A *::@% 1 ,, EF$ 5 , E F E F E F E F$ 7 , , - 5 7 - , 8 7 E F$ 7 -$ 7, , E - ? F$ 5 - , $ - 0 8 8 8 7 8 8 $ 8 5 8 8 5 , , ?% "5 *5 /7$ 8 , =>> 8 = .> E=>F , - , , 8 8 H 7 , - +*E F$ 8 => 8 6 5-.64 E$ $ C'*$ , *(*DF , - , - 7 E&##F - ; L % 6 - - , - 7 - - , $ =>>$ 8 1 7 ? E=> =>>F ,,7 5 5 " , :6) 8 L - +*EF$ => 64 E$ $ C'*$ , *'(DF$ 8 =>> 64 7 ++ - +*$ =>> 5 => 8 7 7, => 8 H - - 7 =>> J -K ?% "5 *5+ /8 8 8 7 5 , - ,,7 ? , 8 , 7 , ,, 8 , - 8 L -E# #%%F - - 8 ? - +&$ 8 =>> 8 1 E F 1 7 EF 8 - ; L % - L L -
0.
! "5 ?%
! & !
2
2
10
10
JDSVD JD
JDSVD JD 0
0
10 residual norm
residual norm
10
−2
10
−4
10
−2
10
−4
10
−6
−6
10
10 20
40
60
80 100 120 140 number of iterations
160
180
200
20
E F
40
60
80 100 120 140 number of iterations
160
180
200
EF
455 # /
45 #
"
? @$ 455 # , - - 3 4 7 E7, #F ,$ - , ,5 -
-G 8 - 8 $ , +(# , $ ?% "5 *5) 5$ 8 7 ,,7 > =>> , - E F$ ,5 EF - , L -E# #%%F E F 8 7 $ EF 1 7 3 - $ - ; % E F EF 2
10 truncated projected
2
10
truncated projected 0
10 0
10
−2
10 10
error
error
−2 −4
10
−4
10
−6
10 −6
10
−8
10 −8
10
3
17 iterations
E F
22
27
3
23
47
67
iterations
EF
455 # ? @ /
?@ 5 ? @ ?@ > ?* A *::@% - ++E F$ 8 , > % % $ E L , 1 , $ 5 , F$ J,K > -E(' #%%F - ++EF$ 8 - > % % E -E# &F L F J,K > 9 EF$ 8 E E+&#FF 9 L @" 9 @ $ 8 9 L $ 8 , 1 , 3 E7, &F 4 7 - ++ - , J,K > E F$ - , $ , -5$ 8 - ,
3 ,,7 - ,$ 8 5 8 , , , $ = .> > E 7
**
! "5 ?%
! & !
6@F , < 4 - 4 8 E-F , E , ,F , $ ,, E 9 L F - - ,$ 8 ,$ ,, 7 - , < 4 - 4 8 $ ,, 5 ? 0 5 ,, 5 7, $ 8 8 - - ,$ 8 5 7 $ 7,
1 E - 5 , 8 8 - ; FG 7 , ,G
- , 8 , 1 ,, G - , 8 -- 5 7, G
1 ,, , -
3 1 1 - ,,7 ? ,G 1 ,,7 >
( % #
0 / ' ! ' / ' ! 2 / * 6 3 *
3 ! 3
'8 *
6
,' *
$ ! / * + ' 2 ' / :< ! A' 2 / * 3 ' ' / 3 / ;/ 0
! '
'
! '
' ;/ /'
' ' ;/ 8 *
' /
/ ' /
2 / * /*'
,' *$ '
' ;/ :< '' 3'
.5 .4 .5
$ , - - , - 81, - , L L
M . M .
E"##F
8 - 5 L # * . $ $ , E .F - E"##F 4 . 0 #= # . 0 =$ *%,%
*
!5 5 & ! ! $
3 , , - - 3 ! 0 0 0 0
0
00 0
E"#*F
5 , 4 $ 6- 55 ,5 7 5 , - , E"##F C+D
##$ , - , 5 ,, C&D$ , 5 ,5 8 , 5 , C#%%D 3 , 81, 5 5 H ? 381, , 7, 8 , - 4 - , 8 ; , , B L C L 8 W L W L W L
E"#&F
E , , - ,$ $ 7 ,$ C+DF , 5 51 $ W 5 L % # * 05 - E F W
0 0 0 E F L 0
0 0 0 0
- E"##F ? W , $ C+$ 3 9'*D 8 C+D W W W W , E"##F ? , W 2 L W 2 W 2 L .W 2
E"#+F
, 2 B $ 2 L 3 - E"##F W 1- $ - E"##F , - H - $ 0 0 0 0 0 E F W E F L 0 00 L %
E"#"F
>, L # C , B 3 7 - 81, - , $ , E"#+F 8 5 5 - 4 5 C9($ +*$ #+D 3 5 , 8 4 , C C - $ 8
5 5
! / 2
*
/8 B C##D$ - C($ #%$ #&D$ ? C'D 5 5 ? ,,7 - - 3 C9%$ !+D , 8 ,,7 $ - - 5 , ,$ 8 , - 8 5 , ,$ 8 8 8 = . > 1, - , C9"D 3 , - , - ,,7 ; , 7 - E .F E"##F 8 7 M . - , , - , - , E . F$ $ 8 E F M E. . F 3 , 8 - 4 6 5-.64 ,, - 81, - , "* "& 8 , = .> 5, - 81, - , 8 ? 8 7 - "+ ""$ 8 , ? 8 , - , 3 ,75 - "! 7 8 , "9 7 , , "' 4 "(
(8 3 = .> C9"D , 5 1, - , 8 ,,5 = . > 5, E"##F 6 #& 7 7, 8 , 8 7 $ 7 - 7, - ,$ 6 5-.64 ,, ,,7 1 - , 7 - , E C!#DF - 4 6 5-.64 ,, 81, - ,1 8 ,, 1 , , 5 8 $ ,5 3 L E ; F E"*#F L E ; F 8 % %$ , - 81 , , L M ; E"**F ! L ! M ; !
*"
!5 5 & ! ! $
8 L L %$ L ! L %$ ! $ ; 5 - E ; F E"**F 81, - , E"##F , E ; F - E"**F ! , - - $ $ 8 L L ! -$ 8 ,,7 - , E"##F 5 $ 64 , - 64 E ; F$ ; ? C!+D E F W E F E FE F E FE F L L E F W E F E FE F E FE F E"*&F E F W E F E FE F E FE F ; L L
E F W E F E FE F E FE F 64 $ 8 - 81, - , ,,$ , - , - 81, - , $ , E"#+F - - 4 8 5 C9($ +*$ #+D
%&' ) 3 = .> C9"D , 8 ,,7 ? 7, , = .> 5, 8 , - ? 64 ,$ 8 8 = .> 5, ,, - 81, , 8 , - "&# , +$ 8 8 64 , - , "+ 8 8 8 8 7 - , '$ 8 8 7, , 8 8 , ? , ' 3 ,,5 - 8 ,5 "$ 7 ,
$ 7 , $ , ,
- , - , , E"**F 3 7 - 1 5 81 81, , 3$ 8 7, , , , - $ 8 , - - ,,71 , ,, 8 , 8 $ , $ ,5 7, , ,5 5 - 8 Æ 5 5 8 8 $ $ $ 8 4 - $ - 5 : . 4
55
!
*
#
? D @
> $ > $ > 7 9$ > 7 9 > * %
> ! ? @$ > ! ? @ 0 ! D " $ > ! D " % " ? @ " $ # > $ > % > ? ! " @ $ > ? ! " @ % > ? D @
" % 3 # $ # # #% # %
*% &% '% (% ,% -% )% +%
4 65 ,?,@* E .F ! $% >,@,@ !
W E M F . ; W E M F
:&; 3 , $ 8 , E"#+F $ 8
8 E"*#F , 3 L W E F W E F 3 L W E F ; W E F
E"&#F
8 4 64 , + E"#&F E"*#F$ 8 3 L M 3 L
*+
!5 5 & ! ! $
8 3 M 3 M
E"&*F
/8 8 E"&#F W 5 , 7$ 8 E"&#F W 3 L @ 1 1 W 3 L @ 1 ;1
E"&&F
8 1 L W E F @ L W W W L # * 3 @ @ 5 ,, 0 . ? E"&&F - W 3 1 W 3 L W 3
% &
5$ 8 - ' & . ; W 3 8 E"&*F 8 ? $ 8 , ¾ 7 $ 8 8 $ 64 - , E"##F$ E"*#F E F E F$ ,5 3 8 , ! 8 64 ,,7 - E"##F 8 - ! 55 0 E ; F >,@,@ $ * $ , ) E M F E M $F >,@,@ $ E .F* $ E ; F
E F M E. ; F L E M $ F
E"&+F
>,?,@
. M E M $ F . $ M E M $ F
E"&"F
:&; 8 E"*#F
L E . F M E F M E. ; F L E . F$ M E F M E. ; F
E"&!F
8 ,5 ? E"&!F 5 $ ,5$ L L %$ 8
.;
L
E E
. F
. F$
E"&9F
55
!
*)
3 5 E"&9F - - E"&9F$ 8 .;
L
E $ E
. F . F$
L E M $ F
8 - E"&+F 3 E"&"F 8 E"&!F E"&+F
¾
8 - 8 $ 7, = .> , 8 ? - 81, - , ,A,@B* $ $ * #$8 >,A,?C, - * E $F >,A,@B* . E $ . ; F >,A,?C* * E $ . ; F >,A,?C* E $F >,A,@B,
*
!5 5 & ! ! $
:&; 8 ? E"&*%F
?
$
L M E F
M E. ; F
$ $ $ 8 7 5 ? E"&#"F ,, = .> ? E"&#'F 3 , 8 8 E"&#!F E"	F$ E% F L , E F ¾ 3 8 = .> 5, 8 ? E"&#'F /8 $ 5 , E"##F , , ,,7 3$ 8 7, 5 ? - = .> 8 ? 7 5
(8 8 , H , 64 , +
- "&#
5 $ 8 8 - E .F E"##F 8 7 - 5 E .F 8 $ 8 64 E ; F 8 7 , + - "&#$ 64 , 8 - 5 - , E"##F 1 5"5 0 E ; F >,@,@ , -
L
7
E F W E F
E F W E F
$
E"+#F
:&; ) L ) @ ) L ) 9 ) 8 > $ @ $ 9 - ) - 7 L # * - > > @ 9 5 1 E% #F - @ 9 5 E# *F 3 E"#*F 5 5 , 4 $ 81, , - > L -E+ + F$ @ L -ED D F$ 9 L -E5 5 F 5 - 81, , E"##F 5 + L + L
D M .5 D M .5
L # 3 , - - > @ 9$ L # * 81, , , E% %F 7 - $ 8 , E . F L E F M E. . F E . F L E F M E. . F 8 E . F - - "# 8 - L #%% 8 - 7 ,$ 8 :6) /6) 1 ? 8 - , /6) 5 1 "& ?% 5.5 7 , 8 = .> 5, 7 - ; - , - E .F 8 71
= .> Æ 5 ,,7 , - - - E .F *"% H ? - :1 6) , ) *"%
.
!5 5 & ! ! $ 1.5 1 0.5 µ
0
−0.5 −1 −1.5 −2
−1.5
−1
−0.5
λ
0
0.5
1
1.5
5 *::% 3 - 5 #% 8 - ,,71 $ L #% L # 3 " L #% - $ A, ,75
4 65 ?% &@ F !" *:: $ > &::A $ ?% &@$
J &,: # F % A 1 ?@ 0 !"$ 1?@ 0/ !"%
1 ?*@>1?*@ *:,%( 1 ?&@ ,:%: 1 ?(@ &-%) 1 ?+@ &'%' 1 ?*-@ &,%( 1 ?'&@ &8%+ 1 ?-(@ ''%* 1?&@ 8-%( 1?(@ 88%8 1?+@ -'%8 1?*-@ (,%& 1?'&@ (*%8 1?-(@ '8%)
$ > *::
K *::%: K *::%: K *::%: K 88%& K ':%: K '+%: K &+%: K *::%: K *::%: K *::%: K 8(%: K +&%( K --%: K
J (- *:
&& *:
** *:
** *:
*( *:
&& *:
(: *:
(- *:
,: *:
'' *:
&- *:
'& *:
(8 *:
-+%8 ',%&,%) &)%) '(%: (&%+ ,*%8(%( 8&%8 -&%( ,'%, ,,%( ,-%:
$ > &::
K J *::%: K '( *:
*::%: K &: *:
*::%: K *- *:
88%& K &* *:
(+%( K '- *:
*:%( K )& *:
8%- K *-: *:
*::%: K -* *:
*::%: K -- *:
*::%: K ,& *:
8+%( K -: *:
):%+ K 8- *:
',%- K *)- *:
3 "# L #%% L *%% ;EF ;EF , :6) ? 8 - , 8 ? , $ ,5 $ 8 - - $ , - - - - E .F$ - A, $ *"% H
5.5 3 %
0
3 3 "# 5 - 8 - 8 ? 5$ $ 5 :6) , ? , A, -- ,, 8 , :6) $ - $
:6) , , ,75 3 - 5 , 8 3 ? 8 - , 5 8 ? , ? 8 , 3 7, -- ? 8 - , 8 :6) , E .F ?% 5.5 7 ,$ - 7 - 81, , L #%% L L C# #D
7 , - *$ #%$ *" :6) , , ? 8 - 8 ? , $ ,1 5 - "* 8 E""*F
7 $ 64 - - E .F 0
0 JO(2) JO(10) JO(25)
−4
−6
−8
−10
−2 log10 of residual norm
log10 of residual norm
−2
JS(2) JS(10) JS(25)
−4
−6
−8
5
10
15 20 25 30 number of outer iterations
E F
35
40
−10
10
20
30 40 50 60 number of outer iterations
70
EF
?% &@ $ > *:: > > 7* *9 % E # ?,%,%&@ 4 65 ?% & @ & ? @$ *: ? @$ &, ? @ !" # 0 ? @
0 ? @$ % - "* - :6) , )7, $ 5 8 , :6) ,,$ - G = .> - , C9"$ , +#(D ?% 5.5 7 ,$ 8 7 - = .> 5, - - E% %F
*
!5 5 & ! ! $
L #%% 81, , )7 , "'# - ? 8 H :6) , *"% H 3 - 5 #% 8 - ,,7 - $ 8 " L #% 3 7 - - - E , - "&F
4 65 ?: :@ F F *::A $ ?: :@$ J &,: # F % A 1 ?@ 0 !"$ 1?@ 0 !"% K J 1 ?8:@ *,%& +:%+ K &( *:
1 ?+:@ *,%8 +8%& K && *:
1 ?):@ *+%8 8:%: K &( *:
1 ?-:@ &'%' 8*%& K &, *:
1 ?,:@ '&%+ )8%- K '& *:
1 ?(:@ (*%( +*%- K ', *:
1 ?':@ )-%, )&%+ K ,+ *:
1 ?&:@ &*8%& -'%& K *(( *:
1?8:@ &:%& 8&%( K () *:
1?+:@ &*%* 8-%( K (' *:
1?):@ &(%& 8,%- K (( *:
1?-:@ &8%: 8(%( K () *:
1?,:@ '+%* 8'%& K ,( *:
1?(:@ ()%: 8'%& K ,) *:
1?':@ +&%8 8(%: K +, *:
1?&:@ &'8%) +(%: K &:, *:
3 $ , 3 "*$ 8 5 H5 - )7 , "'#$ :6) , ? , 5 , ,,$ , - 8 - $ )7 , "'# ; $ 8 - :6) ,$ 8 5 ,$ 5 8 3 H )7 , "'#$ 8 , - 5 :6) , ,, , = .> , 3 ? 8 ? , H 8 - , 7, $ , 5 - - E% %F - ?% 5.5" 7 - - E% %F 81, , 4 L #%% L L C# #D - "& 8 E""*F , +%$
0
0
−1
−1
−2
−2
log10 of residual norm
log10 of residual norm
505
−3 −4 −5
JO(40) JO(60) JO(80)
−6 −7 −8
−3 −4 −5
JS(40) JS(60) JS(80)
−6 −7
5
10 15 20 number of outer iterations
E F
25
−8
10
20 30 number of outer iterations
40
50
EF
?: :@ $ > *:: > > 7* *9 % E # ?,%,%&@ 4 65 ?: :@ (: ? @$ -: ? @$
+: ? @ !" # 0 ? @ 0 ? @$ % !%$ '% :6) , ? 8 - 8 ? , $ ,5 7 $ 64 - - E% %F :6) , $ 8 , 3 - - "* )7 , "'*$ - 5 - ?% 5.5 7 ,$ 8 ? "" , - - , 81, , L #%%
" :6) , ? 8 - , $ 8 5 , &% - 8 7 - "+ 8 8 8 #" &% , - - 8 - $ ,5 3 - 5 , 3 7, - "+$ 8 - , &% 5 - &% , - , - 8 - , 5$ 8 5 , -
1 3 , 8 = .> 5, - 81 , - , - 7 - , - , $ ? - ,,7 5 , - 5 - 81, ,$ , 5 $ ,
!5 5 & ! ! $ −0.5
−0.5 exact computed
exact computed
−0.6
−0.6
−0.7
−0.7
µ−0.8
µ−0.8
−0.9
−0.9
−1
−1
−1.1 0.7
0.8
0.9 λ
E F
1
1.1
−1.1 0.7
0.8
0.9 λ
1
1.1
EF
G *, ? @ 5, 81, - , , ? !" !!$ 8 , ? 8 , - , 3 ,75 - !9$ 7 , , !' - !(
! ,, 8 - , E!#*F 8 , @Z , E- 4 F 7 , EW W F 5 ) 0 ) W 0 L = ) W 0 L B ,, - W - $ = W W L 0= B0
8 - - 4 - , E!#*F ? - B = /7$ 8 - 4 , - - 4 - , E!#*F ,, E C(+DF * ( @ N N N ?-*&@ ) N > * ) N > + ? % A> * + @ = , , , > ) N $ # * + & & , - > &* - . > * / E ?-%*%*@ ?% & @ ?% & ½ @O O ?% & @ ?% & @ ?% & @ ?% & @% G ?% & @$ ' > * ( $ = % ! & " $ $ . > * &
*% &% '% (% ,% -%
#/
/ - +5 5 , 8 5 5 , - - = B - 8 - 1 4 , - 3 8 - - 4 - , B 1 L = 1 L # 3 / - +5 5" , 8 - E . F 01 $ 8 $ , ! - !*#$ - - ,,7 - 5, , 81, - , 8 7 $ 7 - 7, ,, 8 1 , 1 , L # * ,,7 ? 7, , 3 8 , -1 ? - E F
+5"5
!
0
= .> 5, 5 ,, - 81, - , E , "F , 8 8 = .> 5, ,, - 81, - , 8 / 7, E )7 , !'#F 1 = .> E8$ , "$ , E!*#F , F - - 81, - , 3$ 8 - 4 81 = .> E ,1 *F 81, - , 3 , - - , -
81 = .> 5, 81, , , - !+* , + 8 , , - , '$ 8 8 7, , , ? !" $ #
? D @
> $ > $ > 7 9$ > 7 9$ . > * &% > * A . > * &
> ! ? @$ > ! ? @ 0 #/ > ! D " $ > ! D " -%&%* ? @ $ # > $ > . > * &$ . > * & > ? ! " @ $ > ? ! " @ $ # > D " % 3 # $ $ # # #% ? -%,@
# . > * &
*% &% '% (% ,% -% )% +%
E#/ 4 65 #/
3 ,,5 -$ 8 ,5 - E . F$ "$ 71 , $ 7 , $
, , ,5 , + ,, 8 -
* ! +5 & !
- - E .F -- 8 ,, , 8 E ; F - , 8 " 3 $ , $ 8 , 8 * M *
E!+#F 0 - 7 6 5- ?
- !*# 5 81 81, , E!&*F $ 8 7, , , , 1 - $ 8 - ,,7 8 E!+#F , / - +5"5 , ! 8 , - + + - - 8 7, E ; F - ,,7 - 8 , , - - - 5 - E- F ? $ *+# 8 - 8 7, , ' ?
! 3 * ,, ; E ; F
7 8 - 4 ? 8 ? , - 81, - , E "&*F 8 ?L
%
*
L
* *
%
;
; +
+ +
L
8 E!"&F E!"+F E - - F
?
?
$ $
L
L
+
*
M E F
M E F
M E. ; F
M E. ; F
> 7* *9 % E # ?-%(%*@ 4 65 & ? @ # ' ? @$ + ? @$ *& ? @ !" $ ' ?@ # - ? @$ *& ? @$ *+ ? @ !" %
"* ! +5 & !
, 8 - E% %F " L % " 8 , 8 E!+#F - !# 8 - , ? * & -
:6) , ? ; " E, 4 -F 8 - ,$ :6) , 8 - 3 - , 8 - - - $ - - & 8 #* :6) , E% && % *+F$ 8 ? E . F " 8 - E . F 3 8 - 7 , 8 , 5 - - 8 5 , ?% +5.5 7 , 8
= .> 5, - , - 1 - - E . F
4 65 ?% & @ &$ ' !" % !"A !" O A O KA ?% & @O A % !" & ' & , & ) ' ' *: ' *(
> :,
K )) )' -) ): )' -(
'(%( &,%: &(%, ')%: &(%8 &*%*
> :*
K +) 8, 8( 8) 8, *::
-,%, (&%, '8%+ ,-%' '-%'-%'
> *:
K )' ++ ++ +' +8 8)
8:%* (8%, ,&%+ +'%) (*%& ((%+
> *:
K '+ )8 +' -, +& 8(
*:+%' ,)%,8%**:%* (8%8 ()%+
, ? * & #%% - , , 8 - " - , 8 , 8 7 , *"% 3 3 !+ 8 , 5 , - - 1 - 8 , 5 "
5 , , 5 " , $ 8 8 - $ ? 5 " ; $ " - 5 - $ 8 - :6) , - , 5$ 8 , 8 , 71
+505
"
, $ -5 ? , :6) , ?% +5.5+ 7 , 8 ? !!
, - - !* 8 - , - , 8 3 ,, 8 8 H - , 5$ - - - 8 - - - # #% #' ##$ #( - **" -
7, 8 H ? 8 7, 8 8 5 , - - 8 8 5
log10 of residual norm
0
−2
−4
−6
−8
−10
50
100 150 number of outer iterations
200
*: > *: $ *: $ *: $ *:$ *:%
# # 3 8 $ $ ,, ) 3 8 - 4 5 - 4 - , 8 ,5 - , - ) - )
8 ,,
. ' % '
0 ' ;/ ' / * B B @
)/ 3
' ! '
/*'
* *(
3
'
/ 6 // ' > 8 ' @ B B ! ' ! / * ! / ;/ ' ;/ B B @ /
/ ' ! @ ' /
0
( ''/ ( * ' ' / * % ' ! ;/ / ( * (
/ *
+ ' ! 3 3
0 '
' '( *( / ' 3
6
3
3 ! /*'
( /
*
;/ ' / * :( ;/ > 8
/ / /*' ( / * *'8
2 :<
.5
.5
0 $ - , L $ 8 5 7$ 8 * ,, 8 ,,7 - 8 3 ,,7 , - - - 5 . 0 #= # = % $ *%,%
+
! .5 ! / ! ( & ! 8?:
L EF L
E'##F
3 6 5- ? 8 - ,, #
E F
E F L
*
E'#*F
L -
E'#&F
& 3 EF 7 5 - $ ! E F L %
E'#+F !
E6 5 4F 3 1 , , - 5 - , 6 5- ? E M 5F L M E5 F / - .5 5 $ E'#*F E'#&F $ -
5 , $ - 6 5- ? - H
$ E'#*F E'#&F $ - -
5 , ; 8 $
$%
64.: E'#*F 5
E F L 5 , 7 5 -I - 1
E F$ , L %$ E*&#F 3 -- , - E F L
8 81 81 < 4 C"#D 81 = . > E , *F 8$ 8 - , /8 ? - , )E F L E M M F L %
E'#"F
8 $ $ E,7F ,$ 8 7 - 1 4 ,, E'#*F.E'#+F ? - ,$ H - ,,7 C'!D 8 ? - , - 8 8 - ,, , $ , $ 8 -
E - ,F , - $
.5 5 % & ! (
+
, $ , $ 1
, - - ? 8 , ,,5 6 '*& '*+ /8 ,,7 - $ 5 , 8 , $ 8
8 , , $ G 6 '*& 5 8 5 ,,7 - $ '*# 8 J K 1 : $ 8 '**$ '*&$ '*+ 8
8 ,, 3 7 , - ,5 - , '& / 7, '+ '"
0 - * . 4 $3 ,,7 - , E F E F 8
E F
5
E F L )EF L E M M F
3 ,, ,,7 - ,,7 - 1 , : E F 3 8 L EF 8 ? ? M M # L %
E'*#F
8 L EF L $ L EF L $ # L # EF L
, L $ E'*#F - - $ 8 8 8 5 - 0 5 $ 5 8 $ 5 ,, 8 8 5 E'#"F 5 , G -
- ,$ , 5 - ,,7 - 3 , C"$ , *'*D
$ , ,,5 ,,7 - E F - , - ,,7 - - 8$ 8 8 E M 5F L E M 5F EF
5 H 8 , , ? 6 EF E'**F 6
+"
! .5 ! / ! ( & ! 8?:
3 1 : ,, E'*#F ,5 $ $ # $ 5 + E # F L %$ 8 + E EF EF # EFF L % > Æ 5 Æ L Æ EF L +#
E'*&F Æ EF L %$ , 3 5 $ $ # $ 5 L GE # F$ ?GEEF EF # EFF L EE? + F ? # + FE EF EF # EFF
L
#
E #F
Æ EF
8 Æ $ 8 E'*#F 8 $ E'*#F 5 5 , E - - $ Æ $ $ # H 8 , F 3$ 8 5 7, - , $ 7, 3$ E'*#F 5 $ 5 5 [ 7 8 5 ,,7 - 4 : ,,5 E'#*F ,,5 E'#&F ? - , 8 - / - .5 5 - ,$ L E F
E F M E F M E F L % 5 -I - E F 8$ 8 E ,,7 F - ,
. $3 - ,$ 8 8 8 $ 8 5, 5 E5 8 8 8 F , 3 - , , ,,7 - $ 8 7 5 8 6 5- ? EF E E'##FF - 4 - , 8 ? - ,$ 8$ 8 8 $ $ $ 8 5, 5 , 3 , , $ ,
5 8 , 3 4 3 - 4 ,, E'#*F$ E. A F 5 E. A F L E. M A M F
E'*+F
3 8 8 , . ,,7 $ A ,,7 3 .A A 5 - ,,7 - - 4 E'#*F 5 , -
.5 5 % & ! (
+
8 : E. A F 3 E. A F 4 , , 3 4 3 5 / 0
. A
L / 8 / L C 3 4 D 0 L C D
E'*"F
/ 0 - $ E'*"F ? . A - 3 4 5 $ $ , 5$ J 1? K , E \F M E \F M E \F
$ 8 \ - , ,
- 1? , $ $ H E'*!F 8 , 6EF EF - 8 7 ? - 6EF EF 5 5 ? 5 - 5 ,5 $ C(($ #%*D
,, 8 , ? ? $ 1 5 6EF EF E '+F ,, $ - E 5F 8 ? 6EF EF$ 5 3 ,, 5 5 8 $ - 85 , - $ 7, '+ 8 4 81 : $ 81 E '*+F
- '*# BÆ L # B # Æ G 8 8 BÆ B 3 - ,
G EF F F E 1 1 F
5
!
B
!
I I I I I I I I " I " " " " I I
I I " I " G " * " " " " # I I # I I ? , , -- ; ) 5 - 5 J E I I I F L I I I
3 8 , BÆ B 5 - - 5 , 3 - 8 $ 8 - % E# Æ F L % EI Æ F L *
6
L * 8 ,
! Æ
6
! Æ
$ $
Æ
6 1
1
Æ
$ $ E
$ $
F
¾
/8 ,, 8 8 ,, , 8 , 5 # " 3 8 Æ 8 6
! Æ
$ $ L . E
F
L"
6 1
$ $
E(&*F
05"5 / 2
.
$ -$ 5 - /8 B 3 - E(&*F , ,,, ? , # E(&#F 5 Æ , E(&*F 4 3 ,, , 8 , 5 # "$ 8 , ,,
8 "#$ , 8 , 5 # " 8 5 E/ , $ 5 $ $ / $ / *%%* ,1 ! C&!D !"# " $ # 0& ( = .> 5, - 81, - , +), $ 5 $ $ / $ / *%%# ,1 ' C+%D ! , + # 4 , $ -$ Q$ #('"
9 + 3 - = .> - , # , 0 > - , - - , 7 8 - 0 D E#((#F$ !9".9%( C(9D ' (8 % 5 5 ! ,,7 - - , - , # , >$ "( 7 =>>$ !% 7 81 =>$ *9 7 81 6@$ *! =>$ #( 6@$ #' 81 =>$ *+ 81 6@$ *% ? $ *!$ "9$ "( ? ) $ &" :) $ &* ) $ #%9$ #%($ ##!$ #$ #&" $ "%$ "9 =>$ !$ #' -$ $ *# P$ && A $ "$ &9$ ##&$ #&! $ !& $ * 1- $ +9 - $ & - 5 , ) $ #*+$ #+" :) $ + ) $ +$ #*&$ #++ ) $ +
*"
- 5 , ) $ #+" - $ & :) $ + ) $ +$ #*+$ #++ ) $ + $ & ) $ - , )B 0 $ #'* 8 $ ' @) $ #!( - 4 - ,$ +$ ##$ :) $ - 4 - , :6)$ #'$ !*$ ("$ #%($ #&* 6 5-.64$ !$ +* ) $ ##* - ,$ 9( $ 9( $ 9( - ,$ + - , $ "# $ * = .> -$ 7 $ #' ) $ #%+$ #*' 81$ *#$ #!* = .> E=>F$ !$ #9 =>$ = .> Q5 , $ !$ !#$ #9( < 4$ !$ +!$ #9( - 4 $ - 4 1 ,5 $ #'%$ #'# 81$ 9$ &'$ #!* ? ,$ (# A $ (& - % $ 8 $( &' 4 4 - - $ 4 - > 8 4 $ - > 4 > -1 -$ 7, 4$ ,$ , - , 4 = .> >4 8 -, , $ ,7 5$ -- ,5 - 8 , & = .> - $ / * 8 8 4$ - > - - - 8
- - 7 8 ,- , 4 4 - - 7 8 ,-$ - > -4 8 7 /8 , 7 6 5- ? , 8 + -- $ $ : 7 - / - 8 , 4 J K , , , - , 8 , - 7 - , - 8 - " ! = .> - % $ $ 4 - 8 , " 8 4- % ! , - 8 , - 8 , 8 8 8 4$ , > 7 4 - - 6 5-.64 $ - 7 - 8 4 - 4 , 8 8 - - - 1 ,1 8- 8 $ 81 ,1 - 8-- ; A
,- ,$ 8 , 648 -, 8
8 -X^ 4 - , ! 8 8 % , - 8 , > - ,$ 8 8 Z 4 8 84- , E 1 4F$ - * 9 - , , , $ - 8 - >4 -,, - - , - - $ --
- 8 - , , 4 ; 8 , , -X^ > - - -- - 8 - 8 , 7 64, 4 - 4 $ ' 8 - - 8 1 -
8 4 > - , ? - 8 , 1 4 ) 8 8 -- $ - , : 1 1 , > 8 1 , , -8 - $ - -- 1 - ,5 , 7 1 4 ( 8 8 7 - 8 7 , < 4 >4 - 4 8 - < 41$ 641 5,5 ; 8 - , , - -4 - - $ - 8 4 - 4 , E-F 8 4 > - 4
- 8 , ) 8 , - - ,, < 4 - - 4 7 - 8 , -
, 3 ,
8 : , - - Z - G 4 - , ,-, 4 8 /; ,$ 8 , 8- J 8 K > 8 - -
- 1 ;B$ 4 $ - , : $ 4 $ 8 -4- - 8 8 -, - 3 4 , 8 = , ) 8 8 '%& / -4- 8 - ; 8 : = , -- E 4 1F4 5 , 5 8 E> F$ E>XF > 0 E 4 EZXF$ > = > EF$ > 3 _4 Q_ E : , - - 3 , , - 5 11, -- / 8 - Q 8 8 /8 Q 8 - - $ $ = 1$ :1= ) -- , B - ;8 -$ 8 1 ;$ -, ,4 - 8 = - -,
; 8 X 08 =] , , , 9 ,, *%%* ! $ !"# " ( # 0&
5$ * % * , #**"$ >,
$ 5$ 5 *%%* , , X > 0 - ,4 8 *%%# 8 -- =X *%%* , *%%& 84 , X >X - *%%& , 6 5 $ ;$