numerical methods and models relevant to ... - Infoscience - EPFL

0 downloads 0 Views 5MB Size Report
et de nationalité belge acceptée sur proposition du jury: Prof. T. Mountford, président du jury. Prof. M. Bierlaire , directeur de thèse. Prof. T. Liebling, rapporteur.
NUMERICAL METHODS AND MODELS RELEVANT TO TRANSPORTATION APPLICATIONS

THÈSE NO 3875 (2007) PRÉSENTÉE LE 24 AOÛT 2007 À LA FACULTÉ DES SCIENCES DE BASE Laboratoire transport et mobilité SECTION DE MATHÉMATIQUES

ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES

PAR

Michaël THÉMANS licencié en sciences mathématiques, Université de Namur, Belgique et de nationalité belge

acceptée sur proposition du jury: Prof. T. Mountford, président du jury Prof. M. Bierlaire , directeur de thèse Prof. T. Liebling, rapporteur Prof. A. Sartenaer, rapporteur Prof. N. Zufferey, rapporteur

Lausanne, EPFL 2007

Acknowledgements 











1



1









"























/







$







+





A





+





;





;

;



'

"

















"





c }

~



€

}





3

€



















P























+





"



"









1











$



"

$

8

1

$









+















;

5





/





1













+















8

P

K

$



9











/

"



5









$







1







3



P

K







$





/



$











+



+



+















>

+







$





P





"





P

;











$





"



$

"





"



P



$

;



c







A















$





e



+

1









+







8





;















































+







1

"













P

P

;







;







'















9

;



















/



8











+

P

K



'

A





y



8

$



"









x

K





;



+

k





;

3













1





+





+



























8





1

$

'





"



"

[



+

$





K



















1













;



$

+



w

;





8





+

P





Z



K





/



+





A



"





8





+





$













+





1





$





'

$



$

;





$



5

+



'







$

+

K

8

n



+

|







q







o

























;





'



1













1





K

q

"







+







P







o





8

















8



+



q



















$

+







w





$





+















$

q

;





;





"











P







"



K









/



;





"



$



$

/

1





$



1























;

$

q













P

"



$

$











"

‰



1

1

$































P

+

"

$







P

+





1

















1







q

'



+



’



/



;







8







$







/







$

+





A

;









3



























K











9







†

$

/





/

K

$



$



$

q



$











n









P





o



;



c









5





1











q

/













w

+





|



;











n







A









+











+

1



"





"

"

+













$



c













P











[

;



o

















"



"





"

P

K

q





P

$





+



o

q





$



1













+



"

Ž

$



n



$



1





+





;









c



$

8











'



;



8

'



;



$

$



|





+





;







;

P



;













+



$













/

K





"

3









1







+









1

$







$



e

"





"

q



$

P

1









P







Z





$









/







'

1



/















P







$









$

1











$



+



"





'



$

;



+













K



/

‰





"



$







P

"





















'

/



;









P

























+



3





$











;



'





'







"

$

$





1



3





3

/





'









1







P

1

/

P





"









/





$

;

















‹

'

















/

1

+





$











5



1

;





+



'





3





+





$









P





"

$





K



+

;



'









/



$



















1





$





n



"

+



‡

‡













$



ƒ



1



‚



















3

+

+

+









~







3

/

'



"

5





"



'





"













8

€















+

$



$







$











"



;

"













$

+





"

;









+

















8







































P

/



+





$















"

















/



$

/

+

$

"

"



+







P





















P













3







+





$







N

+







8

P







;



















"

+

1











"





/

P





$







+

$

3









3



















‰









q



/



























8







[











/

$







1



;













9



9

$

$





+





‰



$



/

/

;



+

+

$









"

$





P



8







N













3

P









P

;



+

1







+













"





+







K



8













1

"

1



1















;





;



c







Abstract 







#

















&





Q









=











K

#

+



#





















#





R

&







#



&



#

R



&



.









#



R





#







.

#

R



#









Q

&

#

&









R





&

ƒ

&

„

k





+







#

Q



.



_







#































3





#



&













&

&



&

B

&





R



























6

.

.



















R





.

R







=







6



#

.











#



.









+

,





Q











#

g





&

&













=





&

6

&

.





,

R

&

.













.

&

#











,







+

e



p



















,

&









.

+













.





#

#





&



+

X



5

R

,



+













#





#





#



K



.



.

.



&











.





Q







@













+





.

R



B

.



3

@













=









&





.





























+

t



&















&





#



#



















&



&















&

R





















k







6

R

&







#



R







=







&



R

&

@



#

&

.













6

=



#







+











?



&



#



&



=

#

Q





,



&

















=

=



#

_















#



#



&













3

&

#

.

&











&







R

.

+







R

+



#















#





+



R









&

















#





























&









_



+



















.







 

3







.







#



#

Q

#

+













&





,

Q



#







_

+



#









#







X

.



Q



&





X











g

.



#

















+

+





@













&







,













#







&



Q





#



.















?



#











u



R





.



#









R



#











B















#

#





#



&

3















+

#











#

#

…

R



e

}







&





t























@







&

_









e

_





@

.

.



R







6

@

































+











.



.





+







#







.

.

#



X

+

+









.

&

&























+





&



.











&





.

















,









&





,

#







e









@

R



&

+

R











Q







.

#



.

#



+





Q









#

#

&



+





6













&









e











#





#



@



#











.









,







&





Q

















,







‚











k

@

#



&









#







,

.



.





&









R



#





&









.

&













+





#















#









&









@





#



.

+





&

&





,



#





p



.













&



#









Q







&

+

=



Q







&





,









Q









&

#



#



#





R



,











,













,

&







#



#

&

Q

&







&

+





&

#

#

#

Q

#





































x







+



,







+



&

R

+





#



&

#









R















&













=





+



.







.





Q









#

#









@

#







#

=









6





Q



=















u







.



Q



Q









?

_



.



,





w





#





&







#

#







+

&





















































#

u

+



#





.



#





B





&





#





 3



















Q

?

e





.













R







#



,

t

R

.

K







@









R









#

.

Q



v



#





,

#





#













=

6

,





.

&





.







#





+



+



+

=

.

+







.

.

,



.



&

.

&

.



&











z

R

&

#

#

.

&

















 





u













,









,

&

















e







@









#

#





.

+



&

#

&







#



















.





















&





.



,





&











&









.

























#

#



#













+

#











.



.







R

3















#







Q









#

&

+















.



&

&







3











#



#





R





&



+



,

#













&







+









#



.

@







3

e

























&

R



,





#















.

#











6









4



$





































&

+









+









+

&



$



;

$

&







$

















Ž

+

Ž





&

~









&



[









!



‹



o





$



!

















+



































/







/







[



!





+





/





$

!

;





+



$



{



‡

|











0















&

/





+

2







+



 



@





3





S

























$

$

/































;













+



/





+



2









@









/













+

/

















/























&







3





/

‰



‚







$

3





/

!





+





!





&

|

/





@



4





&



+



+







$









ˆ







;



&























@



;



















[

+









[



@





&

/

$

/





&





$



+

@



&













2















+



v



!



$



0





S







/

































+

+











/

/







$

$

[





$

W



&











4





+



3

;





&













‡

ˆ

$

$

















[



+







$

+



















[



|











;

$

[

v











;

3





/

$

W



+











4



/



























&











&

/

2









g

2

+







3

@



























‹

&











2

$

/











[





























;















‹

/







+

+







+

/



+

+





+











{



[















3



‚







&



+

+





;













/

&



2

w



$

$

G

/

+



[

‰

















+

















+



$



















W













+









&



+

$

!



&













&

+

&



/





















/



$





/

$













+



$

+





























3

/













G

/







+





;



3

;



+















+

+



























;

































+



2

&







+



…















v











/



















+



W



$





















$

$





/





/













S



+

2

;























$

















$

&



+

/



;





+



[























;

S













+

/



_





+



^







o

+

















3













+







+





/





/























&

&















&







]



$



!





+





&













/







$



+



$



$













$









&

&

;



;









/

















&



















$



+





!



































~











2





$

@

/



;

2



+

;

+



/



+

+

















;















+



[

$













;





















&





 

&



+



+











/





$





2



[











+



















[





w























2





&









+





&









+



$

















&



+



+



g







+



















2





+













/







4

3









$









+









+



+

$





2



&













+







$



&



3





u



$









2

+

&



G

;



&





$

/













3



+





2











[





+









/

&



o

+

;





+





3

 

$



3



+





















[









+

$





Œ



[







[



/





[

















!



;

+



u















+









@

!





+



$





2















2

+





[

/



$









2

$













&

S





&









;















&









$





L











&





$

+











&













/

;











+















+

&





€

4



+



@





$

/

g

$

+



/



+





+

/





&























&

$



/

!

/

















;





2











[





[



















C

+

+

/







$





















g



/





$



+



















&







&



$



$

L





$







2



+

4





;

2

















+





$







&



$











/

+



&





/



+



[





’





&















+



2





$

/













$

$







&











&



&



$

0



v





;

















/









;











/







+

&

!





















W



















+



…





















$





















[



v

+





;

&





$











$









+









+





&







L



&







&







+

+





/



[



3







0











&









+





3

@

&













2





+





+

3





2









$





v

L









v





&



+









$



/



v

/





@

R´ esum´ e 

.





+

!

.

6



+

2

!

.







+



"



q





!



!







2



"



"





"

.





q

.

2





.







"





.





"



)





.







2



Y









.





2















`













.

)



"

!



+



)

"



"



2

6

!

`

















"



.

.











X





Y

2









.





"



"





`





+



.



!





}



6

2

"

.





.

.







!

X



I



6



!





!



y







+



(





















"





"







"

.





-



2







"

!























3



+





!



.

-

"



3

+







.











-













(













.





.

3

"

(





.





Y



+



+





‚





!

.



2

.



"









)



-



















"

"

(

+



!



)

.

.









!









(



!





.



+





(









+

€

Y

"















!





"

+



(







~





2





(

"



+





)



"









D

!

















"











+







+





"









2

.













2

.



















2



(

!



"

D





"





(





(





Y

+



.



"



)



P







3



(

.



.

+ 

!

3





!



!

-

.



"















2





k

"



(





"



(



.







3

.

)

(



!







.





(













"







"

"





+

I



!

6

!





(











!

"





+

!



















2







"



X









2





!











6





.

I









)

(

!





3







(

!



!





"









2



3









Y







2

.



!



.

2



.





.





"





"



"





.

3











2



6



)





+





"









.



!









.

2

Y



.





"

.





2





.











+















.





2













!





"



k







+

I



-







-





!







2

.

.

+





"









"







.





+



Y



"

.

(

I









"

2





+

"









X





(









Y

.







6



"

.

Y



!













.

‚











2



+

(









.





I





.









"





"







`

-











+





2











(

.





.





`

(





.

.







+

















.

!

.



(

"

"







(

.









+

.



!





!



.





Y

Y









6

2

.

.



+

!



(

.

!



(







+











"

"







(





!



+

(



6

+











+



!

!

.

!



k

.





+













(

I







.



X

.

Y



.

.

.

+







"



Y







2







6

Y





3

Y

"

.

"



"

)







2











X







!



"





"



.







(





"

X







+

2

.















!



.



2

"

"



"

"











X





X





(













2





.









!

.















"







t

(







!



.



3





(

y



+

3













2





!































(





!



I



P

"

(





!

.















!

+





-





.













!





.



!







s











"

"





+





"

2













!

!





.



€













6



X







2

2

"



!



D























.























.

(

!







!







(













+



!

(



3









I

!

















+









)



(













.

"





"













.



.









!

"

.







Y



)







2



+



.





~

(

2



D













!

(





+



!











.



+







+











.



"









-



























+



(







!





(





q



.







q

.



"

!





(

.



!













.





2











q

2













.

+

.









X













+



.

2



+











2

‚

















"

I



.

+











`

P















!



3



!



2





D







v







.























2





"



+

.

)





.





Y

"



+



!





2

.

.





"

6









.











!









(



2

-





!









3

!



.

`





q



!

2

!

6







"

n



.

.



"



"







.











Y





(













.



.



(

(





.



+

"





(

.





.











X



+

"

2

(

"

















Y











J







(

I





(



"



+





.

.

P





2







(













.









3



.



 



"

.







.















`

6





.







(







v











+







!



.



6





"

!

)



"

`

2





!







q

P











-

.



Y









"









(

!

.







.



2



6





"

.





+











.

+



2

2





.



"

+





J

X











.





Y





4



!





I

I



)

.

P

2











!











.



3

.

.



6







"



"









-



"

.

"







-







2





















.





+







.



(









2





+



"



)





k



.









X

I

`















.





.





(



+

"

3

2





.





.

(

.







(





6

!

.



!



+



















3







"

X











-













F





%

%

4

)

























*





'

F







;



*

F









v



*







%

/





*

*

4

‡

4





%













4













%











%





%











;

*









Œ



%





Ž



6











,





F





*

%



ˆ







%

F













%







/



























*









L



„







*



4

















4







*



%

















)



4



















—







4



%





d



















F

F













*





F

















%





F

*











4







%























/

/







4









4







4























6





4





























4





F





%

































4

4





4















\

\

F

F

%









)

%









/










!



*







*





B

4

D

F

H





>

*

!

$









$





*

$







>





!

'

B

N

O

4

H

























































 







 3





N

'



T

S







*

$

T





U

$

4







,











V

S

!







!

B

N

T

4

V

H

























X

'





!

*

!

$









*

Z

8



*





!































































]

3



_

T





!

*

!





,





*

`





*



































































 b

2 Singularities in nonlinear optimization 

c









>

8

$



*

































11













































'

'



4

'





*

f





*













































































'

'



D

'

*











8









f

*







































































3



3

_

O









$







*

`





*









>

*

>







*

j

$





*















!

*



8 ,







*



S



























_

'



T

'



8

!



p





,

*





Z



!



>





,





*







!





















































]

n





'



n





n

'



3





'

X



r

s

r





8

!



p





,

*









,





*











































*







v

s

r











8

!



p





,

*









,





*





































 z



*





O

s

r

!







>





>

j













,





*







































 '

_





*







N

s

r







j













,





*















































q

'



c

n





q

n









n

'



q



'

*

b



'



q



|

















*





*

!

!

8



!





















































_

n

8

3

'







*

$







5

|





*









!

















































 









' '



X



N



!

$



*

|



*













!



|





Z







!













































n



'

'



X



ƒ

'

















$











S

!

*

!





























 























X

'



X

'



T

'

…





>

j



















>

!





















































X

3



X



n

'

_

T

…











>

!













































 















] '

'



X



ˆ

'

*



















>

!





























































n



X



'

X

ƒ





$





>

*



*







>

f





!

*





!

f

!





8



f





*







 !





























 3

Œ

'



X



]

T



!













p

!

*



,

8







|





Z







!

'









































 3

*

5

z































#

%

'

(



%

'



,



.

'





































































2

3 Nonlinear global optimization 

4

2



,

(



#





,























39

























































:

3

;












8



(



8



























































 ,



Z











8

>



E

\



































































Y





^

Y

:

5





"



`

>









M



R

5



























































,

Y

,

Y





c

Y

5

5

(



E

>









M



R

5





























































:

Y

,

A Appendix c



e



,





8





U

Y

129 

8



U





E









8

U





j

(



k

>

(



5





"



`

>













































,

,

c





o

,

c



c

>







P

C

^

;

Z





E









q

P

C

t













































>

8



"

Z





E









q



;

t



















































,



P

>

8







j





Z





E









q

P

|

t





















































;

\



k





Z





E









q

;



t



















































/

,





€

,

c









j

Z





E









q

€







:



>





"

>





Z





E













B



>



;

,





"

>





Z





E











H6,4 q

† ,





„

k

\















































E









8

S4,m q

t





E

„

Z





E









>





M

Z





E









Zn q

"

5

Z





E









q



ˆ



t





































































































































t













































C ,





R

>



„

Z





E













8





€





/

,

/

(

M



(

(

Z





E









q



C

t















Z





E





 

q

€

Ž













































/













































t















































/



ˆ

>











Š

>

%

%

‘

Z





E

























































U

(





>



’



>









8









q



/

/











































ˆ

Š

t





















































































 /







/



 /



 ,



/





8

/

,



/



,

t

Y



,

"

,



‹



,

,

,

GRn q

/

 ,

/



,



,

,

t

t

,







/

,

Rn q

t

.



,



,

‘



Y

,



>

Š ,



;



,

 ,

Y

8

 ,



c

Z

.

 ,

c



 ,

c

(

@



c

„

P

,

c

\

ƒ



c



H3,4 q

,

c



/

,

,

c

t





c

.



,

c

.

,



.

/

/



/



Y

,

.

 ,





c



/

,

,



Y



Y

:

.

121

R

,

c

.





:

.





:

/











/



 ,

/



















List of Tables 





































!



























































 %



'













*







!









!

!















































 













& /



2

&

4







*





6

7























4















!









































=

1

/



>

&





6







A















4







*





6

7







 













4















!





















 /

&



=

2

4







*





6

7























4















!

G

>

&

J



*





!



M

>

H



>

&





6 





A















4







*





6

7





















J















2

4







*



Y

'

Z





6





!







]

!

G

^





*



!



A



P



4















!

/

G

>

J



*





!



M

>

H

P

/

H

/



&









7





6

!



J

P

H



















/







P

&

/



'





G





!





]

6





c

'

!





4



e

!

g

c



!





!



7







4



































j

/

i



k

/











!













G







 

m









6









]



!



*







































 %

1



Y

/



6





























7







!



























































&



%

%

=

Y



6





























7







!



















/









































1



Y

/



6





























7







!











7





&









!





 



































=

/



P

k











!









G











m









6









]



!



*





















































=

/



j

s





J

'

!





4



e

g

c 

!





!



7







4









































/ /



z

/

G











6



]





!









|































































y

/



! z

/





6







]









6









!













G











6



]







































 /

i



J

/









|



























G









6



]











~









 































P

%



z

!





6







]









6









!













~















G









6



]































j

/



J

/









|













 











G









6



]















6

6









!





























 y

1



z

/

!





6







]









6









!



















G













6

6









!

6



]











 













&



=

J

i

















6

























!







!











/











































m

1







%





























List of Figures 





































!



















































1

3

5

3



3

9

















;

-






8

3

(













(

$

3



$

8

/

;

/

J

/

8



8

S



8









/







8

(

#

3

8





$



U





K



'

!

!



H







$







$



'

!











'

!



/



/



1



/

8

O

/





K



8



(

8

!

K

#

J





$

3



$

1

3

8





!

/

#

/

3



B





!







8



;

3



@





$

(

i





#





@





8



!

K

/





!

B



#

3





;

$



8







1







#

/

3

'

!

W



J





(

U

$





/





@

3



3

1

#

B



B

/

3

#

'



K

>



(

T







8

T





/

!

3



K

3

T









J

J





3

!



8

(

>



$

#



3









/

(



'





/



;

;



'

#

3

$



/

H



3



/

#

!

8

1







(

8



$

J

(

'

8



3

(

'

!

3

8



8



#

#





/

!





8

3



8

8

/









$





(

#

/

@

'

'

(

8



3



+









(

1

1

$

$

1



T





/

/





H

3

3



3



/

1

!





$



(





@



>



;

T

3

#

8

/





(



#





K



;

@





8

@

!

3

3

1

8

/

/

/





>







3



T

(

#

3



(





8

3

3

#

#

B

#

3

/





+

#







8

8



8

#



3

8





!

(

3

(

!

!



8

'

J



(





1



$

3

#



;



8

$

i

3



3





1

#

1



8

8









$

B

1

#

@



W

T





U

8

/

(



T



3





$



l

l



(

U

8

/



>





/



;

1

/













K



#

!

@



'



T

'

J

!

3







8

/

#

1



H

8



General framework of the research



!



8







K

K



8

U



!



#





/



(

'





>

(



#

8



J



@

#





3

$



(



'

/

3

#

3

k



/

3





K

u

@



$





8

/





3





!







(

3











'

/

3

#

3

k



/

3







8

T

8

/



#

8



J







(

3











i

@



/

3





8



v







/

!

K

/

1



1





/



3



8

1





!

K

H









3



/







8

/



!

3



8

'



$

3

O

$ 

'

/

3

#

3

k



/

3





'





>

(



#

8

3



w

1



'

/





8

u

x

'





>

(



#

8

H

1



8



8



$





!

!





3

;



/

3

;



8

#



/



3

+

3

8

8

3



B

@

(







/

/

1



(



$



(

#

3



3

#

@

#



'





>

(



#

8

H

1

3

$

1

'





8





/

8



;







(

{





!



J

/





#





T

~

(



$



(

#

3



3

#







!

/

1



$

1



(

(





B



3

8



/

l

1



@

1

8

8

>



J



3







8

/

;







3







/





1

'





>

'

1







K







$

U

3

#

O



$



+

3

(

#

B



@



3

#

/

(

3

1

#

‚

8

 (

3

!

1





!



3

$

!





/

8



/

3

!

/

#





/

8

3





(



;





8

J

!

@

3

$

8

1

$







/

'

/



$

3

#

1

3



3

k



$

/



3





#



'

!





(



>

8

(

H

3



#

!

8



(

T

U

!

l



8

/





(

J

T



$





3

1

3

>

/

/

#



>







(

!

/



$





1

@

B

#



/

8



'

'

T

B

T

;

8

ƒ

J



3



J

3

(

/





/



1

/

(

;



/





#



+









/

!

!



!



3





v

$



H



(



„



$

$

#







8

8



3

3







!

w



B



1





B

#



'



/











/





…

†

(

T

U

8

8

/

T





8

#





 /

#

8



8



{

;

ƒ





l

J







K

3



…





~

w

(



3

1









!





H

'

/







i

'

@







K



/

'

H

3





8





8

'















'

3





8

3

H

8



B





>

(

3



B





1



/



3

;

/

1

3

1



#







(

‡

#



!



l

(

/





1

@

J



$

#

8

>



$





#







$

#





(





J





@

B

@

S

!



J

(



/

3





/



$

#

/

1

(

3









/

'

J













;

(





(

8

(

'







8



(

@



/

B





/





3



/

/

3

3







/

/



1

3









#

8





3

J

/

$



'

1

#

$



'

8

3





8

(



/

/

$



1

1



T



/



!

8

8

/

3





3



8

8

'

J

B









8



$

1

#

'

/

@







8

H



8





!



8



3

(

@

ƒ

‚

K



/

l

3

/



H

1





…



3



8



U

J

!

#

/

3

'

1

8



8

1



$







/

8





3

/

k

8

3



3





!







3



/



8

!

/

1





J

'











>

!

$

(

@

/

/



$

#



1



8

/

U

1



/







































 

1.2

Origin of the thesis

1.2.1

Maximum likelihood estimation (MLE) of discrete choice models (DCM)







$









$

(

$







-

>



$




2






5



&

4

7







;

&



7



>

:

&

;

"

4

$

Q




"

+

&

>





&





4



&

;



2

"

>



&





>

2

;

F

>

"






:

T

"



>








.

"

>

$



)

+



"







4

+

7

X W

Y

"

4



.

>



5

>



:

\

;

T



"





^

a 

&



4



;

4

;

d

4

"

+

2

4





;

d

"



;

;







;

;

&

&

7



;



"

4



4

2

>



"

>

;







:

>



>







"

.

2







&



>

&

4

+

>

d

"



T

2



7

4

;

; 4



$




"

+



"

>



>

)

&





>







&








2

&



2



4

"

&

"

$





"





>








&

2






5

>



:

"

F






&

2

4





7

;



;

7

d

;



"



>

&

2



4

>



^

"

4







h

4

:

y

;

>









h

T

+





"



4





7

;

&

>

>



4







2

h

)



v









5

;



4

"

:



>

"





:

:

4

w







"





h

h



2



:





h

a



&

"

+

;



;





4





7

$










>

;

"

"

;

W

4

$

&





W

;





5



"

y







>

T



2

>



&



+



:

;

4









&

$



>








5

h

z 



T

&

:



w



2

2



)

^

a 

4





v

`

~

)



X

_

>



;

&



>





7

+

&

:

;



X



>

Y



;



"



;



.

`

)

T

4

_

>



4

.

"



"

4

&

2







)

ˆ



2

+

-

;



7



;





.

&

;

&



&





>



ˆ

:

"

&

;



4



7

>





$



;

>

4

4

2



)

$












&

+

2

7





4

&

;

"



;

X



"









&

;





d

2













&

4

4

>

>

>





)



7

4



+

2





&







:



&

&



"

;

T



"

;





4









&



"

F

;




2

&











;





d

>

"







>



"



2





4



Y

>





d

4

;

"

"

;









$



;

>

&

"

4





"

4



;



;

"

 4

$

$










>



;

"

4



"

7

&



4

+

&

>





;

"

h

;

>

>

"

&

>

2

4

>



T

;

4

>

"

&



;



d

4

"



$



d






"

;

:



&

2










+

T



)

&

;





d





>

2






2

:

&

T

"



;





&

a

>

4

:

"







:



.

2








>

h





>

$







"



>

>



7

"





&



$



&

&

2

"



"

"

&

4

>

7

>

7





&

&



4



&

&

"







2









4

4



&

:



h

Y

"

4



&

4



>

4

&

"

-

&



4





&

4

4

"



5



T

;









d



>



T

:

2

>





"



$

>



&



>

"

.



2

T

2

2

2



+





"

+





>

2

2



&

.

)

ˆ





;

;



4

>





)

h



>

>

_



&

T

`

h

"

d

&



&

&

)





&



.

T











2

;

"



>

2

+

Q

>

&

"





X

&



7



7





"

y

;

&





&





&

&





&

d

4



 &

_

>

`



>

5



:

>

Q

v

&





2





+

4

+



T



T

4





5

h





&

+



"

>

&

_



`





:

{



"



&

4



>

2

4

4





>



r



"

X

2

>



2

h





&

h

"

T



:



>

:

)











&

2

>





2



;





0



>

F






+







&

:



"

&



:

>

>

2

2






"

>

Q



2

>









4

4

>

"

;

"

4



&





"



&



&



2

`

"

>










>

>

;



>

4

>



>

;



a

"

>

>

&

T

"



;

;





:

>

&



:



2

)



^






4



4



$





:

&







"



>

4





>





7





2

&



5

4





&

2

2



;

2

;







4

X



&

F

:

4

>



:

>

;



)

2



&

"

&









X

&







;



"



4

:





.





+

>





h

:



7

4

;



:

.







4



:

&



-



d

4



W

5



a

4

"






+

>



2



X




2

2

:

;

>

"

:



2

&

>



:

2

"

d

7

&

4

;



:





>

2

{

"



4

;

h

"













>

7

;

7





"





0

>

2



X



:

4




4

4

h

7

T

d

4





>

"



q



>



.

d



:

T

4

4



&



>








>

2



"





q

7









4

+





>

x &

;



;

;

^

$

;




"

;

"

$



2



4



)

4






&

;

)

+

>

"

7

;







"

x &

X

&



7



)





a

2

2

"



X








`

.

>

:



;

>

;

.




7

>

5



>

&

4





"

:

4



h

>



2

&

;

d



2



:





:

>



"

)



;



>

2

;

4

&

;

:

;

2



:

>

2



7



T

:

4

+





;

X

&






7

>

.



2

"

$



"






"







;




+

-

&





2 3 T

T

&

T



>

&



;

>

>









.

&



4

;



~

4

\



4





2

X

d



4



"

"

2

>








;



:

$

4





:



2

T

 

>

h

&





&




2







+





7

"



"

;

&




:



>

:



"

$

"



&

>

"





&

:












4

:

)

>



2

)



2

&



$

"



h



&

4



>

7





&

2



&

r

>




>

'

+

/

/

\

k M

O

h

^

6

B

q

$

$

+

r

B

$

)

%

>

$

;

'

/

U

'

/

U

O

)

;

1

'

;

%

B

U

$

$

)

1

;

;

)

U

F

+

+

;

>

'

\

M

κumh ≥ κufh + c + 1 $

?

+

1

)

2

$

2

)

$

4

4

M

'

>

4

'

F

;

Z

X

B

$

'

j

)

/

2

;

%

$

+

>

B

)

4

'

$

4

x

?

1

$

Z !

P

B

$

%

+

)

4

;

'

)

;

?

$

U

)

e

U

)

2

$

9

$

)

2

Y

$

)

;

O

$

)

$

;

/

)

U

J

)

9

;

1

>

+

?

/

2

U

1

4

%

B

$

$

2

U

2

'

)

)

4

p

+

/

)

$

;

/

%

U

B

)

$

$

'

>

>

+

'

)

9

;

2

U

q

M

U

$

J

n

'

r

;

$

>

U

+

)

?

O

^

)

4

9

U

>

$

2

F

>

+

M

M

1

/

;

U

~

%

>

U

;

$

>

U

'

+

9

;

U

M

U

n

'

;

U

+

)

h

U

;

9

>

C +

U

2

$

J

p

h

Z Y

U

;

$

?

U

U

'

/

U

4

%

;

1

>

J

ˆ

$

O

>

9

P

+

e

>

B

>

'

+

e

$

>

'

M

$

4

1

M

U

;

)

4

;

B

+

+

>

e

X

6

'

4

>

M

2

;

+

…

ˆ

†

4

'

/

'

$

;

)

%

B

2

$

p

>

/

'

$

;

)

%

2

B

$

>

Y

e

>

$

'

;

2

$

'

/

+

F



$

S

U

~

;

U

Z

B

C

F

$

'

>

4

;

'

$

+

/

2

M

1

;

;

$

B

+ 6

U

+

)

$

>

+

1

\

4

?

F

'

$

+

J

9

F

;

>

B

;

+

B

$

?

/

$

%

$

j

/

'

U

M

/

h

;

$

M

?

>

;

+

U

B

;

)

'

B

U

'

;

U

;

;

)

;

>

1

9

$

4

>

>

+

;

M

~

C

>

U

4

$

2

e

+

$

U

F

+

4

+

)

9

;

…

'

e

$

/

U

M

+

x

'

1

?

$

'

/

)

/

U

;

;

+

J

U

9

'

/

;

U

~

†

M

U

'

n

)

'

;

U

2

+

q

)

$

4

J

'

r

F

$

$

e

>

1

'

>

%

+

%

)

+

4

)

;

4

>

;

'

>

U

'

)

U

$

)

2

;

2

;

X

+

4

9

O

B

Z Y

2

;

$

U

j

)

)

;

$

$

>

;

+

4

4

U

+

+

/

)

C

'

$

/

4

j

/

J

;

4

$

;

U

+

>

$

U

M

U

1

M

/

n

'

2

4

4

'

F

$

>

'

~

$

4

2

U

'

M

4

$

/

)

U

4

;

U

;

+

/

)

B

%

$

$

'

9

>

2

;

1

C

)

4

;

'

$

~

;

6

>

›

)

'

$

1

'

e

U

>

)

+

;

e

;

$

+

/

4

$

F

U

+

;

)

'

)

+

1

/

)

B

4

U

+

2

>

%

F

'

+

4

'

;

>

B

2

'

'

h

/

)

O

'

M

)

$

/

2

X

U

U

$

/

J

Z

)

$

)

Y

'

4

/

9

j

/

+

;

$

4

4

U

>

?

'

/

4

$

4

6

+

%

U

U

'

;

B

;



$

$

2

6

6

;

U

;

+

)

B

Ž

;

4

B

M

$

$

;

;

6

B

+

+

2

+

O

?

p

“

$

/

%

;

$

U

;

C

%

$

B

U

;

B

;

B

O

$

;

F

B

+

$

/



/

+

'

B

e

$

/

$

$

$

+

j

>

M

e

6

U

e

>

4

$

+

e

$

U

)

)

$

U

>

M

'

U

/

U

>

U

h

U

/

;

>

>

)

B

$

$

'

;

;

x

1

U

'

;

/

2

%

M

U

4

$

1

'

2

4

;

;

$

B

4

+

U

;

$

'

)

'

n

n

U

)

$

e

;

;

B

B

$

$

%

+

+

)

?

%

“

$

$

9

%

;

;

U

?

C

$

J

F

1

1

4

)

U

%

)

;

e

U

+

)

'

6

M

1

B

/

;

U

U

/

2

U

$

4

M

'

$

;

)

U

4

4

U

F

J

+

U

)

)

+

e

'

;

/

j

F

)

Ÿ

e

;

 

…

6

+

P

Ÿ

M

^

+

+

)

'

$

)

U

)

4

/

)

4

O

%

2

x

'

¡

2

P

U

U

B

/

'

4

;

1

X

2

'

>

9

;

;

'

;

)

/

'

$

;

$

>

$

U

/

U



$

F

'

+

Z

2

\

h

/

'

)

4

;

)

B

+

$

)

%

/

+

U

)

)

;

$

$

'

S

>

/

;

+

$

'

F

4

1

;

~

)

4

%

x

+

1

)

'

4

>

;

$

>

4

'

U

O

)

—

$

M

2

+

1

9

/

;

U

;

U

M

2

U

U

n

M

$

'

;

U

j

' %

4

)

;

$

U

C

+

$

)

4

>

)

+

~

)

O

Y

4

'

J

;

$

˜

$

+

$

6

1

9

)

$

/

+

+

S

/

;

F

;

U

?

4

$

;

)

B

U

$

;

$

/

;

J

9

U

'

U

)

M

'

/

U

/

e

/

+

J

+

;

F

>

>

U

4

B

$

$

'

;

B

+

+

;

$

F

;

>

M

$

%

9

>

9

;

U

)

M

%

+

)

+

U

+

9

C

>

4

'

M

$

+

n

U

9

e

$

;

'

$

)

>

)

2

+

$

%

?

/

2

$

J

'

e

;

+

>

+

U

;

;

B

B

M

;

$

%

/

+

'

4

'

4

U

%

%

~

'

/

O

”

+

1

/

2

$

;

'

/

O

X

˜ Y

6

$

•

>

”

M

Y

P

$

Y

;

”

'

Y

;

O

O

Y

+

$

2

_

X

t

Z

;

F

1

$

+

u t

X

J

2

C

;

X

Y

?

4

'

9

!

$

4

O

Variant C: A standard filter algorithm

%

J

U

$

2.5.3 P

;

c >

;

 k(xk) ≤ κumh − 1 ∇2m F

$

Z

h

Y

4



$

;

£

!

O

;

B

$

;

$

4

;

;

+

'

%

%

$

9

;

;

B

$

;

>

U

'

/

4

;

$

9

X

4

;

$

9

Z

B

'

4

?

$

$

)

M

+

2

U

j

$

2

O

¤

P

B

$

j

>

4

;

;

6

+

4

;

$

9

4

F +

;

B

U

4

C

'

>

U

'

)

;

'

>

$

;

B

$

4

'

M

$

'

4

'

>

U

'

)

;

—

h

;

B

'

;

U

4

6

$

1

4

$

2

;

B

$

%

/

'

4

4

U

%

¥

M

+

2

$

/

X

O

Z

'

)

2

;

B

$

+

>

U

e

U

)

'

/

;

>

1

4

;

~

>

$

e

U

+

)

4

1

?

9

>

+

?

/

$

M X

O

Z

O

P

B

$

4

9

$

%

U

j

%

F

$

'

;

1

>

$

+

F

;

B

U

4

¤

C

'

>

U

'

)

"

;

U

$

$

4

;

S

;

B

$

$

)

;

2

$

4

;

;

F

B

$

+

;

>

>

'

1

%

4

;

%

~

$

>

9

$

;

e

'

U

+

)

%

$

)

+

'

/

F

e

+

;

>

B

U

$

;

;

B

>

U

M

'

/

X

9

'

+

>

U

U

'

)

x+ k = xk + sk

)

;

;

—

Z

?

J

U

)

;

>

+

2

O

1

%

U

)

e

'

M

1

/

;

U

2

U

M

$

)

4

U

+

)

'

/

¥

j

%

/

>

U

;

;

$

U

>

%

;

'

/

$

9

%

B

+

)

U

U

)

;

x

h

1

?

$

J

h

2

6

>

B

U

+

C

U

4

)

$

e

'

$

U

M

'

g(x) = (g1(x), . . . , gn(x))T

U

%

;

B

4

;

+

%

n

+

+

M

$

>

) $

+

9

O

+

)

%

$

+

)

1

;

>

'

+

e

F

$

;

;

B

$

B

e

$

>

%

'

2

+

)

U

C

$

)

$

;

>

e

+

$

F

)

;

%

B

$

$

+

+

?

F

“

U

$

;

%

$

;

>

U

'

C

;

$

$

4

F

;

1

)

+

%

'

;

U

j

+

)

>

4

;

~

+

>

2

$

>

∇f(x) =



"

,

*

%

5

#

9

%

*

'

(

*

x1 %

,

,

(

'

6

(




8

&

$

$

2

"

(

4

8

&

>

$



&

4





R

$

8



T



4

8

&

I

"



8

+

>



@

$

8

"



$

+

N

C

W

>





&

&

4

2

8

>

&

I

4

+

4

C

"

+

4

F



8

F



$

(

C

&

4

$

+

+

C

F





&

&

/

>

8

"



&

>

4

I

8

+



4

R

"

4



F

&

[

"

\

&

(

K

(



"

8

+

4

"

8





[



$

^

[



(

+

"



(



8

8

"

>

&



$

j

8

2

&

N

4

"

&

F

$

&

(

4



"



2

$



"

[

+



+

k

C

&



F

&

&

$



+

&



N

+

+

>

C

+



I

&

@

$

C



+

2

4

4

2

+

&

d

4

>

C

&

+

F

4

$

F

/

8



"

(

&

(

8

8



8

>

K

@

$

&

"

d

$

"

&

&

$



N

R

&

$

$

(

&

4

"

N

C

d

&

+

4

N



\

&

&

(





"

+

`

R

F

&



[

4

^

[

[



\

&

(



"

+



$

[

^

[

T



2

&

4

C

+

4

F

8



2.6.1 k

&

$

[

m

(

^

[

^

2

4

&

$

&





4

&

$

R

>



$

+



$

"



I

R

>

8

4

2

4

+

d

>

&

F

$

/

"



&

&

\

&

(



"

+



[

&

+

^

[

q

$

+



/

$



&



C

2

4

+

2

+

$

&

N

8

>

I

+

4

"



F

$

+





+



T

$

"



I

R

>

8

4

2

4

+

d

>

&

F

$

[

Description of test problems

&



+

C



&

$



C

R



(



"

+



$

8

$

d

&

&



2

4

+

2

+

$

&

N

d

@

v

+

4

&

w

&



8

>

[

z

} `

+

>



T

4



"



I

$

-

+

C

~

R



(

+



$



4

8

"



&

N

+

2



"

F

"



8



"

+



2

4

+

d

>

&

F

$

[

{

|

v

[





"

$

(

+

F

2

+

$

&

N

-

8

F

+



I

`

+

$



+

C



&

$

&

2

4

+

d

>

&

F

$

8

K

&

m

8





&

+

$





T

$

$

+

"



I



R

$

"

>



8

4

I

$

R

>

&

8

(

4

+

2



4

N

+

N

d

>

&

&

4

"

F

K

$

8

-



"

/

K

&

&

$

R

F

$

8

&





4

"

&

j

8



&



(





&

"

„

>

R

+

&

(

2

8

4

>

+

F

2

"

+

$



"

&

F

N

R

d

F

[

@

\

ƒ

(

$



/

8

&

d

&

/

>

8

8







N



…

4

+

8

2



&

†

4

C

+

+

F

+

N

"

C

@



&

2

+ 4

d

>

&

F

$

+

C

v

+

4

&

w

&



8

>

[

z

} `

$

R

(

n





"

$



8





(



"

R



&

N

$

8

+

>

$

F

8

&

2

&





@

2

&

4

&

C

(

$

4

+

+

"



+

N

+

&

8

N



/

n−2 4

>

&

"

(

n−1 8



C

C



&

(

R

&

R

>

>

&

"

I

&



K

8

2 

4

>

F

+

&

d

&

}

>

8

+

+

"

2

$

>



(

4

&

+



8

K

d

2

>

$

>

4

F

F

&

"

4

8

d





F

+

"

8

>

&

F



F

R

"

|

~

j

8



N

(

4

&

8

$

8

4

8 

$

8

8

K

$

"

"



&

$

"



I

n−k †

1 ≤ k ≤ n N

F

8

R

>

8

4

+

2

N

+



2

8

&



F



$

&

/

"

4

+

d

>

&

F

$

(

+







I



8

8

\

"



"

F

"



8



"

$

(



&

(

8

"

+

d

&

$





N

>

&

T

8

8

+





N



4

N

"

N

&

&

F

&

4

N



+

>



&

$

4

/

"



"



I

8

$

"



I

R

>

8

4

"



@

+

+

"

(

+

K

8



8

F

+



"

K

z

C

>

C

&

N

"

{

F



+

2

4

+

d

}

|

>

&

F

$

R

&

F

[

F

k

$

8

&

$



"

4



F

/



"

I

R

j

>

+

$

8

&

8

4

C

K

"

4

&

4



&

8

@

[

d



&

†

&



`

&



$

"

+



z



8



"

$

+



&

`

(





"



$

} {

"

|

>

+

{

`

`

4

R

K

&

m



"



+



4

{

F

z `



4

8

N

"

>

F

F

&

"



$



"

"

+

F

R



F

d



&



/

&

&



8

{



N

-



`

`



2

4

+

d

>

&

F

$

/

"



8

N

"

F

&



$

"

n

+



m



R

‘

&

8

>

$

$

n = 10, 20, 40

&

+

N

(

8

4

4

"

&

N

+

R





&

$



8



n−2 †

2 

4

8

x∗

+



d

>

&

-



F

8

$

F

$

/

&

"

>

+

@



"

(

(

8



d

&

2

8

4

8

F

&



4

"



&

N

[







"

$

(

8

$

&

-

/

&

8

K

&

[



8

$

&



+

C

 m

4

/

&

$



C

R



(



"

+



$

/

+

$

&

$

&

(

+



N

N

&

4

"

K

8



"

K

&

$

F

8



4

"

j

8

$

|



N

"

F

&



$

"

+



d

&



/

&

&



8

{



N

-

m

`

`



2

4

+

d

>

&

F

$

/

"



8

N

"

F

&



$

"

+

n 

m



R

…

+

&

4



&

8

$

>

8

[

&

(

2

•

F

/

+

"

&



F

+

d

} {



&



"

4

z `

z

n = 10, 20, 40 N

F

-

/

&

(

(

8



d

&

2

8

4

8

F

&



4

"



&

N

[







"

$

(

8

$

&

-

/

&

8

K

&

[

8

K

&

R

$

&

N



&

$



8

4



"



I

2

+

"





I

"

K

&



"





&

+

4

"

I

"



8

>

2

8

2

&

4

+

C

v

+

4

&

w

[

8

&

F

&

"

`





R

|

>

/

@



8

8

N



/

"

>

>



N

"



(

&

+

$





&

8 N

8

C

I

8

"

"

>

K

>

I

&



+

4



+

"

2

(



F

4

+

+



$

d

K

>

&

8

&

4

F

I

&

K

"

}

&

(

$

[

+

$

v



"

K



+

I

R

4

&

&

4

>

+

I

8

&

4

K

[

&

N

4



-



+



"

&

$

$

$

+

8

>

F

R



&

"

+

$



+

>

(

R

+



4

"

4

+

&



$

C

2

+

+

4



8

N

>

$

>

q



^

+

2



4

+

&

d

>

>

+

&

F

(

$

8

>



À













































































|



H

1

1

!

#

J

1

%

U

'

G

I

2.6.2 Y

1

8

-

G

!

,

1

#

W

8

1

1

X

*

#

-

8

,

I

-

/

Q

1

-

3

J

5

L

!

1

,

8

G

!

:

,

%

*

#

8

:

1

W

*

>

1

*

#

1

8

!

A

C

D

8

1

#

8

G

,

!

H

I

1

'

#

-

J

5

:

-

L

:

8

:

1

#

J

N

%

I

*

,

-

8

Q

:

*

#

X

J

8

-

J

k

8

I

I

:

*

1

I

J

N

!

1

,

U

-

8

8

:

#

1

'

L

8

#

-

*

!

J

J

#

W

*

8

G

1

#

1

8

,

A

A

%

!

,

J

'

L

*

8

-

J

!

L

J

1

#

*

:

J

*

*

>

I

Q

1

#

H

-

1

#

!

1

A

J

8

-

:

'

1

G

>

I

1

*

,

'

-

1

*

J

J

8

8

1

#

G

W

,

5

1

-

#

8

1

J

:

8

8

1

:

W

-

1

J

G

f

*

L

1

q

L

*

g

N

1

i

>

q

L

X

h

L

-

*

Performance analysis

J

r

'

1

8

t

!

#

G

1

1

www.octave.org 1

|

%

-

G

G

1

W

5

-

8

:



€

!

,

v

*

8

!

J

3

C w

/



‚

ƒ

3

-

J

W

x

!

H

z

*

J

W

L

!

'

G

%

8

*

8

-

!

J

#

:

*

>

1

H

1

1

J

W

!

J

1

!

J

*

x

%

H

I

1

G

,

1

L

-

#

-

!

J

X

~



L

I

!



#

>

,

!

#

!

1

1

,

ˆ

I

!

1

!

%

-

3

,

J

I

Q

8

G

*

#

!

,

,

ˆ

'

1

-

!

J

A

!

,

*

I

I

*

I

N

!

,

-

∇f(xk) ≤ 10−6

A

1

8

#

,

W

-

-

-

1

#

#

, L

*

A

t

*

N

:

!

1

J

J

8

1

L

*

G

,

#

#

G

1

*

N

1

8

/

'

J

G

8

1

!

1

1

:

L

:

'

J

1

*

1

8

J

W

:

L

*

!

1

H

W

-

!

G

#

>

,

8

1

!

:

z

G

1

X

!

J

%

Y

#

1

W

'

*

#

J

-

W

#

*

'

*

L

U

-

!

'

'

G

%

!

'

#

J

-

8

%

J

W

p

1

3

U

8

t

:

1

8

:

J

1

8

J

:

%

1

'



H





1



,



!



A



A



%

J





L

8



-



!

J



#

1

%

>



*

1

,

,

1

Q

-

I

!

G

Œ

#

%

*

W

1

8

A

,

!

-

ˆ

I

-

1

*

#

8

1

1

,

J

J

!

J

J

1

#

*

8

*

3

W

A

*

H

I

1

N

#

!

8

,

,

-

-

8

L

:

8

a '

I

Q

I

*

,

:

N

*

1

#

,

L

8

!

:

J

*

>

1

J

,

*

N

J

1

W

Q

A

G

1

!

,

,

A

G

!

,

,

!

'

H

*

I

J

1

L

!

H

8

-

J

-

J

!

J

N

W

#

8

Ž

,

'

-

p '

1

,

8

:

!

:

-

>

1

J

8

:

,

1

#

:

!

I

π W

3

8

:

1

!

>

1

,

*

I

I

G

1

,

A

!

,

:

5

1

:

-

a 8

-

,

L

-

,

J

1

!

H

#

8

#

*

#

Q

1

8

1

1

*

J

!

>

:

8

•

'

!

#

%

-

8

:

1

J

rp,a ≤ π :

5

'

np 1

#

*

#

1

*

X



I

!

8

L

8

W

,

8

A

L

I

%

8

N

L

*

I

8

:

>

W

H

3

8

I

1

:

'

*

#

1

'

1

'

>

#

#

L

*

J

X



*

!

I

*

L

G

,

J

%

8

-

1

#

*

J

!

,



1

8

,



!

1

!

-

>

H

W

I

*

A

!

5

A

!

-

8

L

1

,

!

*

J

8

W

-

-

!

8

J

-

!

#

J

ˆ

#

U

†

1

N

,

W

8

*

W

-

1

1

1

#



%

I

‚

8

#

t

A

z

ƒ

‰

8

‰

-

ƒ

8

!

X

I



I

!

1

z

!

'

1

5

-

J

J

A

*

I

N

!

1

L

N

fp,a A

h

'

-

-

8

,

#

-

#

:

8

8

1

*

1

:

:

#

,

G

1

G

A

,

!

!

!

A

!

‰

,

,

8

L

!

:

J

*

,

‰

*

*

'

G

‰

1

'

,

J

J

X

8

,

1

a '

Q

1

1

!

L

J

H

1

L

I

X

*

z

,

%

1

N

W

1

1

'

-

,

*

L

-

J

>

8

!

:

,

,

1

!

&

(

#

*

8

:

1

,

5

-

#

1

3

5

:

1

,

r 1

,

G

a '

!

-

J

#

W

N

J

W

1

3

#

L

z

-

J

N

8

!

*

#

%

L

L

1

#

#

w

'

&

(

X

*

~

%

#

8

,

’

!

,

*

-

>

1

J

H

J

Q

Q

8

!

t

:

1

5

J

G

-

#

1

X

“

h

Φa(π) W

ρa(π)

*

X h

~

!

3

N

1

'

w

I

t

1 Φa(π) np

1

I

‚

:

rp,a = r W

t

ρa(1) 1

:

,

8

8

,

!

G

#

!

8

,

:

8

%

1

J

8

I

Q

1

-

3

J

!

π≥r :

|

-

J

%

!

(

*

G

H

A

N

&

'

8

-

-

>

1

,

'

1

!

1

#

A

#

8

G

:

8

,

:

1

*

!

H

8

G

,

I

*

!

I

G

1

'

N

#

!

!

,

,

8

-

-

z

w

A

8

!

!

:

,

'

J

!

A

,

,

!

>

-

W

1

#

*

'

1

*

#

%

,

1

!

A

8

:

1

X

ρa(1) A

#

!

,

-

!

!

,

*

,

#

!

1

I

!

:

'

G

%

a 1

:

-

*

'

#

!

8

'

1

J

,

,

:

:

:

-

1

8

1

*

:

-

*

H

G

8

,

1

'

J

!

N

A

:

1

I

I

!

8

L

*

8

1

U

,

%

1

A

fp,a , b{fp,b} J

3

ρa(π) = 5

!

H

,

1

!

1

h

N

J

Q

rp,a = -

!

'

h

-

-

w

H

*

H

:

3

'

1

8

1

8

:

*

8

#

>

*

!

I

'

%

1

1

#

*

A

I

N

!

!

,

,

*

-

8

I

:

I

*

'

I

#

N

!

G

,

1

-

,

8

A

:

!

'

,

a #

'

1

U

L

*

L

!

J

8

I

#

-

Q

W

8

1

:

,

1

1

W

#

-

*

J

'

*

1

N

!

-

J

>

#

1

!

J

G

'

1

,

!

!

ˆ

A

I

8

1

:

1

w

8

1

#

8

1

W

G

,

2.6.3 Y

1

ˆ

!

H

I

1

'

#

X

,

TR and filter methods #

8

L

!

'

G

*

,

1

>

*

,

-

*

J

8

#

k

8

!

Œ

X

’

-

N

%

,

1

X

,

h

G

,

8

L

:

!

*

*

>

J

-

8

W

8

8

I

Q

1

:

#

!

1

*

%

8

/

8

5

!

G

!

!

1

H

'

,

A

1

!

!

,

#

'

8

π J

*

8

I

N

:

!

H

8

5

1

1

J

*

J

W

X

w

,

1

1

L

-

8

I

:

*

'

#

#

#

-

L

*

*

I

,

1

J

G

,

1

#

1

J

8

#

8

:

1

A

%

I

I

G

,

!

ˆ

I

1

5

:

-

I

1

’

-

N

%

,

1

X



h

J

8

1

,

'

#

!

A

J

%

'

H

1

,

!

A

-

8

1

,

*

8

-

!

J

#

3

5

1

L

*

J

h

#

1

1

~

8

!

1

w

:

1

1

#

H

J

!

1

8

5

:

>

-

*

J

,

1

-

*



J

L

8

#

-

›

1

J

*

L

Q

J

*

W

J

Œ

W

X

,



!

H

:

%

1

#

#

8

1

J

J

1

1

#

#

5

X

*

•

I

!

N

8

!

1

,

-

*

8

I

:

#

'

!

#

8

#

:

*

-

N

8

J

8

-

:

ˆ

1

g















































 









"



$

%

'

)

$

+

"

,

-

/

%

$

+

%



"

5

7

)

9

"




)

$

-

B

"

,









"

$

9

B

"

F

$



'

+

)



/

%

0

O

+

-

+

%

$

R

S

"

,



B

"

%



V

%

$

+

%



"

K

7

%

'

)

$

+

"

,

N -

0

$

V



"



$

-



"

,

)

V

/

%

$

+

%



"

X

7

B

,

)



B

%

[



"

"



$



]

^

+





^

R

"

,

%



"

,



[

%

B

+

^

0

"

$

9

B

"

F

$



'

+

)



-



"

,

)

V

/

%

$

+

%



"

a

7

S

^

)



B

+

B

"





"

R



+

"

,

"

,







V

+



'

B

)

>

d

)

9

V



"

%

N

/

h

0

i

"

)

"

)



B

%

)

B

k

)

"



,

%

%



"



h

"






5

&

$

?

5



/

3

C

>

/

$

?

+

$



?

3

5

C

I

E

J

Ap J

L

J

Cp

1

0.8

Probability ( r



0

&




8

K

4

9

N

P

.

9

9

.

9

S

8



9

"

U

4

$

2

$

.

V

U

&

0

8

G

1

Probability ( r



.

9

8




8

-

4

9

N

c

.

9

9

.

9

S

8



9

"

U

4

$























































































1

Probability ( r

Chapter 3

Nonlinear global optimization Contents 3.1

Introduction

3.2

Motivation and literature review . . . . . . . . . . . . . . . . . . 40

3.3

Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 





























!

























!

!











0









(

!



*

0



























,



!







!









0

































0









































































































Numerical experiments . . . . . . . . . . . . . . . . . . . . . . . . 50 











3.5







3.4



. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40













E



(







!







,











































,






J

R

,

U

,

M

*

,

?

*

1

@

-

,

/

*

,

/

*

-

*

E

G

,

J

y+1 = y 1

*

,

&

X

>

E

(

*

*

/

,

@

M

M

*

@

-

E

/

&

"

&

,

/

E

E

_

(

/

J

J

J

,

1

*

@

"

,

&

J

M

*

"

R

E

"

b

R

,

*

@

1

E

-

*

/

-

M

M

,

&

*

?

N

!

$

-

,

*

,

/

*

-

*

E

G

,

J

*

,

&

E

J

-

M

*

@

,

"

M

,

,

M

/

-

"

/

/

,

1

J

*

&

*

,

1

@

€

,

"

R

*

d−1 = y − y−1 ,

,

*

@

-

H *

E

J

/




>

-

g

J

/

ƒ

@

,

?

 

-

M

/

,

>

*

@

,

>

1

"

/

,

J

,

E

R

"

1

1

,

4

/

,

1

?

-

/

1

N

,

1

,

4

/

6

8

;

7

y+1 = x + s ,

P

"

*

@

,

R

9

N

E

J

,

E

*

E

-

,

1

_

g

,

(

J

R

8

E

*

E

*

"

/

-

J

6

(

J

s

E

,

-

? s

b

M

J

@

-

E

>

E

>

*

ρ ∈ [0.1, 0.9), ρ ∈ [0, 0.1).

N

&

,

,

&

M

E

8

/

-

*

g

u

s

/

,

M

;

@

-

,

-

J

$

,

"

8




"

R

$

(

g

-

N

@

,

/

9

(g−1 − H−1d−1)(g−1 − H−1d−1)T (g−1 − H−1d−1)T d−1

g−1 = ∇f(y) − ∇f(y−1) 1

J

-

>

ρ ≥ 0.9,

E

R

E

g

w

&

"

J

E

*

E

G

,

1

,

4

/

E

*

,

N

@

,

/

6

8

;

7

9



8

(

J

E

/

v

X

z

8

*

@

g

v

"

,

R

E

$

,

1

>

*

-

@

\

$

E

E

$

(

J

E

$

/

*

/

,

(

R

R

$

(

b

&

*

,

,

R

1

"

E

>

/

E

-

*

,

/

R

w

-

*

"

E

"

/

/

,

"

J

E

>

J

*

R

@

,

,

-

b

M

@

,

,

g

1

"

N

8

M

X

,

-

J

*

,

X

J

8

Š

!

!

‹

X

= X



y∗ = y ?

,

-

-

/

1

X

ƒ

∇f(y) ≤ 10−6




,

R

-

b

g

,

*

"

r



&

R

X

,

3.3.2 ’

*

y

"

@

/

,

,

g

g

w

w

E

M

>

ƒ

-

Œ

*



(

R

,

g

w

E

/

*

,

R

R

(

&

*

*

@

,

E

*

,

R

-

*

E

"

/

J

8

‘

,

J

,

*

X

Š

!

!

‹

X

= X

>

-

g

J

,

y∗ = y ?

-

/

1

8

Identification of unpromising convergence >

"

$

,

-

-

*

g

*

@

J

(

,

,

R

J

-

,

,

R

"

*

M

@

>

"

E

L

*

(

E

,

/

R

R

-

-

*

&

6

E

&

"

7

8

/

R

-

J

; r

"

E

E

J

M

>

@

/

*

E

"

@

*

,

J

*

w

"

,

1

J

$

&

"

-

*

/

G

,

w

"

8

*

g

M

"

"

"

$

y

&

&

(

R

*

"

-

$

*

E

E

"

J

/

E

-

/

v

g

8

*

E

€

$

"

,

*

b

,

w

*

&

@

-

R

*

,

*

$

@

-

,

J

*

,

(

R

*

,

,

g

J

w

*

E

J

/

-

*

R

,

,

R

R

-

(

&

&

&

*

g

E

E

/

,

v

1























 











0



B

4

A

R



B



Z

[





.

[



A

A

&

.

[

4





B



)

"

0

,







Z

A

.

"

.



4

.

R



)

"









)





4



R



)



.





&





-

4



.

i

.





,









"

0

4



.







4

"

,

L 



A

4

6





A





4

A

d

0



&

0





)

M

0

.



.











&

.

"

"

r

R

6



Z





.





i

"



0



"



Z

4

0





0





.





)

.

6

N

Z

0

4



4



.



A

)

8

A

R



)



.

"





;



4

[

[

$

A



4

&

.



.

B



R







0

4



"



"

4

"









.

4

B











"

,



4



.



N

R









A

&

M

.

0





-

4





"



.







4





.



4





Z





-

"





0

[









&



0

,



0

"



0





f [







4





4





.

Z

4

A

4

R





"

6



y





0



4



0

4



[



B

&

0

.

-

"









6

A

A

.





Z

4



.



0

R

-







B

B



Z



0







0

4

6

.

Z



T









[







)

R





R







)

)

0





.

.



4

A

$



B

&



.



.



.





)

"

[







0

0

4





0

,

)

[





;









-

]

0



$



4



4

.

-

B

"



"







,





u



,

A

R





i









4



.

0



Z

A



≥ 3





L 

4

R

0







"

,

i 

t



[

B





R

.





4

0

4

)







4



.

.

"

.





)



0



.



Z



"





)



4

A

i

"

.



"

4

4



)

)

)

0



.

i













4



.





"

.

[

4



M









[



0



6



.

$

&

0





f 

.

"



0



Z

4

A

R





[



0





-

]



)



.

Z









$



4

B





f(y) − f 

0

4





0



"

R

≥3





o

)



.









6

d





0

R

.

)

"



l

.





,



.

)



]





m



A

.

.



;

.





)





$



-



4

.

"





.











i





"











4

-



Z



0

4

Z



-









,

i

.



.

)

4

A

A

M

"



A



)







-

4

"





6

"

0

B



4



r

R

.

|











,





.















4

}





4

[







4



4

4

A

f [

,

0







0



.



A

.

,



M

4

|

.

"

"



B

i

"



x



.

.





R

.

)

4

A









k>1 [





$

d

4





"





)





R





r

6

u

u





0





.

B





"

d

0



;



M

.





4

.

"





4



4

A

M

|











)



"

4

.





)





.

,





0



4

&

-

0

4





i "









[

}







R

)



R







H [

$



0



4

i

i





}

.

,

4



.

.

B



4

"





Z

4





)







4





"



H [

QR 

i

$

4







λ1, . . . , λn 

)





R





r

"





$

[





0





)

.





"







4





"

)

i











0





$







‚

"





.

$

B





"

.

0

0



)

-



6





.





0

w1, . . . , w2n 







.

"





N

dk = γdk−1 

d



0

p 





.

B

0

-









6



B



0

"





&

4

y

"

$





4

0





4

4

[

Z



R







wi = vi 

4



)





-

.



M



i







0





.

.

k [

d 

"

i

i≤n [





4





"



)



[



$

4

A

A





[

.





A

B

R

-

&

"

=1 



R





4

wi = −vi 

4



6







.



‘



0

)



4

4





.







A



B















"









[

,

A

"



,

A

M





4

&



R

"

.



B

4

R

[



0





B

0

.







0





-

.



B

2n 

B



-









0

,



)





i

0



4









"

"



.



.



4







"

)

4





-

B

)







i

Z



6



M

i

6

„

s

.

[





,



.

"





.

-

R



.





-





&







6



u

t

‰

4





Š

6

.

A









r





4





A



R



4

)











"

0





"

6

4



y

.



"

6

"

)



4



"

"



.

$

,



A



,



0

)















4

.



4

4







)



A

)

,

M















.

"





B

"









[

0



4

4

α

"





i

$

γ = 1.5 



k=1 [

‡



4

"

.





"





6



B

[

6

s

6



R

B

4

0

i



6



R

,

j = 1, . . . , p α 





0

,

zj = x + αdkwi &











"











„

4

d

0

Z

$

"

dk = d 



.



.

)

t









ƒ



x 

v1, . . . , vn 4

v

,

)

4



$

f(y) − f 







y − x ≤ 1 





0























)





R



;

R



)

)

,

]

N



Generating neighborhoods



Z

.

-

.

0





s

)

)

,

0

"



6

0

R

3.3.3 

u





t



4

i



s

v

i







$

.

6

$











M

&

"





A



A

.



.

$

)

,



)







-

"







4



f(y) > f(y−1) + 0.3∇f(y−1)T s−1

y





[



∇f(y) ≤ 10−3





"





∃x ∈ L



"

0

.























.





h

A



4

)



)

4











R







0

Œ

R

4





)



"

.



)

4

)



4

,

A



A

M









































































"

Q

K

8

I




@

3

9

:

(



3

&

W

"

&

H





@

9

:



"

$

&

(

9





(

"

0

:



;

0

>

9

@

V





3

(

5

5

+

S

S

R



(

*

3

9

5

9

:

(

&



-

(

5

9

"

O

(



"

H

(

3

E



$

(





R

R

E

3

0

9

@



3

(

O

"

&

E

"

9

@



3

5

;





@

9

W



R

9

:

(

9

(

5

9

(

^

V





$

&

(



5

*

y

3

(

0

"

3

"

&

5



5

(

(

9

:

"

9

9

:

(

(

}

0

@

(

3

0

W



R




;



3

9

~

:

5



(

@

^

H



5

3

R

@

@

(

"

$

(

0

"

&

‰

3



‡

O

(

3

3

E

@

&

9



0

j



n

^



3

(

0

5

-

Rn €

3

W

@

3



5

9

"

(



(

R

(

"

5

3

9

5

f R



"

^

:

‚

(

V

"



j



:

$

&

"

(





O



Zn €

@

3

0



(

"



R

5

(

E

3

5

0

R



9

@





3

5

@



5

9

$

(

(

(



3

€

3

E

V

V

9

9

9



:





(

$

&

"

V

(

(

R





"



9





R10 5

R

0





"

3



"

0

0

3



V

"

Z10 ^

(



V





‡

&



(

9





* +

^

0



Y





V







5

@

„

3

H

3

$

V

"

(



9

9

@

9

0

E



E

9



R

9

:

(

V Y

V





O

@

^

(

^

@





$

&

(



O

"

&

E

"

9

@



3

3



5

@

3

!

@

H

E



(

*

 S

R

"

R

9

:

€

(

R





&

(

*

V





*



!

!

:



$

&

(

"



(



(

"

5

@

3

(

5



E



R

"

&



&

(



R

@

V

(



^

$

,




@

(



5

-

"

:

$

&

(

(

3

9



;

( 

:

H

E



(



(

9

:



^

5



9

(

E



@

5

9

@

0

5



:

(

3

"

0



R





+

*

*

)



"

3

O

(



"

H

(

3

E



$

(



*

Y

$

&

(

*



5

*

–

*











@

H

E



(

*

Y







,

)

(



O

(



,

-

:

(

3




R

+

)

P

)

2

'

4

'

E

)

,

=

5

0

+

%

'

E

I

N

+

0

I

5

)

'

'

%

2

5

4

'

G

:

w

)

a

%

2

,

5

%

P

)

2

P

,

%

>

5

G

2

4

%

%

2

8

:

5

,

%

2

2

'

N

%

0

+

I

R

I

+

,

'

0

%

0

P

)

I

2

)

0

2

2

'

'

:

E

,

)

2

:

K

G

)

+

P

,

,

'

:

G

E

%

+

)

) P

)

0

a

Q

f N

,

2

a

5

%

P

)

4

'

E

)

R

0

4

4

%

K

%

=

%

'

>

'

0



G

I

R

X

1

0.8

0.6

0.4

0.2

VNS VNS_b 0 1

1.1

1.2

1.3

1.4

1.5

1.6

1.7

1.8

Pi



0

=

=

)

>

Q

h

2

4

'

,

X h

)

N

a

Probability ( r ?





4.1 

3

3

&

/

1

7

,

3

H

>

&

-

;

1

>

3

>

7

3

L

6

)

6

)

,

&

"

$

)

1

7

&

1

3

&

,

&

7

Q

>

?

S

)

3

>

?

,

H

$

L





$

)

3

1

&

,





H

&

3

-

7

M

)

,

?



)

3









&

3

e

1

,

>

7

M



H

&

&

q

?

H



3

-



&

1

3

1



>











)

1

1

3

,



>

1

3

3



&



,

~

$

3

,







$

)

e

Q

H

e

>



,

-

&

3

3









&

>

3

6

)

M

T

?

$

>

&

H



,

v

3

^

1

1

Q

>

$

,

)

-

$

&

)

S

S



$

Q

)

?

-

-

?

H

"

"

&

-

7

$

)

;

Q

&

,

7

L

;

&

>

e

3

,

,

&

1

D

1

$

-

3

H

)

"

3

^

,

&

"

)

L

H

"

,

)

"

&

&

$

-

&

"

$

L

&

"

$

L

)

;

,

1

K

)

&

)

M

"

-

$

1

-

3

1

;

-

&

1

,

$

3



,

1

)

7

>

"

^

L

T

7

;

&

S

H

1

-

>

)

,

1

&

"

3

-

?

-

3

1

1

&

1

H

&

^

7

)

L

S

3

H

$

7

&

1

-

&

>

,

3

/

;

,

-

1

$

$

q

;

3

?

,

H

,

>

)

)

?

L

^

-

,

3

6

1

e

S

M

&

^

&

&

\



1

$

K

)

3

T

L

$

?

H

H

"

,

,

&

?

"

$

-

>

M

;

1

S

&

;

3

>

&

&

)

H

1

^

3

-

-

1

1

,

3

,

7

&

;

1

\

,

-

1

$

1

D

7

&

"

e

1

)

H

1

)

;

&

{

,

3

-

-

;

,

3

3

H

"

-

)

,

>

&

-

;

7

,

1

3

1

)

7

$

w

)

H

6

"

)

D

&

&

,

e

,

1

T

)

7

D

?

H

$

>

1

&

;

&

)

&

^

}

1

1

3

1

T

-

H

>

>

6

7

\

1

,

,

3

-

)

H

&

e

>

>

3

^

$

;

M

)

>

1

?

7

"

)

&

&

"

H

-

>

1

o

&

,

?

D

,

,

>

1

H

T

1

)

,

7

,

^

&

3

)

3

H

;

$

$

$

L

1

,

,

;

-

$

L

v

-

-

1

;

$

,

-

K

L

3

;

7

)

&

)

7

&

1

6

,

)

V

-

L

6

T

1

-

6

"

)

>

K

-

&

,

,

1

L

-

1

1

&

&

H

?

)

1

3

,

6

"

^

&

$

&

e

)

,

L

v

$

1

H

&

-

$

-

-

L

$

D

H

Q

&

S

T

)

>

Q

1

)

&

$

&

?

$

$

3

)

6

&

o

^

L

&

>

)

3

6

,

e

e

)

1

1

)

$

,

;

&

L

&

-

,

L

$

3

3

/

&

-

1

L

-

3

&

?

,

-

"

7

K

?

S

1

1

,

^

,

e

,

-

)

7

)

$

\

H

&

3

1

3

-

&

"

?

H

&

)

"

6

)

"

,

&

&

L

7

$

-

)



Introduction

"

1



7

>

>

,

,

)

"

1

$

e

3

-

,

)

;

7

,

7

3

"

-

H

1

D

7

?

6

&

&

-

$

)

"

1

3

L

1

e

L

H

1

3

7

?

,

6

1

3

&

$

&

;

-

3

3

-

?

,





)



"





$



)



-

1



?





3



-



„



3

%



$

'

H

,

)

3

$



1







-

,

/

H



T



…



1

&

%

,

2

"

"



,





$



5

†

6

T

4

o

>

3

?

…

,

† Œ

)



>



&

T

)

&

o

6

1

>

H

3

>

}

-

)

ˆ

,

‰

$

7

,

>

Q

H

{

H

M

&

1

$

3

$

1

,

>

;

"

>

"

$

&

,

,

7

)

e

>

-

"

$

&

)

-

$

3

1

M

3

?

-

3

,

H

-

H

D

"

ˆ

7

1

$

3

&

&

"

-

&

)



T

?



e

T

,

Ž

D

„

-

?

3

1

$

H

>

,

,

3

)

$

)

,

&

7

-

3

,

?

V

1

$

?

3

$

1

)

1

3

L

-

H

1

)

Œ

^

-

3

-

ˆ

7

1

3

&

-



T

,

$

L

-

"

L

e

H

3

)

>

?

T



4.2 

Problem formulation

7

K

L

,

&

-

1

3

)

&

3

-

?

$

1

>

)

1

,

-

?

,

$

?

"

$

&

e

H

;

&

6

3

?

-

1

3

6

D

3

-

M

1

>

)

&

H

L

1

3

&

-

&

6

,

)

D

)

1

;

&

6

-

&

-

H

3

-

>

,

1

3

-

$

;

1

1

)

3

-

&

6

1

&

;

&

;

&

H

?

7

&

L

\

-

,

S

1

)

$

&

3

-

;

F

,

{

-

,

3

-

1

1

1

>

)

-

D

L

)

L

7

;

L

3

&

3

1

3

&

)

6

3

H

S

"

&

3

3

-

3

1

)

,

$

,

;

„

-

1

1

&

3

,

T

1

 

?

H

H

1

6

)

,

S

-

$

3

6

,

H

7

3

H

L

D

;

1

;

e

)

&

7

H

-

-

3

/

1

›

1

-

K

,

&

7

1

L

^

,

1

&

e

L

-

>

1

?

,

&

3

)

1

T

)

e

q Q

L

)

†

>

e

H

1

1

?

"

$

H

"

&

$

-

3

H

,

3

,

&

H

?

)

)

-

3

H

7

L

H

-

1

&

?

>

3

?

H

>

>

1

S

)

$

,

7

3

L

M

3

$

&

;

L

7

,

1

$

$

$

)

)

3

&

)

-

-

-

?

3

)

>

&

,

,

>

1

&

1

,

-

$

$

,

$

,

$

1

T

;

,

3

T

)

7

$

n

&

™

>

3

&

1

&

3

$

>

-

$

;

,

1

1

3

H

S

3

1

D

)

3

H

†

1

H

-

D

>

,

e

D

F

;

$

&

;

-

/

$

-

›

,

1

)

>

3

,

-

"

)

3

,

?

H

L

,

&

H

o

e

7

>

?

6

&

)

,

1

)

)

1

&

$

>

-

,

7

3

;

Q

;

>

)

-

›

,

1

1

&

3

&

\

1

3

1



1

\

3

/

S

;

?

$

-

-

?

&

>

,

1

q

,

3

L

-

$

?

H

-

&

^

"

1

1

v

"

?

,

,

6

,

&

^

?

&

>

,

D

-

&

>

S

,

v

>

H

&

-

H

>

7

1

)

D

7

,

3

7

)

>

1

)

1

L

-

?

;

S

,

S

)

3

3

1

>



–

;

^

™

>

3

7

)

>

)

)

)

3

\

…

ˆ

>

-

7

T

™

o

&

3

-

-

H

1

>

&

&

?

-

T

3

T

&

^

1

1

7

"

1

7

^

6

-

-

3

v

/

&

1

;

H

)

$

7

&

3

-

^

$

&

-

;

,

L

v

,

)

1

6

T

$

-

&

,

e

-

,

&

1

H

-

3

"

L

&

3

M

)

K

-

)

)

-

S

7

$

,

-

,

1

7

e

,

>

,

3

-

3

e

"

H

$

,

-

,

,

3

3

&

3

1

?

D

$

1

-

)

1

e

-

1

>

>

&

1

e

o

7

$

L

F

1

—

,

?

T

,

3

6

-

…

>

&

&

/

K

^

&

-

1



1

1

3

?

1

,

,

>

\

,

-

1

3

1

7

7

7

$

-

)

?

$

1

3

L

q

-

,

&

-

D

1

1

?

M

-

3

-

)

3

-

1

&

L

1

>

>

7

,



H

6

-

-

;

,

$

$

3

,

-

,

$

e

-

)

,

-

L

T

L

D

3

?

H

o

6

H

,

?

6

-

$

&

H

7

M

?

S

>

>

&

-

-

>

1

F : Rn → Rn $

$

)

F(x) = 0 ^

,

o

)

1

)

7

>

1

>

$

$

3

)

7

1

1

6

&

H

>

D

-

$

M

\

$

&

,

,

7

-

1

H

$

3

>

-

1

,

)

>

7

,

,

$

-

-

1

;

–

1

>

& ?

?

$

3

S

)

,

)

"

7

3

{

7

L

"

?

,

1

6

&

$

;

L

H

,

^

>

3

7

>

,

$

e

3

1

$

,

$

3

H

D

"

3

7

›

)

&

-

H

3

-

,

$

;

&

?

H

,

;

&

-

M













































 











#



8



U

B

%

6

1

-





+

#



1

#

8



U

6

q

*







+

-

%

%

-



-

^



^

(



B

B



1

C

+

+

*

*

1



6



8

%



Y

C



K

#

(

6

-

%

%

%

Q

#



1

1



6

%







%

1

-

6



B

1

-

1

S

M

1

1





6

%

6

-

C



C

+

%

1

#

1

(

6



(









6

1

*



-



#

-

1

+

%

*







U

-

-



1

1

*

%

*





-

#

-

:

*

(

#

8

C

6

#

C #

6



*

6

1

8

C

*

+



#

t

%

Q





%

(

#

-

B

u

+

+





C

(

=



#

%



*

1

#

%

q

6

%

*

 





v

#



0

+





K



-



y

*

(



#

Q



p

-

6

*

B

1

-

-

-

(

%

p

1

#

%

6

1

M

B

=

-





#

1









#

!

K

%

%





^

*

1

#

B

%

+

(

*

Q



6



%



-

-

*



%



-







%

1

#



1

0

(



6

-

8

6

6

%

6

1

0

#

1

^

*

*

0

+

1



u

#

#

+





1

+

-

=



8

j

-



(







#

+

-



p



B

(





%

Q











K

-









*







-

%

^

#

-



^

B





%

Q

-

%



8

#

*

#

B

+









#

8

t

u



(



1

#

*

v





y

w

-

+





-



8

-

^

6

*

%



*



8







-

*





8



%

K

#

%

6

Y

Q

-



6

-

E





#

%

8



C



0





+

*

8

-





#

#

-

0

-







#

8



+

*

C

S

+

-

1

p

B

%





*



%





-



*

*

6

#

0

(

1

+

8

-

(

6

Q



*

0

-

6

K

-

B

%

%

-



%



(

6

(



K

-

E

^

#

=

%









#



+

-

%

K

1

6

#



-



6



%

6

+

*

^

B

1

#

1







-

%

6

*

0

8



%

6





1





(

%

:



+

-

8

8

K



B



-



#

a

6

^



#

6



#

+



-

-







%

C

6

-



8





%

%

C

(

(

Q

#

-

1





-





6

6

%

6

+

(

%

1

*







+

U



-

(

C

B

K

%



j



%

+



#



-

-



%





!

*

1





^

:

0

P

8



#



1



#







%





1

Q

*

K

S

1

#

(

#

#



+

*

1

Y

-

-

8









+

+

+



+

S

%

-

^

*





1





C



*



B

C

#



%



%

%

%

1

1

*





%





K

(



#

M

Y

(

-

*





+

B

+

8



(





*



1



1

B

#







%

1



1



S

1

#

6

C



#

*

#



C



-

+



(

1

K

C



8











(

^

%



a





#

6

#

(

%

#

*





*

0

m



1

E

B

1



#

*







#



K

0

1



6

*

*



!



6

1

#



#

-







+

(

%

%

0

*







*

Q

v

j

+

B





Q



(

Y

1



-

v

#

*

1

+

1





-



%

(

^

-

C

-

6

B



%









-



6

#



%

1

a

+



(

%

#

*

#



*



*





6

S

-





*



+



!

1

0



K



%



-

*



+



(



^

#

+





-

+

(

-

S



-

*



1

8

C



*

1

8

0



^

S

#

+

+

%

x



#

-

+

-

6

*









+



B

-

8

Q

6





K





…

*





0

1

 

S



%

4.3 B

-

(

#

#

%





#



^

(



#

S

*

-

(

6

6

B

B

-

%

1



#

1

*

*

F 0

%

1

*

1

%

u





(

1



0

1



#

1

*

*

(

v



#





-

C

*

-

8

+

%

1

#

%

#

*



K



C

1





+



%



C





(





*

1

S

B







%

1

+

*

1

(

u

-



6

(

-



1

6

#

0



*

Q

+

v



-

ˆ

#

S



+





-

8





Quasi-Newton methods

%

1

=





K



#

*









#

8

%

(

#

*

%

1

8



+

-





-

(



1





+

-



1

#

*







6

1

*



-

+



#

8



6

‰

Lk(x; Bk) = F(xk) + Bk(x − xk) K





1



(





p

6

B

-

-

1

%

*

1

C



=

C

-



+

+



#

%

K

j

a



1

%

#





-







1

*







Lk(x; Bk) = 0 

*

F(x) %









#

8

%

(

-

*

Q



*





‹

%

1

0

#

B



*



Q

%

1

#



%

-

+



+





1

#

*

M



#



6

8

a

#

8

K

-

1

%

xk ^







-







*

#



#

%

8

8

(



#

%





-

%

C





B





C

8



#

B

xk+1 %

Q

*

6

1



(



-





^

1

#

#

-

6

%

*

6

-

#

%

%

#

K

1

#

*

*

6



0

B



1



1





1

%

#

#

6

6

#

K



8

Q

*

-



*

+

-

(i, j) a

6

a

%

1

%

#

4.3.1 ”

+

#



a

8





(

#

∇F(xk)T

J(xk) = 

a

1

Y

C



B







K



#

*





∂Fi/∂xj %

^



-

-







-

1

#

…

(

*



#

#

Q

+

1



-

^

Bk+1 ^



*

#

+



!

F ^







+







S

-



-

8



6

C

B

+

B

-





+







#

8



-

‘



*

K



#

xk 

*

1

%

-



+

-

#







%



-

8





u

1

(





#



%

8

-

%

#

8

p

B

-

%

1

=





K



#

*









#

8

%

Q



n×n -

*

1

Q



6

t “

-

1



 ’

*

1

*



6

1



*



-

y

^



#

(

*

Y

v

%

Œ



y

#

8

+

1

K

+

1

j

-

%

*



B

Bk = 



(

j









*



%

-

1

S





“



*

t



y

“

C

+

#

C

#

%



%

-

p

B

-

%

1

=





K



#

*









#

8

Q

-

%



8

#

*



























"



-

+



$



Y

1



C

#

%

1

*

0







1

Secant methods ’



C

^

w



*

y

#

t

*

Y



*

xk+1 = xk − B−1 k F(xk), ^

v

x

#

^

Q

t

#

8



6

Lk+1 

#



j

-

(



6

a



-



(









*

#

*

6

1

*



-

+

^

B

*

(



1

#

*



-



1





+

-





%

xk -

*

8

xk+1 Y







À







!































































#

Lk+1(xk; Bk+1)

= F(xk), $

&

'

&

*

Lk+1(xk+1, Bk+1) = F(xk+1). +

-

=

.

.





1





!

3



5

!



5

6





8

3



I

8



#

#

#

8

!



3

;



=

I

8

#

8

>

3

-





5





!

8

=

5

>

#

-







5

!

=

A

A

5

8

C

5

!

5

yk = F(xk+1) − F(xk) 6



5

sk = xk+1 − xk A

I

8



1

I

R

Bk+1 3





5

S

#

!



T





!



#

T

8

R

A

!

!

5

V

8

6

$

5

&

#

'

!

=

*

n 5

'

`

!

#

#



1

!

3



I

R

6

1

8





8

1







5

$



'

*

S





8

1

8

!

#



5

!

5

C

5

!



8

5

-

V

.

8

1

=

T

V





1

!

3

8

#

Z

5



1

.

!



1



1

R

A

8

3

!

#

!

=

5

V

-

#



3

=

5

#

8

>

-

8

5



I

R

.

8

V



A

8

'

e



8

g

I

8



#



i

O

6

8

&

O

8

#

8

3



5



-

k

A





8

l

#



1





8

6

R

S

k

1

=

k

= #

8

A

.

R

p

1

=

R

A

8

5

$

t Z



8

N

Bk+1sk = yk. P

;

V





1

!

3

8

#

v

8

1

!

T

R

!

5

6

$

&

'

*





8

=

5

8

V

!

5

!

V

!

z

!

5

6

v



1

!





!

*

s

=

S

3

=

5

#

!

#



#

!

5

#

8

I

8

3



!

5

6



V

=

5

6

O

5

#

$

!

5

|

1

=

8 .

5

!

-

#

5

=

1

V

*

.

8



;

8

8

5

O



;

=

#

-

3

3

8

#

#

!

v

8

V





1

!

3

8

Bk #



5

Bk+1 A

'

}



I

8



A





8

3

=

#

#



8

5

V

#

!

s

#

s

k

$

8



1

p

#



8

8

A

S

1

A

=

A

R

!

;

#

;

A

S





8



1



I

8

'

#

8

!

S



R

T

=

=

1

T

!



5



#

8





5





I

8

s

-

8



8

I

V



*







'



A

1

1

6

!

Ž

!

8

i

8

#

1

3



8

1



8



Bk ‚





5

I

!



8

k

#

k



5

k

1

8

1

8

=

v

=

3

3

5

.

8





I

1



8

;

8

k

.

1

!



8

8

8

v

8

1

3

I

!





!

=

5

8

v

-



V

8

!

#





!

8



#

8

e







#

1

‘

“

A



!

3

5

=

!



8

#

I

!

3

A



#



8

!



A





-

8

=





.

!





8

=







.

z



A

=

i

!



”

5



=

1

1



5

1



A

8

!



1



A





1

v







R

5

5

8

8



8

T

.

!

8

.

=

A

I

I

8



I

8



v

8

-



#

>

-

V

k

#



8

#

‚



8

#

8

3

'

I

A



8

3







5

I

8

'

‚

…

!

3

!

C



T

=

5





5

8

=

8

8



#

8

I

3

#

I

8

A

5

R

=

1

=

1

k

=

V

.

1

8



-



!

1

3

5

!

I

I

.

V

I

=

6

>

8

8

R

8

3

•

8

!

•

#





I

=

!

*

6

3

k

S 

+

!

8

8

=

;

!

5

6

-

k

A





8

Ž

V

5

=

8

T

T

$



1





T

S



z



.



=



1

5

=

v

8

1

!

!



8

#









.

T

8

=

-

3



8

5

!

A

!



5

8



1

T

=

1

V

-

I



I

8

-



3

R

S

5

I

8

#

!

=

i

1

5

!

!

V



…

#

!



8

8

A



8

8

A

A

;

=

8

i

$



1

#



V

8

5

A

8

8

=

V

8

=



=

=

Š

V

V

1

v

8

=

!

R

V



A

A

#



1

Œ



R

8

i

#

T

#

-



!

8

5

6



A

=

6



5

#

!

k

8

1

‚

8



=

#

1

A

A

!

#

3

-

#

#

8

A

.

R

Ž

v

T

-

8

8

T



 8

I

!

5

8



1

V

=

A

I

8

!

z



‚



5

#

=

=

>

5

!

!

=

A

8

1

8

A

A

!

=



!



5

e

'

#



1

5

8



8

A





“

8



8

I

8

8

#

;

1

1

5





!

V

8

5

8

I

!



T

!

1

A

=

=

1

#





I

8

8

I



'

S



8

-

3



-

1



I

k

1

=

k

8

1



!

8

#

=

T





8

k

1

=

.

I



8

6





5

A

Œ



8

=

5

n+1 !



8

1

!



8

V

8

A

8

I

8

R



I

S



;

A



=

=

8

k

k

5

1



I

=

8

A

R



k

=

!

;

#

5



=

8

!







8

8

=

1

-

C



#



8

8

A I

8

#

'



V

˜

5

=

=

A

1

!

8

;



6

8

5



v

=



8

1

1

!

5

S

5



6

;

=



5

A

+

3



5



.

8

I

$

t



= 

8

5



1

-



!

I

5

R

V

8

8

A

8

V



1



1

8

!



=

=

k

3



k

8

I

5

I



A

k

A



1



=



5

.

v



I

8

S

8

V

.

l

8





V

8

*

#



R









g

š

8

1



5

.



8

k

#



œ

=

!

'

5



5

k



8

6



1







=

8

k

1



k

1

8

S

=





3

#

8

#



=

k

V

8

A



k

R

'

=

-

;

'

'

!



1

.

5

!

-







#



!

8



'

=

}

=

'

5

g

5

'

5

5

8

#







k

k



1



=







3





!

"

5







&



8

I

* (

!

k



8

1

1

=



k



-

=

#

1

8

8

'

A

`

.

C

R

1

¤

#

=



6

I

T

8

8

5

8

1



I

i

$

* s

O

s



=

#



s

F(x) 8

8

s

l

!



I

5

5

'



!



8



8

A

3

#

8

I

8

8

-

z



#

#

A

8

=

8

I

=

.

k





V

=

R

1

1

8





5



A

T

8

5



5

=

8

8

8

=

6

6

1



#

1

=

!

k

5

=

-

#







8

*

T

#



!





1



!

6

k

V

1

8

.

'

I

I

'

I

A



$

¥ Z

=

A



Z

5

5



v

*

–

#









8

t

5

8

8

'



3

1

&

'

=

=

3

1

-

V



8





=

#

1



8

8



R

V



5

6



8

#

8

5

6



8





!

;

#





8

.

8

1



I

=





V

1

1



#

#

V



T

-

‚



8

8

=

=

!

1

!

#

!

V

k

I

8

v

8

k

V



.

I

-

8

!

=

=

V







8

e

!

#

k



3

=

=

8

$

Z





s

8

S



A

&

1

3

8

5

S





=



Z

1

8

5

=

8



8





#



8

A

S Z

5



(yk − Bksk) sTk . sTksk

Bk+1 = Bk + `

#

!

5

#



8



s

*

'

e



8

!

A

8



!

#



=

!

V

k

=

#

8

8

‚



3



!

5



8

1

k

=

I





!

=

5

A

•

=

T

N 

Lk+1(xk+1−j; Bk+1) = F(xk+1−j),

j = 0, 1, . . . , n. $

&

'

¥

*



















"



#

%



&

(







*





+

(



-

























Bk+1sk−j = yk−j, 4

5

&









si = xk+1 − xi 

(

#

*



&



(

-

#

*

9



H



*



&

9

*



yi = F(xk+1) − F(xi) 9

*

j = 0, 1, . . . , n − 1,

+



+

5









M

#

D

+

D



M

&

C

+

(



;

-







*

&



(

i (

P

&

+

1

?



#

;

+

5



%

5





Yk+1 = (yk, yk−1, . . . , yk−n+1) 

"



+

#

*

T

Z



+



T

&

&

*

9

\

5



#

*

]



(

9

+

&

C

D

+

&



+



#





n

_

5

+

&



%

4

#

&







&

+

*

9

/

 _

;

&

C

+





#

1

t

&

+

1



1

*

3



H

D





&

+

H

#



D

D

;

&



C

+

&





P

-



C

+



5

*



%

9





4

3

V

1

1

1

/

D



"

&

D

;

-

#

*

T

/

0

1

3



4

5

#

C

5

#

5



#

9





#

*

C

C



5



&

%







*

D



;

+

5



#

*

%



(

%



9

P

&

+



#

C



D

1

x

D

#

&

"

(

9



H





H



D



9

]

-

m



&

T

T

&

*

9

n

+



4

&



+

+

D

+

/

{

 _

x

"

(

+

#



T

5



&

}

]

D

+



H

#

"

/

 _

(

&

+

#



*

T

"

D

+

&

H



+

H

#

D



"



+

*

+

#

&

(

P



+

5

D

#

C

*

&

D

*

+

]

&

]



#

(

T

#

+

#

#



%





9

*

D

D

j

]

3

1

-

z

*



t

/



&

D

#

}

l



4

+



*

P



+

5



9

D

5

&

%



3

&

*

3

V

&



1



H





*

V

5

?

&

*

9

‚





9

/

3 _

D

*

3

V

#

1



*



(

]

9

#



*

(

#

P

9

+

]

+



"





%

&

/

#



(

D



‡

 _

5



&





*

#

&



D

D

+





C

P

+



"

*

D

l



4



%





r



#

+

*

5



T

(



4

#

D

+

D

m

5







&

+

T

5

#

T

#

%



D

+

*

C

C

(

(

5

9

+

+

]

#

5

&

*

T

&



5

&

(

C



&



*

D

D



%

+



+

;

D

(

+

;



-

+





"

]



9





5



*

(





&

+

V

*

5



*



P

5

V

H



C

C

+

"

&

*

5

&

D

#

*

D

%

#

H

#

‘



#

+

+

#

*







]

(



P

D



Š

H

5

#

*

&



5



D



H

C



;

D

•

D

#

*







+





P

+

*

#

}





C

#

#

%

D

#

+

P

M



+



&

9

 `

T

*



9

*

&

(

5







#

P

H

(



P

*

+

5





 ]

C



*

+

&

+

#



*

D

 ;

9

D



P



*

"

P





#

C

&

(



M

H





#

P



*

+

D

1



*

H





H



D



9

]

-

x



T

5



&

]

#

/

3



*

+



M

+



;

*



*

(

#

*



&



H





T



&

P

P

#

V

V

*



‚





9

&

*

9



T

1

„

*

#

*

+





H



}



*

"

D

"

#

P



+







#

C

&

+

&



(

D







&

D

*

"

9

(

+

"

D

D

4





9



+







H

]

+



&



#

9

*

"



C



9

&

4

#

*

+

&

5

(

*

+







*

&

P



+



#

%





+

D

5



&

C

&

*

*

+

+

4





+

D

*

D

+

"

D

C

&

5

]

&



D

"

+

ˆ

+



*

5

*



#

H

D



&



*



9

*

n

"

C

P

5



*

&



]

#



C

&

(

(

D

"



&

T



9





D



&



C

5





D

+



H

"



D

"



+

5

+

&

/



D

]

 V



#

#

3

(

&

#

+

-

*



9

;

Z

+



+

5





T

D



&

P

&

*



9

+

5

\



5

9



#

D

} *

V

*

%



D

+

#

T

&

+

&

+

#



*

D

1

…



H





%

#

9







*

H

&



*



+



"

H

&



P

D

H





H



9

#

#



C

&

&

C

(

*

5



+

5

4

M

&



#

P

+

H

5

H

5

-



(

D



#



D

C

]

1

"

D

Š

D

(

+

5

#

+

C



+





#



*

9

&

%



+





&

"

T







;



*

"

]

C

D



#

H

*

-



T

&



&

H

*

(

9











&

]

+

D

#

#

+



(

D

&

D

+

"

*

&

*

9

&





9



Œ

M

D

5



&

"

#

#

H

]



+

5





&

"

+

5





D

#

*

+

5



D

&

P







(

9

/

Ž



5

*

D



*

3

5

&

%



"

D



9

&

D

#

P

#

(

&



&

H

H





&

C

5

;





D



(

%

#

*

H





*



V

#

2

D



-





+





2

-

(

_

&



T



D

C

&

(

V



3

+



#



*

1



T

&

C

5

0 / _



T

#

#



3



2 V



(

&

#





+

V



&

*

D

H





+

&

+

#



*

`

C

+



#

1

-

&

D



+



Z

&

"

#



C

+

P



D

(



+

#

#

1

*

*

D

9

+

]





*

(



*

#

#

T



D

5

+

&

#

C





9

(

D



#



;

*

#

D

+

D





+

(

H

+

5





*

*

+

"

}

(

+

"

9

#

D

;

5

&

#

D

#

}

+





l

(



(

9

#

(

D

D

;

+

*



;



D





"



%





&

+

P



(

5

H



9





(



(

#

%

4

*

#

5





&

#

C

"

D



#

+

P

5

#







D

&

&

9

+



D



(

C

D

+

1

(





D



1

#







&



%

#

D

H

D



%

*

P

*

*







#



H





+



H

4





5



&

D

*

*

+

&



&



]

-

"

+

(

9

+

&

&







D

T



4

9

&

H

P

+

#



#



&





P

&

5

+



"

*



5

+

#

D



+

*

&

(

D



#

&

&







T

H

*

&

*

5



*

+

&

4

+

&







C

+

P

]



9

*

#

#

H

&

"

&

(

H



;

5

&

&



+

C

T

P

+



D

*

&



9

*

?



4

5

5

D

*



+

#







+

M

*

*





#





H

P



*

+



;

5

*





4

+

"

5





#

;



+

D

4



#

+

(

5

+

5

9

C

*



(



&



C

&





(

&





+

]





9

&

#

+

D



(

D









T

*

#

H

„



H

9



&

Population-based approach 



+



1

4.3.2 …

(

V



]







(

#

9



/ ’

H

]

V

_

&

&

T

‹

4

+

`

"



#

3

V

D

M

#



V

_

]

3

1

…

;

&

1 V

_

x

0

V

#

&

D

2

/

*

_

+

3

`

T

5

a

1

sk, sk−1, . . . , sk−n+1 D

Sk+1 = (sk, sk−1, . . . , sk−n+1) 9

/

X

]

*

0

2



Bk+1 M

/

Bk+1 = Yk+1S−1 k+1 4



"

&

D

D

#

P

#



+

4



+









&

&



+

r



+



D

1

…

#

+

5



"

+

(

D

x0, . . . , xk+1



9





*



9

]

-

/

0

&

D

1



D



3







































































Bk+1 "

$

&

'

Bk+1 = 

Lk+1



V

"



-

"

"

)

V

H

)

9

9

)

+



4

0

$

4

0

"

$

R

6

)





V

F



?

)

"

2

)

4

'

)

?

)

4

H

?

0

?

"

0

4

&

6

)

9

9

)



&




R

,

-

$

,

-

*

6

-

1

6

*

Q

D

D

$

,

&

E

F : Rn → Rn x0 ∈ Rn B0 ∈ Rn×n 6



S

6



-

W

$

&

8

6

,

$

H

&

1

$

8

*

6

"

$

J

*





*

M

-

6

(

1

,

O

>

O

,

$

D

G

k=0 8

Y



– Z



-

\

"

1

-

$

-

1

(

3

>

6

$

H

-

8

&

-

$

*

,

O

,

*

k

‚

6

*

$

M



*



6

M

H

*

O

6



*



-

$

6

Bks = −F(xk) (

&

$

$

>

8

†

&

>

-

6

$

,

xk+1 = xk + s $

8

>

*

M

$

&

$

"

,

o

*



$

,

*

*



*

Q

-



*



-

M

R



g

1

&

p

6

&

*

ƒ

/

C

„

1

>

6

i

k

/

$

/

$

3

-

&

,

,

$

"

M

,

*

*

*

$

8

H

O

8

6

/

-

t

D

$

6 1

_

$

,

$

*

$

1

6

"

8

6

M

$

R

o

1

1

*

g

3

-

O

*

6

+

'

$

"

$

)

+

1

M

*

J

O



-

o

-

R

"

&



6

(

,

"

*

*

*

$

O

,

8

&



&

-

O

"

(

>

*

o

/

-

,

6

1

6

R

(

-

&

"

/

1

D

"

D

-

*

"

$

D

&

8

-

$

O

*

Bk+1

‚

(

'

R

$

i

6



-

O

6

%

1

&

3



6

H

/

#

&

-

*

*

!

r



M

1



&

(

>



D

O

$

k

J



1

&

*

$

8

8

Q

8

"



*

,

$

*



"

6

*

1

&

$



O

6

6

-

*

8

6

$

/

>

,

*

$

6

6

"

J

*

O

*

$

*

*

-

J

"

a

1

&

J

3

"

$

p

*

/

6

-

M

R

D

-



,

$

$

&

/

H

1

/

$

"

*

H

"

1

H

,

/

o

6

-

Bk+1 $

*

(

"

o

Q

F(xk+1)

O

(

,

*

6



$

3

&

J

$

*

k=k+1



*

1

&

/



*

1

O

$

&

,



*




&

"

/

&

3



1

$

g

R

O

&

k

$

1

-

i

M

k

$

*

6

M



*

1

6

/

/

$

$

"

*

"

*

8

-

8

1

1

‚

„

&

6

*

,

$

M

6



*

$

1

&

ˆ

"

,

-

-

6

‹

-

*

&

/

$

*

,

-

/

*

$

6

$

6

$

M

6

8

&




Q

*

$

O

*

F

O



*

-

/

>

6

3

J

$

F J

3

*

-

O

*

,

,

1

,

*

Q

-

8

$

8

&

"

,

*

D

*

&

-

&

"

1

O

,

$

6

"

$

3

,

$

(

$

,

*

$

6

$



1

8

1

$

*

"

/

&

,

H

O

M

1

*

*

M

-

*

&

6

-

-

1



6

3

*

i

&

M

6

$

*

/

$

6

H

/

ˆ

3

R

*

i

$

$

$

1

$

6

1

*

J

D

D

H

O

r

1

6

6

8

$

$

1

$

8

1

R

*

J

D

,



8

,

H

O

-

*

>

$

1

*

$

6

*

&

$

6

1

,

H

1

,

6

R

*

H

$

-



/

&

3

>

,

$

,

1

*

$

3

$

$

8

*

"

o

$

*

3

&

"

*

,

(

,

$

,

$

6

>

"

6

>

&

-

M

"

R

6

1

R

*

Q

J

6

6

$

r

o

$

&

$

6

6

"

"

k

-

>

-

/

3

*

,

>

*

*

/

,

H

-



$

&

-

-

O

3

1

1

1

>

/

*

6

>

6

D

*

&

&

*

8

1

3

&

>

$

O

8

-

$

/

†

&

o

6

$

-



&

$

O

1



6

(

*

6

”

*

>

/



8

1

8

*

š

/

H

/

M

(

-

-

$

*

3

*

6

"

,

$

6

6

-

*

"

*

$

&

Z

,

>

6

M

D

&

6

-

,

$

*

H

$

,

o

Q

6

8

„

1

-

&

,

/

3

,

1

6

&

(

&

*

8

6

"

>

6

-

(

J

O

1

8

$

>

r



*

-

$

-

/

6

6

8

6

>

,

/

D

*

O

F ƒ

$



*

6

*

,

$

$

‚

J

&

"



>

*

1

"

3

&

‚

R

-

"

1

R

*

8

/

6

,

,

>

6

&



$

/

$

$

>

$

J

-

&

$

&

J

,

3

"

*

$

,

1

M

1

$

"

*

$

1

&

*

/

*

(

H

/

1

*

-

"

M

$

>



&

$

‚ -

6

*

,

o

1

$

&

>



$

Q

,

,

>

$

,

*

,

i

O

$

,

1

6

6

"

&

>

6

-

$

M

(

,

(

8

$

*

6

O

/

"

*

R

3

>

ƒ

-

6

*

J

1

1

*

$

,

8



6

8

-

,

M

>

3

6

H

$



J

*

,

$



$

6

1

&

&

*

‚

/

&

$

$

6

6

>

k

$

-

-

&

$

/

6

$



H

8

$

&

O

R

1

$

6

R

O

"

$

Q

>

6



8

o

"

*

,

J

6

O

6

1

6

*

g

-

$

*

*

1

$

"

J

*

$

(

*

-

&

"

-

*

O

*

>

$

>

-

>

1

6



*

,

$

1

"

b

O

Q

Z

1

"

$



"

$

D

*

&

D

6

8

,

/

Q

&

D

8

*

$

*

J

6

,

$

*

"

(

&

-

*

,

$

/

1

$

*

/

>

Q

(

*

,

6

-

J

(

"

>

*

$

*

&

„

,

"

O

"

/

$

$

,

&

1

-

$

$

x



$

O

$

3

o

6

1

1

>

x∗

6

,

“

,

,

*

,

D

ƒ

>

*

6



/

-

$

-

8

&

R

6

6

6

p

*

/

-

,

*

6

&

*

*

6

,

H

-

$

$

*

&

1

*

O

$

*

i

(

(

$

O



1

>

6

>

,

6

,

1

6



&

6

-

O

$

*

-

1

&

-

$

O

*

-

R

&

>

M

1

*

$

H

8

k

H

-

,

(



Q

$

$

,

*

6

6

*

*

"

&

M

$

1

$

&

*

$

*

6

1

"

/

(

/

&

&

6

*

M

1

o

$

,

$

J

6

/

O

/

&

*

*

8

*

-

>

1

6

6

“

-

$

$

*

$

‚

Q

*

$

*

*

1

"

Q



M

&

*

6

>

$

J

*

o

k

*

6

6

-

&

6

>



8

*

&

J

6

$

6

*

"

(

*

$

$

,

*

>

J

6

$

>

$

-

3

Q

$

$

>

/

-

&

†

&

6

/

,

O

&

$

"

>

1

8

,

*

O

1

M

o

(

$

&

1

M

&

3

$

-

H

$

6

-

*

&

&

$

-

>

-

,

6

o

,

/

&

&

6

*

"

6

,

O



>

"

&

$

-

6

"

$

J

/

-

&

-



*

„

>

3

1

*

O

-

&

O

8

x0

1

(

Q

1

Bk ƒ

-

&

6

&

1

$

$

J

*

"

"

o

8

O

,

$

,

6

-

$

&

"

8

Q

&

g

*

$

6

$

&

3

M

R

‚

-

(

*

6

H

6

‚

1

&

$

R

,

1

8

$

$

&

&

&

,

>

>

"

>

1

"

*

*

$

/



O

-

>

i

*

"

6

i



































































F

!

A

#

0

$

P

+

9

&

'

8



!

'

;

!



)

#

+

$

#

$



.

.

!

4

0

#

$

2

A

8

4

'

#

F

!

A

A

$

8

'

&

+

F

$

T

A

$

!

&

8

'

&

9

K

+

!

4

;

$

#

!

;

W

'

F

4

$

!

!

9

;



!

=

&



;

8

#

?

A

A

$

+

8

A

+

=

A

4

F

4

Y



+

?

?

;

.

!

A

;

?

$

!

'

$

!

#

!

#

$

#



$

$

&



!

'

b

i

K

$

Y

+

$

!

$

'

A

'



+

$

\

A

h



h

;



;

8

i

I

#

!



#

)

;

+

4

$

A

.

&

&

T

$

'

8



A

F

;

?

8

#

;

9

!

4

!

#

$

A



'

;



8

8



!

+

'

;

=

$

?

A

9

;

#

8

4

A

8

;

A

+

b

K

.

&

$

'

$



'

)

+

4

;

A

!

$

'



$

K

.

F

8

T

?

K

;

!

4

$

A

9

'

A

!



A

!

4

W

!

8

'

W

+

$

=

9

;

4

;

b



K



;

8

!

A

&

.

'

$

'

$

4



!

&

I

#

'

;





F

$

F

)

4

4

+

$

A

?

4



.

8

T

K

4

!

L

;

#

?

4

A

!

;

;

!

;

$

! 8

8



4

F

&

$

!

;

?

'

.

;

A

4

\

$

A

;

!

;

8



8

d

;

!

;

!

$

.

'

;

A

\

!

A

$

!

;

4



.

A

8

&

=

'

9



?

$

$

!

4

4

4

!

K

h

;

?

!

i

#

;



8

K

A

!

+

9

$

!



?

!

;

A

+

8

.

9

;

A

8

4

;



+

.

K

K

!

.

;





8







;

;

v

$

8



'

8

$

8

9

!

A

!



+

;

;

.

8

8

!

$

$

4

A

$

#

4

A

'

$

K

?

4

'

$

#

$

8

&



'

'

4

A

$



!

9

.

'

$

#

$

A

4

h

!

4



h

!

'



i

$

h

Y

?

A

'

4

'



8

F

!

4

A

;

A

8

4

F

F

$



!

+

'

!

#

K

$

!

;

#

;



8

4

4

8

K

h

A

+

;

.

#

8

$

W

+ ;

4



$

$



W

h

A

'

$

?

#

W

0

;

)

8

!

9

A

A

;

8

9

!

+

#



$

)



A



+

+

+

;



\

A

h

!

;

;

8



8

4

9

4

T

$



4

!

!

'

'

K

A

?

!

!

$

K

9

=

'

!

$

4

!



&

&

;

8

9

?

T

'

;

!

$

'

;



8

;

4

8



!

I

$

'

;

Y



!

#

$

&

'

$

I

;



K

4

K

8

F

A

.

&

$

F

b

K

A

4

;

W



$

h

!



8

0

F : Rn → Rn x0 ∈ Rn B0 ∈ Rn×n

+

F

K

+

!

&

!

$

1 F(x)22. 2

8

#

W

!

0

!

$

$

'



$

8

;

A

i



.

8

'

h



{

$

\

#

!

T

$

;





&

!



!

$

'

+

;

i

8

4

!

9

?



A

?

8

;

=

)

8

A

!

4

8

.

$

A



K

;

)

+

+

I

'

h

A



#

.

8

9



{



;

4

4

A

;

'

'

&

'

.

9

K

A

$

;

;

P

4

F

&

F

x∈Rn e

$

$

A

F

8

k=0 F

d



– ƒ



;

†

– ‡

#



4

!

'

8

A

b 4

$

A

4

!

!

K

;

#

9

'

$



4

4

+

.

'

K

;

A

A

!

+

8

I

;

8

$

Bks = −F(xk) 9

A

4

!



!

Bk+1 $

.

h

;

'

!



$

8

?

4

!



h



8

#

T

&

K

!

9



$

&

+

F(xk+1) $

K

+

&

;



k=k+1

$

$

4

.

&

'

+

h

+

!

$



'

.

$

8

$

;

$

$

$

A



‰

9

!

I

ˆ



s F

$



e

8

;

$

;

F

0



8

h

9

#

!

$

αk > 0 #

'

…

xk+1 = xk + αks $

…

…

0

F

$

$

…

4

$



?

4

A

?

8

'

+

;

)

+

$

)



F



$

!

#

#





4

!





h

h

'

A

!





$

$

b

F

9

;

$

$

4

K

!

A

$

T

4

'

;

h

.

W

;

$



$

8

h

K

$

4

!

!

#

$

A



8

$

.

4

!

!

$

$

A

$

!



αk &

?

#

#

;

!

$

F

0

'

K

4

A

!

;

8

;



9

!

8

#

!

$

#

!

$

h



?

+

A

9

4

+

4

;



)

?

A

A

+

+

;

4

\

A

K

!

.

;

W



8





W

8

n

1 1 2 m(xk) = F(xk)22 = Fi (xk) 2 2 

‘

0

” ’

“

i=1

!



.

$



A

)

$





)

4

!

!

K

'

$

A

!

;



=

8

;

!

8

#

9

;

A

'

$



9

'

s !

F

A

+



$

4

.

4

A

!



=

h

8



A

'

!

F

)

A

$

4

?

#





+

4

K

$

!

;

8



8

A



4

4



$

!

A

'

#

$

?

4

#

=

F

4

;

'

!

$

$

?

F .

!

;



0

8

h

#

$

8

A

'

$

F

K

?

!

;



8

;

8



‘

0

” ’

8

9

!

#

;

4

F

;

'

$

?

!

;



8

?

A

8

8



!

“

0

Linesearch approach

4

9

!

&

#

8

4.4.1 

$

#

$

+





)



A

+

+

+



;

h

\

A

;

!

8

;

9



8

2

4

'

!

.

'

A

;

!

–

$



W

9

!

=

=

T

&

4

$

;

.

?

;



+

8

A

F

'

+

;

=

!

!

;



8



;

h

8

;

$

!

•

#

A

?

!

+

;

8

$

4

$

A

'

β ∈ (0, 1)

?

#

$

4

T

h

$

?

#





4

$

A

4

!

$

&

αk 4

A

!

;

4

d

W

m(xk + αks) ≤ m(xk) + αkβ∇m(xk)T s. 

‘

0

” ’

—













































































 





O





!

;



8

#

'

%



'

β 



;

S

'

T

)

%

N

W U

'

xk ;

a



#

%



,

'

)

%

'

.

)

%

1

X

%

!

@

'



!

8

.



5

;

@

#

C

'

'

6

#

D

8



#

!

!

:

;

=

?

!

%

)

)



'

\

#

!



!

=

5

?



%



@

'

;



8

C



'

.

!

D

6





'

#



!

8

!

s ;

V

'

6

.

)

!

%

%

)

8

!

!

5

)

6

!

!

5

;

%



8

;

'



.



!

6







'



L



;

D

D

6



;

8

'



'



;

S

T

N

W c

!

h

C

N

m

;

D



.



?

−B−1 k F(xk)

;

'

%

)

#





!

%

@

8

C

!

a

'

h



!

)

.

%

!



=

?

!

;



xk !

O

#

'

%

@

8

)

5

6

)

a

,

.



6

!

!

;

a

;

@

5

!

:

;

8

%

)



!

αk ,

d

xk J(xk) = ∇F(xk)T '



a

!

8

8

%

8



'

;

?

;

.

!

6





'

#



%

X

;

D

!





!





:

;

8

%

#

!

m .

∇m(xk)T s 8

.



8

'

!

h

a

?

)

6



!

@

;

.

!

?

'

)

;

D

e

D

6

j

5

#

xk ;

;

;

N

m .

'

.

!

h



8

!

'

L

S

6



'



#

%

)

!

6

@

N

W c

;

!

T

T

N

W





@

5

)

;

D



?

.

!

N

!

O

.

=

;





)

'

;

h

%

L

%

6

j



.

%

6

j

'

;

h

)



.

%



\

V





?

d



;

#

?

?

)

!

%

)

h

!

!

.

'





?

!

\

#

=

1

'

5



;



!





D



@

?

#

C

;

!

a

;



.

5

6

8

!

%

!



'

'

@

?



.

'

6

s

)

;

!



%

!

6



;

'



#





L

'

!

#

D

!

s= ;

%

;



6

@

?

%

@

.





5

.

\

!

;



b

!

'

C

Bk !

'



)

8

8



%

)

;



%

S

U

%

;

L

)

?

)

!



#

!

.



#

!

=

?

%

)

'

\



!

5





;

8

'

.

!

6



'



s = −B−1 k F(xk) ;



m



'

b

∇m(xk)T s < 0. e

%





a

6

'

)

%

8

!

)

6

!

;



8

'

.

!

6



'



;

D



.

|



1

,

?



!

?

)

'

;

h



#

!

1



8

'

:

!

8

O

#



@

!

)

j

C

D

%

6





.

'

~

%



'



;

S

)

!

!

€

6

#

;

%

L

!

@

%

;

8

‚

)

j



5

a



W U

V

V

%

;

%

?

ƒ

'

@

'

%

.

C

8

'

.

!

6



'



s ;



V

−(BTkBk + τI)−1BTkF(xk) 5

#

!

†

.

.

'

τ>0 !

h

#



#

!

6

;

S

j

5

V

#

V

!

I 8

W U

O

%

a

5

'

!

)



6

%

#

!

;

'

%

@

8

!

5

;

%



C

'



)

C

6

1

#



%





)

.

'

#

!

.



#

!

=

?

%

)

'

\



!

5





;

8

'

τ !

V



ƒ

'

.

!

6



;

8





'

!



'

;

D

;





a

8





#

!

D



@

@



5

'

;

h

!

)

?

s ;





e

1

;

.

'

)

!

'

)





n

%

8

)

N

…

6

6



.

8

'

;

h

∇m(xk)T s 

!

T

N

W c

;

#

%

S

6

!

;



8

'

.

!

6



'



'



)



L

;





D



?



;

6

8

!

m .

!

'

8

%

8

@

L

%

!

;

@

xk ;

U

8



5

N

|

b



– m

,



%





;



!

.



#

!

,

.



ƒ

'

1

%

%



!

a

5



?

'

8

;



1

)

)

.



!

:

?

;



6





'

#

.

.

!

6

)

)

X

!

Œ

'



!

.

#

!

!

6

;

!

6

1

'



s+

.

!

'

%

)

!



@

%

'

C



h

a



;



5

D



!





8

@

%



#

j

6

!

s

!

%

%

%

@

)

6



%

!

'

%

,

1





,

!

L

.

'

,



%



ƒ

'

Bk ;

D

@

1

%

!

;



'

h



5



'



#

%

;

10−4 #

;



!

'

,

;

J(xk) D

5



#



!

'

;

8



'

.

6

!

@

6





'

)

!



;

|

|

N



)

6

)

−1 s+ = −(B+ k ) F(xk)

#

'

ƒ

!

h

;

'



.





8

.

,







,

!

C

!

'

,

.

5

#

8

%

%







!



‰

!

!



N

'



;



8

.

,

;

.

!

,

%

!

'

#

!

h



@



#

6

%

?

B+ k 

!



6

!





!

)

;

h



!

h

?

.

#



!

,

%





#





'



1

)

a

,

Š



s ∇m(x)T s %

N

O

8

%

xk 

s –

8

;

,

%

!

.

@

)



8

'

6

!

h

!

.

;

8

'

X

%

?

%

)

.



!

'



N

X

!

#

Š



!

#

D

%

?



;

)

#

%

a

@

'

!

C



1



1

!

'

6

%

%

.

'

@

C



X

#

D

%

@

%

?

;

?

,

6

!

,

N

!



;

'



m



;

#

%





'

#

;

!

%

;

8

?

'

1

.

!

!

6

.



'

'

6



%

;

@





4.4.2



H

!

#

B

%

L

8



























(

*

N

*

+



-

!

/

-

;

6

2

/

%

(

>

+

R

/

4

!

6

B

T

7

!

8

;

*

!

;



!

-

;

+

4

+

/

6

8

7

8

*

!




*

-

(

-

8

@

!

(

B

(

*

!




;

!

b

6

+

>

/

+

H

*

*



(

*

6

B

/

z



!

-

>

*




b

-

/

!

+

N




H

B

L

8

!

*

N



!

;

6

/

>

R

!

Z

(

#

%

6

! ;

(

6

/

>

N

-

/



N

*

!

!

/

-

U

(

+

H

Y W

#

W

%

4

4

u

2

!

-

-

N

6

*

;

(

+

8

@

-

(

!

8

2

@

+

2

%

/

N

/

-

N

4

/

*

(

+

B

(

-

*

;

(

/

*

6

B

+

T

Z

!

/

!

]

*

+




+

/

W

*

+




>

7

(

8

6

+

!

4

8

!

;

n

*

!

(

+

!

!

N

ƒ

;

b

/



+

2

!

q

8

;

6

/

H

+

6

8

+

8

+




*

b

-

>

+




!

*

6

8

Z

U

 W

Y

+

/

*



!

N

-

/

*

!

ƒ

*

-

2

%

/

N

-

/

(

*

;

6

+

/

!

>

W

*

#

*

%

;

!

B

%

(

(

-

*

+

2

g

;

/

*

!

*



4

+



!

-

/

!

7

2

N

8

*

-

!

;

/

;

6

*

N




*

>

(

+

Ž

!

(

b

-

’

;

ˆ

”

H




-

-

>

/

(

U

8

(

!

+

/

!

!

6

(

8

!

(

6

;

-

N





6

b



N





*

+

!

N



;

N

6

/

6






H

Ž

+

+

!

6

4

p

@

6

8

!

!

*

+

;

6

-

!

!

6

4

8

!

>

;

2

-

;

N

-

/

@

!

;

4

!

/

N

!

;

!

(

%

8

*

(

Y

Z

Ž

!

/

(

-

/

!

*

6

8

Z

U

6

/

*



!

7

8

*

!

;

N

-

/

N

!

]

*

+

/

(

+

>

!

*



!

+

;

+

/

*

!

;

+

-

;

]

-

+

/

*

(

6

W

8

W

4

(

-

q

%

(

]

*

W

!

W

6

W

@

!

+

/

!

/

4

N



(

6

@

-

%

N

!




!

!

+

(

@

(

!

/

2

8

!

%

>

8

-

]

8

B

!

>



>

*

H



H

Y W

q

Y V

8

U

V

|

*

!

>

-

6

“

Ž



V

V

6



Z

8

!

!

x

V

-



Z

!

+

*

V

8



X

V

(



Filter methods

!

!





Linesearch-filter approach

4.4.2.1 



-

6

+

/

/

*

>

!

;



+

6



-

;

N

g



]

*

-

!

+

;

/

6

*

(

/

>

|

!

]

;

! (

!

/

*

!

>

6

b

6

B

*

-

V

-

;

+

*






/

!

8

b

6



H

-

>

(

(

;

!

/

!

!

(

/

!

*



;

+

!

>

*

-

H

;

/

!

2




-

!

7

-

/

-

b

N

!





!

N



N

*




/

6

/

!

;

+

>

H

-

B




;

!

/

!

/

*

4

!



6

+

b




-



/

6

*

6

Z

+

!

>

(

;

!

;

%

(

*

7

!




+

-

6

/

(

(

-

-

8

%

2

*

+

(

-

+

/

4

/

-

8

!

2

!

*



#

%

!

6

(

*

B

+

(

-

/

*

Fj(x) = 0 (

!




!

7

q

/

6

(

#

%

6

/

*

+

*

+

!

(

*

-




-




H

B

6

/

+

*

!

;

6

*

xl !

+

2

θj(xl) ≤ θj(xk) ∀j = 1, . . . , n.

4

œ

-

-

-

/

>

(

!

6

#

(

%

!

/

xk

*

2

8

-

B

;

q

b

!

!

6

N

N



-

!

/

#

(

%

+

>

6

!

*

;

+

*

-

/



6

xk

-

*

2

*



!

+

(

(

-

B

(

2

*

/

!




!

!

>

q

xl +

(

6

*

8

!

6

(

*

V

6

(













































































 



5

?



?



#

D



)

5

!

#

?



#

H

D

$

1

&

)

$

!

2

)

(



#

n /

)

#

5

H

$

$

(

N

!

!

-

1

-

?

$



!

)

$

!

/

@

1

5

)

$

!

2



D

1

#

5

N

@

#



(

#

!

1

O

$

&

(θ1,k, . . . , θn,k) D

)

k = l @

]

-

)

5



#

#

O

N

!



!



#

5

2

@

@

?

!

5

$

)





&


20

7

7

U

4

9





$

/

7





X

+

$

i



v



U

4

+

M

7

7

"

"

1

4



&

v

9

"



"

$

=

+

'

?

M

4

9

'

=



&

=

7

A

7

?

4

$

'



$

$

t

4

"

=



4

&

=

7

"

+

4

&

+



7

7



?

"

=

4

7



=

A



K



7



/

€

'

&

"



+

=

U

$



4

K

—

a

`

M

$

&

?

+

/

"

$

"

4

+

4



$

4

&

=

'



B0 4



`

`







&



7

7

t

y

4

$

=

+

C

&



7





+

"

k ≥ 500 C

+

A

4

?

¢

7

9

?

U

+

4

4

C



+



$

$

&

4

"

/

9

?

7



$

$

&

1

K



&

'

7



7

C

M

X

&

C

7

\

$

‡

=

g



•

&

a

'

D

7

A

C

"

"

4

$

œ

K

&

'



A



C

+

&



\

v

M

ƒ

a

M

_

M

‡



7

1

C



$



"

‡

+

C

•



&

'

7

C

\

‡

‡

•

a

D

+

/

"

7





7



7

"



C

U

1

‡



7

1

C



$

\

ƒ _

Š

9

7

/

/

7

X

4

$

K

"



?

+

$

&



e

A

+

&

4

7

$

`

a

M

¤

&

4

"

U

+

"



C

7

$

$

C

C

4





?

&

/

1

?

7

=



A

&



"

&

'



œ

sk = B−1 k+1yk. +

&

ˆ

'



4

$

S



B−1 k+1



"



=

7

9

Bk

B−1 k +

\

v

M

v

a

Š

œ



T sk − B−1 k yk yk . yTkyk \

v

M

a Š

ˆ

D



































































!

#

%

'

)

+

. ,

'

W

!

R

'

W



'

i

H



U

:

H

'

@

'

:

1

T

#

5

7



W

1

'

3

5

%

'

1

3



5

7

'

1

9

:

5

1




u

3

?

6

H

'

%

3

%

>



1

?

%

'

"

8

Q

3

$

6

%

'

'

1

G

8

)

3

?

%

?

* 

D



)

s

G

:

$

8

'



Q

"

Q

'

'

r

$

H

%

`

'

I

'

8

)

H

G

3 H

*

‡

*

:

ˆ

x

8

‰

M

?

3

"

3

Q

3

%

H

6

H

I

1

I

'

6

3

Q

π %

J

:

'

Q

H

J

6

'

H

H

I

'

G

'

H

'

%

I

3

'

:

R













































 







"

$

&

'

)

+

$

"

/

1

"

3

5

7

8

$

+

"

1

;




O

&

$

&

$

F

3

6

C

?

D

3

@

3

E

&

D

8

F

&

n

E

:

&

:

D

&




E

&

8

D

3

&

F







>

0

A

>

$

A



O

&

D

B

T

&

5

.

A

&



5

9

$

#

>



.



7

$

9



A

>

>



$

g

A

5

5

5

7

D

F A

&






&

D

&

B

D

0

a

&

A

&

@

B

7

A

&

7

$




$

D

#

$

5




O

0

.

14

=

B

A

&

5



A

D

A

H

g

0

5

B

u

$




&

&

p

9

B

t

A

D

$

&

7

O



5

5

s

a

A

&

5

.

D

ˆ

D

9

3

&

A

0

=

>

#

†

7



g

&

Z

0

$

7

7

(

D

|

12



D

!

7

5

A

>

T



&

0

B

0

0

3

9





B

D

7

D

B

H

A

A

D

7

&

0

A

D

0

7



$

$

A

0



@

&

&

@

9

A

&

&

O

#

5

A




3

5

&

&

10

=

>

B

m

j

0

5

&

0

$

$

9

9




D

3

D

A




A

g

9

7

9

7

A

=

7

5

>

5



0

#

>

5

0



7

7

3

A

5

$

!

$

T

7

&

0

T

&



.

&

A

A

D

A

5

7

>

0

0

5

&

$

$



&

3




&



$

8



&

&

8

E

l

&




)



J

#

8

?

%

*

L

%

?

)

M

J

'

)

5

8

'

#

,

#

#

l

,

3

'



*

0

?

'

'

5

'

!

T

!

O

%

0

3

U

:

?

#

#

%

'

#

b

3

?

%

5

8

%

f

)

#

'

n

7

8

!

o

!

:

7

!

*

'

*

f

'

8

#

p

#

'

0

%

!

q

8

#

'

,

_

%

'

3

>

0

!

'

?

'

U

'

#

>

*

>

'

'

!

5

?

?

]

o

'

*

p

_

q

8

>

?

'

#

?

5

]

T

u x

J

M

M J



%

_

J



M

y

‚

y

:

%

%

'

?

5

p

#

8

,

'

?

3

%

?

*

!

#

t 

8

A

?

T

#

#

:

'

s

n

A

'

U

5

5

'

#

u

?

%

!

0

3

,

#

'

:

*

#



%

0

?

#

0

?

'

!

!

'

*

J

?

'

!

A

,

'

A

5

'

M

0

?

7

L

)

>

?

?

*

'

*

>

#

#

8 #

'

8

#

:

%

!

*

J

*

*

,

!

:

J

L

'

#

8

v

#

*

#

A

L

M

#

?

]

'

_

:

M

O

?

,

'



%

*

L

?

*

!

'

7

)

3

'

0

*

v

* 3

#

0

'

,

5

f

*



T

7

?

f



i

J

L



|

)

8

*

:

%

,

?

#

8

*

?

*

3

U

%

'

3

8

)

#

8

*

]

}

#

0

'

%

#

5

!

T

5

8

q

'

s



8

*

„

A

%

U

'

T

?

*

3

v



†

_

M



_

‡

L

?

*

3

L

‡

_

†

M

J



8

*

#

0

'

‚

M

?

%

'

?

5

!

~

O

?

!

'

3

*

L

#

0

0

'

8

?

'

A

,

U

3

!

?

8

!

'

)

?

7

:

#

!

:

7

%

A

'

)

Œ

'

7

0

8

?

#

'

#

!

#

%

5

8

*

'

!

7

U

?

8

*

%

5

:

'

5

%

!

'

b

?

*

!

!

#

#

?

:

8

%

A %

#

)

*

#

?

A

:

*

%

U

'

!

T

#

'

!

0

%

A

'

?

)

#

3

8

'

0

*

?

,

?

?

5

*

!

?

?

3

U

%

]

U

8

%

?

?

O

5

)

'

0

:



'

!

#

!

'

?

5

7

'

,

'

?

M

8

#

7

8

)

*

!

T

!

b

n

8

!

!

A

?

)

7

7

0

?

#

A

O

'

%

'

'

7

?

8

*

!

'

3

3

p

7

?

3

8

8

5

A

A

?

)

'

#

!

,

%

0

U

T

'

U

#

)

A

'

?

#

*

#

%

A

%

'

!

v

?

%

%

)

*

*

?

7

!

'

*

'

!

!

3

)

3

%

?

,

T

#

'

0

3

)

)

7

?

U

A

!

'

3

*

5

5

!

'

!

#

'

?

#

8

%

*

?

U

%

?

f

8

A

%

5

0

8

#

?

!

p

?

#

%

5

*

> T

'

'

!

)

5

8

!

?

T

'

8

n

#

7

O

)

8

U

*

!

|

!

'

3

0

*

?

'

‹

#

!

]

#

5

#

?

5

]

T

u x

U

%

'

'

*

!

)

'

*

'

y

#

y

!

!

#

?

U

U

%

?

)

0

'

!

?

#

5

?

#

8

]

*

,

š

?

8

%

3

?

5

5

,

?

7

*

8

'

#

,

#

?

3

5

]

'

3

'

5

)

?

U

#

A

%

8

*

7

#

0

'

%

'

!

5

'

O

!

'

n

t s

,

%

?

!

'

3

*

3

8

!

M

U

u

T

#

‡

8

v

,

8

M

U

*



!

!

#

u

8

?

,

?

*

#

3

'

”

3

)

0

*

?

#

%

'

O

#

'

U

7

8

0

0

?

'

7

'

)



:

'

'

#

)

O

0

›

'

%

0

8

)

'

'

0

%

'

'

'

#

>

?

'

5

?

]

5

'

?

5 *

*

%

U

8

—

8

,

'

3

8

*

:

%

,

?

#

8

*

U

%

>

8

3

'

3

U

%

n

7

'

%

A

!

%

#

U

!

!

'

'

u x

#

!

#

)

]

'

%

,

!

#

%

?

#

'

7

8

'

!

!

,

*

'

%

'

'

#

3

8

7

0

*

#

%

3

'

!

5

!

8

0

7

'

8

*

n

5

'

8

!

˜

#

'

0

0

%

?

?

#

p

>

#

'

?

q

–



'

'

]

'

>

u 

#

T

>

A

)

!

?

T

#

#

%

‹

T

5

!

]

˜

0

?

#

#

?

q

'

#

?

5

]

n

™ s

A

?

,

0

–

,

3

T

,

'

!

#

s

'

#

5

5

]

8

?

'

_

?

'

%

3

*

'

0

#

,

8

#

'

*

5

#

!

f

8

?

?

A

5

!

%

,

•

%

)

~

?

'

8

%

*

>

>

:

”

8

*

8



~

v

0

3

y

O

y

:

U

'

%

'

%

*

)

U

'

!

!

'

?

*

?

3

,

!

A

5

#

#

?

8

#

'

*

3

U

,

8



%

?

'

5

u



:

'

5

%

7

p

8

#

x

f

?

%

8

?

O

5

'



'

!

!

?

7

'

M

8

7

*

!

]



?

0

p

~

,

! ?

!

?

*

8

?

*

3

l

8

A

n

u s

n

u x

!

y

?

y

'

!

#

8

,

?

#

'

?





,

U

%

U

!

'

?



A

5

#

8

*

,

8

?

5

—

'

8

Œ

#

A

%

'

:

5

7

8

#

, 3

'

5

!

n

5

7

8

#

q

)

8

#

f

]

š

'

?

5

!

%

'

:

'

%

#

0

'

%

'

?

3

'

%

#

œ

0

?

J

U

v

*

#

#

A

L

%

3

0

%



?

'

n

%

™ s

?

O

8

#

,

3

'

5

]

M

%

8

*

8

>

?

!

?

*

?

*

3



?

0

,

?

!

!

?

*

8

*

'

5

u

A

!

8

*

7

?

!

?

,

U

5

'

:

)

,

,

A

#

'

%

!

8

*

#

0

'

–

,

)

%



8

8

]

8

8

)

7 *

M

!

0

#

0

”

*

?

U

'

%

U

,

'

%

,

:

#

'

?

?

#

%

T

!

%

'

U

'

8

b

*

?

3

!

?

!

?

'

:

#

*

5

M

,

*

3

!

8

*

3

U

b

8

#

:

?

%

#

!

!

U

,

?

#

U

?

3

%

?

%

#

8

>

?

8

!

)

*

)

'

%

5

0

'

'

)

'

#

%

'

!

!

8

8

#

*

*

#

7

:

'

?

?

|

'

5

%

?

*

3

v

8

?

n

u x

)

%

0

u



0

#

8

,

)



U

U

)

8

#

8

'

%

,

%

*

?

:

#



?

%

A

M

)

%

T

?

,

?

'

?

0

T

*

#

U

*

)

#

!

%

8

'

!

3

Œ

*

%

T

'

:

!

8

,

8

5

?

%

?

U

U

%

?

)

0

'

!

]

x

3

'

3

y

8

b

*

y

'

'

*

!

*

3

'

8

#

7

*

3

'

M

'

'

#

%

O

0

3

0

?

3

>

8

#

'

—

?

O

*

?

#

%

?

:

5

'

5

?

?

f

A

!

%

,

8

!

!

3

'

3

8

#

,

'

5

*

?

O

8 3

ž

!

#

'

%

'

0

*

#

~

!

?

'

,

U

)

5

'

*

:

!

]

,

%

8

_

”

*

)

!

)

•

A

?

0

)

'

?

!

%

*

#

?

)

'

!

#

#

'

?

'

•

%

5

8

]

A

!

#

5

!

U

?

,

,

8

A

5

%

Œ

'

#

#

8

0

y

n

y

%

%

5

8

U

,

'

3

?

'

%

'

5

#

'

p

§

%

8

!



b

8

T

b

*

#

'

T

0

b

0

'

'

?

3

#

,

3

3

!

'

*

5

#

'

]

7

_

:

,

)

5

A

'

!

*

#

T

!

8

*

#

*

5

0

'

)

U

*

f

#

U

*

%

?

%

A

!

A

5

#

#

?

#

8

#

'

p

*

#

!

b

?

0

8

'

#

*

)

'

0

8

3

Œ

8

8

*

!

*

#

7

8

3

)

*

5

A

3

7

'

5

)

8

!

'

8

#

>

'

8

%

?

*

%

?

!

#

]

8

A

A

%

!

!

š

'

n

'

'

)

Œ

)

)

8

*

'

p

!

8

U

#

3

'

%

–

#

)

3

0

'

8

5

*

7

b

3

8

#

'

0

)

?

8

7

!

8

'

*

*

!

#

]

'

Ÿ

ž

8

'

)

*

#

?

!

5

T

5

f

?

T

*

b

'

3

*

?

'

!

3

#

U

'

#

3

!

5

#

7

?

8

#

#

'

p

:

,

p

3

#

'

0

5

'

p

!

?

%

›

8

#

,

*

#

5

3

f

'

'

!

5

#

!

8

T

!

,

?

A

)

#

'

0

?

!

3

*

]

U

£ y



,

!

!

!

'

u

p

#

#

)

T

'

8

!

3 x

O

7

?

3

x

‡

5

#

,

*

3

:

'

'

? x

#

A

U

L

p

*

) 8

s

?

'

%

]

'

L

!

'

0

*

'

#

%

'

3

'

!

0

'

?

'

%

%

)

'

?

0

#

%

'

?

'

#

0

,

'

b

%

?

'

!

!

A

5

#

:

, )

U

?

!

'

%

'

!

3

'

:

?

#

%

)

0

U

b

'

%

*

›

7

8

'

*

)

'

#

'

)

%

8

*

*

3

7

A

)

)

*

#

!

'

3

A

O

5

#

8

'

*

#

b

7

¦

'

'

%

*

,

!

y

?

*

3

U

8

'

%

%

'

'

#

‡

?

U

U

T

M

_

T

l

?

A

!

?

*

*

'

T

?

*

3

o

A



%

š

8

3

,

'

%

T

Ÿ

%

?

A

'

*

:

'

5

3

u T

J

L

n

J

*

p

~

!

§

#

8

#

A

%

#

L

A

'

U

:

0

‡

%

'

3

}

L

?

M

%

#

}

?

?

*

T

!

U

)

„

%

5

—

5

'

Ÿ

#

)

l

—

#

5

?

*

*

8

*

7

?

*

3

M

f

!

#

'

,

!

u

T

„

L

©

œ

A



%

8

)

0

T

?

*

3

#

0

'

}

U

'

%

?

#

8

*

!

‡

'

!

'

?

%

)

0

8

]

*

U

%

)

'

!

!

8

!

3

'

!

)

%

8

O

'

3

8

*

M

'

)

#

8

*

] 

] –

L

0

'

,

3

'

5

:

%

'

*

p

%

A

#

'

O

'

p







"

$

&

(

$

*

+

(

-

*

-

/

1

-

3

$

/

6

-

8

1

$

&

/




@



$

C

-



1







-



F



&



3

-



C

*



H

&

(



+



(

-

K

1

(



$



+



N

-





"



$



&





(

(



-



+

(



-

*



-

/



1



-

3

$

/

;

6

-

8

1

$

&

/




3

0

%



%





`



E

'

%





'





4

8



0

'

B



0



"







*

!

%

*

0





0



%








>

*



9

8





+

7







4

5

4

J

7

%

>

H

6

9 7

8

D

 6

" 4

?

5

4



'

*

n



































































!

#

%

!

'

)

*

,

!

/

1

!

#

#

/

#

1

/

#

)

4

!

7

#

!

8

:

%

)

!

8

)

:

>

!

@

B



C

#

#

:

E

*

F

)

:

>

!

B



G

/

@

)

J

/

7

!

#

*

)

:

'

,

%

/ @

)

@

:

'

%

F

O

8

:

'

,

1

O

!

F

B

/

:

F

*

'

8

>

*

:

'

)

!

'

*

'

%

!

U

V



W

/

7

)

!

#

!

)

%

!

4

:

f

*

E

)

!

4

)

8

#

!

*

i

4

)

!

!

F

)

7

!

#

*

:

:

#

7

*

`

`

)

!

:

O

O

#

F

)

#

%

:

!

)

!

'

b

/

)

:

*

/

@

!

)

,

1

1

)

)

>

!

4

4

!

/

!

#

7

/

!

:

!

1

1

#

'

1

O

:

4

#

#

F

)

/

/

`

>

#

1

>

*

%

)

!

/

%

)

#

F

#

:

*

/

)

/

@

!

!

'

'

@

4

@

7

@

7

b

/

)

@

#

7

#

)

)

:

F

:

%

>

)

`

8

!

*

O

!

:

)

!

8

)

:

>

!

@

:

@

>

!

*

'

)

)

/

%

*

7

)

O

#

!

) 4

!

/

E

!

#

*

F

F

V

/

'

%

*

)

#

F

*

)

!

'

#

@

'

7

*

/

)

#

:

)

E

*

* !

)

:

/

#

!

'

@

)

/

7

V



f

#

*

E

!

F

)

:

>

!

)

/

)

4

!

m

'

*

F

@

)

/

7

J

%

F

/

@

!

@

)

)

/

)

4

!

8

!

@

)

:

'

*

) :

/

'

U



C

#

#

:

E

*

F

)

:

>

!

*

)

)

4

!

m

'

*

F

@

)

/

7

J

)

4

!

@

O

>

/

1

)

4

!

)

q

/

7

#

!

E

:

/

O

@

U



s

*

#

!

J

*

%

%

/

O

'

)

:

'

,

1

/

#

b

!

*

#

F

b

7

*

@

@

!

@

*

'

8

@

7

!

%

:

m

%

8

:

@

%

/

O

) '

@

U



v

!

7

#

!

!

@

x

!

%

'

*

`

F

)

)

:

!

#

f

`

!

!

*

*

'

O

)

z

/

F

*

:

'

!

8

/

'

8

E

@

!

!

@

*

#

`

%

:

O

#

E

!

:

:

`

%

`

:

*

!

'

F

%

O

@

8

,

)

!

:

F

*

F

)

:

'

:

!

8

*

F

O

`

@

#

F

'

@

)

!

@

:

#

)

!

!

@

8

*

`

#

!

b

%

#

!

*

@

F

7

%

7

/

@

'

:

,

*

'

#

!

)

%

/

O

O

b

`

*

)

#

#

#

*

:

E

%

*

)

F

:

'

,

F

'

Desired arrival time *

*

!

*

#

#

:

*

'

E

O

)

!

!

%

#

*

@

>

F

:

!

%

#

!

F

@

b

)

%

*

*

m

'

:

@

x

4

F

'

!

*

7

*

F

!

8

!

E

8

#

O

#

'

!

!

,

@

8

~

)

@

!

'

#

)

@

:

/

/

4

,

!

*

8

/

)

Š

1

'

:

*

)

)

„

:

:

!

`

4

)

!

'

)

)

*

!

8

@

:

7

`

:

'

!

/

*

@

@

'

)

8

@

!

`

:

`

F

8

/

4

!

)

!

'

:

„

b

'



*

>

/

O

)

!

‹

‹

7

'

!

/

#

'

*

#

*

:

@

!

@

q

V

!

F



W



)

:

'

!

F

/

*

/

)

@

!

:

)

O

'

)

4

#

*

!

F

)

#



q

>

#

*

#

b

4

*

@

`

!

!

'

%

*

F

C

O

!

!

%

Car cost per kilometer >

*

:

'

'

/

8

'

!

!

)

8

)

:

!

/

#

%

x

‚

#

)

!

!

/

)

*

!

'

O

'

B

#

8

%

#

!

/

'

F

4

)

%

4

)

/

b

*

4

1

7

#

!

)

/

*

%

%

4

)

)

/

>

!

4

@

!

!

#

!

)

:

:

@

7

#

%

)

E

!

:

*

:

F

%

:

/

)

b

/

@

@

:

!

F

%

x

)

7

*

)

1

!

O

1

/

4

#

)

)

*

:

)

/

!

4

!

/

#

*

'

V

:

`

@

E /

!

7

‡

:

:

'

1

'

O

/

#

4

*

,

)

>

@

*

!

*

!

#

@

)

/

#

/

:

:

)

!

'

*

'

%

'

1

E

1

/

)

*

8

4

F

!

*

!

)

F

*

`

/

@

:

O

O

>

#

E

!

b

/

)

!

8

#

)

b

!

*

4

#

!

1

!

#

!

'

%

!

)

#

:

7

q

4

:

%

4

4

*

@

V

@

%

8

!

#

8

:

:

`

'

!

8

,

1

)

4

/

#

!

)

7

4

/

!

@

@

#

:

`

!

F

1

!

!

#

!

>

'

:

%

'

!

O

)

)

!

#

:

@

7

/

1

)

!

%

/

@

)

#

:

%

4

!

!

)

F

*

‘

%

O

:

*

@

F

@

%

!

O

F

’

*

*

)

F

!

F

/

8

`

q

:

b

'

O

,

@

1

/

:

'

#

,

8

)

/

/

4

!

#

~

@

)

/

/

~

1

8

)

q

/

*

/

#

#

!

7

7

F

*

*

'

%

‡

: '

~

'

,

Ž

8

7

:

*

#

)

/

@

q

O

)

:

)

*

F

*

4

‡

)

:

#

!

'

!

8

7

8

/

7

:

*

:

!

:

#

/

8

'

)

)

E

:

@

/

8

8

)

!

!

@

4

8

%

!

`

#

@

:

/

`

b

1

!

)

)

q

8

*

4

:

!

#

'

!

@

)

/

1

)

4

)

4

!

!

q

8

„

*

!



#

7

!

”

>

*

O

#

!

)

!

'

@

O

)

:

#

)

:

/

!

/

'

7

'

'

/

!

*

8

:

:

*

'

#

)

`

!

B

)

4

!

8

!

@

)

:

~

V

/

E

!

/

'

%

!

)

4

!

V

,

,

E

!

Distance for the reference trip :

!

V

Œ

/

>

O

%

)

:

)

7

Free-flow travel time for the reference trip *

)

V

E

%

7

8

@

,

@

!

'

!

b

!

4

*

,

:

!

)

'

`

)

8

:

8

*

4

!

)

E

'

8

#

'

)

8

/

)

*

/

%

)

%

4

/

!

O

%

'

*

)

#

1

O

O

@

!

!

F

8

%

:

/

'

'

@

)

O

4

>

!

7

#

!

)

1

!

:

/

#

'

!

B

' %

/

!

:

F

)

%

#

:

/

7

'

@

O

>

7

)

:

/

'

B

*

'

8

V

Departure time, departure station and stop station by public transportation •

'

)

4

!

`

*

@

:

@

/

1

)

4

!

8

!

7

*

#

)

O

#

!

7

/

:

'

)

*

'

8

)

4

!

8

!

@

)

:

'

*

)

:

/

'

1

/

#

)

4

!

#

!

1

!

#

!

'

%

!

)

#

:

7

B

q

!

































 





G



;





5

>

;

;

5

5



"

"





J

V

"

W

"



"

5









;



:



"



;





*

7

"

5

,

"

:

"

,

"

,

7





@

"

@



@

,

;

,

@

5

@

"

"

"

,

(

;

"











"

Cost by public transportation (



"

*



,





,

5

"



:

7





c





"

"





;



,

f

:

G

,

"



@

P



7

,

,



"

@



5

@

"

,



;



>

:

/



*



;



*

"



@



,











7

5



,

"

"



,







5

*



7








:



:

;

@

"



t

"









*





@

V

y

W

"



5

@



;



B

v

G

@

@



@





*







;



@

;



,

:



www.sbb.ch/en 8



:

;

@





:

"



"



:

G

>







(

@

W

5

;

c

7



V
















V





,

c

7

"

@



(

*

,

"

(



"

"



7

;





8

(1,



5

;

,





(

@



W



"



>

*

,

,

@

"





;

;

@





( P



c

,

"



;







G

:



"

2.5 W

:



5

5

@







5



7

7







@

@

,

5



i

;

1

@

"



"

/

,









P



"

,



"

;






*

@

"

,







7



@



(

>

,

;

5

%

5

5





%

;







$

;



@

>



J









z

(



v

V




5









,

@




5



,

:

"



G

;

5

5

;



"





@

,

"

,





t

>

5









|

5

5



:







@



"

@

"



P





"

V







,

"

,

;

@



7

G

5





J

}

;

(

/

@

;

@

J

:

;

@

P





"



B

"

5







7

"

,






5

>



5













,

@

"

@






COST2 

PTT

t

5

,

:



5

,

>

5



>

@

5

"

5













P





5





@

"



@











t



,

>

@

5

"



"







5

5

;

5

;

@

,

@

G

;

5




5









V

"





J

;

ƒ

@

"

>





"



TRADEOFF "










;

@

5

;



"





@

,

"

,



z

>

"



z

5

5

>



5



;

"



5

:



,

@

7

7



;



@






P

,

5

G

, |

"



,

v



>





"

V

7

:

"

G



8

,

@

@

"

P







P





:

G









:

;

5

G

;

5

"





"

5







7

"

,






*

7

,

:

"

5



@



>

;

5

"



"

,

;

@



@

V

"

;

;

"

,

:



G

5

G





:

„

"



;

,

5

5





P





,



"



5





5

,





J



;

"

ƒ

;

c



…

;

:

"







;

5

,

:

(



,







,

V

"





"

,

;

@

,

@



;

7



,

@

P



 















































NBR

CF1

ERROR1

FF2

CF2

ERROR2

COST2

PTTT

TRADEOFF

1 



























7 29 27 

























































8















13 19 































21 3 



























































































































































































































































22







23 25









24 26



























4































16 20

















2

























32 6





























































15 28















10

31







17 18

















































































9 5 



















14



































&













$

























"









































11 12



























30









(

* )

, +

-

"

/

1

3

5

6

7

3



5

9

5

(




7

O

!

&



!

7





&

&

(

*

+

!

&

!



&



1

1

4

6





7

&

(



:

4

*

+

!

>

#

!



?

=

4



6





7

!

A

!

4

&

$



F







J

!

!

&





!

C

?

4

A

+

!

Z

!

6

&





A

&

!

7

!

7

!

4

4



6

J





Z



4

+

!



4

C

!

E

!

$







+

F

& #

+

+

A

#

F

F

T

6



&



!



$

&

Z





!

1

1

J

4

>

6

_







7

&

:

!



7

!

(

6



6



4

+

+



6

>



Z

J

Z

+



!

4



&



6

!



7

(



J

*

!





&







!





+

!



A

1



!

*





6

!

4

&



F

(





A

&

4

!



(

7

1



&

!



6







!



!



7

4

$

!

1

Z

!

7





!



!

7



J

(

*

6

>

Z

_

!



!

1

7 



(

&



7

$



1





4

4







(

J

!



(

4





(

+

1





!



7

7









4

4





(





(



C



6



4



(

7

*



7

+

!

&

J

!

>

&



$





?

7

!

&

!





(



&



+





c

4







J

>

=

6

J

6

>

"

!



bold 

$

>

4

!

&



"

=







Z





(

!

?

=

&





1

1



7



7



=







4





:



(

4

!





*

+

!

>

=

#

Route 1 s

!

$

4

7



Z

7

!



(



!

































K

v

&



(



4



!

J







K

6







!

&



!

J



7

4

C

!

+



(



!

!



)

v

&

v



&

|

(



7



(

4



!



4

J

(

!



6

J

!



6

J

!





J





4





7

!

4

7

(

&

+

C





4

!

7

J

+

4





C

(

!

7

4

+





C

(

!

+





(



&



(



&







$

4







&

,

!

J



'













)





4





+









0

7





4



C

!





+



(



!









4

CF1 !

!

y

!

Z











1











!

$



7





!



C

(





Z



&







A







v

7

}

7





7

&





$

7

!

J

(

6



(





ERROR1 &









0





)

&





,







)







0











4



× :

4

*

+

!

>

~

=

_

W

!



4



+

&



!



!

&



Z

K

$

7

$



Z



&



!

!

6





4

&

4

!



?







$

Z



4



(







1

4







&



4





:





&



4

7









7

(

*

Z



!

&

1



7

7



Z



! 

!

!





"

A



}

7

4

&

J

&

(

Z





!

(



&





Z

4

7







!

7

4

J





6



(

4





1

J



7







4

4





(









(

!

7

&

4

!

4

C

7

4

(

+

4

!

*

+

ƒ

!

y

J

4

Z

+



7



(















!

!



7



7

Z

(

$



>

!

>

‚

(

:



A

1



4



7

+





!

4

7

v



&



(





4

(





(



&

C

4

F

!



&

&

!



J

4

!

7





!

(

>

7

4



:

C

!

6



+

!

+



(

(

J Z

!

7



4

!

J



~







7



(





*

!

Z

*





!

!

4

&

&

J

!

4

!

&

4

7



+



!

7



4

|

!

7

6

!





4



!



1

!

7

7



7









!

$

7

!

J

(

6

(



(

C

!

4



J

4

+



!

7



4



(

C

!

7

!

6



!



4



(





1

>

>



!

J



(



!

7









!

6

Z

7

7

!





+



6

4



(









!



J

!

J

*

F





!

 



























































!

#

%

'

)

+

,

)

/

1

3

)

3

6

'

1

'

8

3

:


7



Š

Ž

A







s

G







)

$

)





.

%

L



+



.



f

.



4

$

%

.





5

)

+

V



L

%

)

$



"



(

%

Š



)

$



.

%

=

‘

=



V



Ž

A

'





4

%



5





%

V

%

)

+

.



+

'

%



o







%





+

)

.

%





5

\

'





%

.

%

+





)

(

$



+

)



)





"

%

%



4

)

5



=

%





$



'



L

4



.

'

%

$

%

V









+ %

+

'

.

+



$

4

%

=

o

\



'

.

)

V



(

)

+







'



)

)

$





+

"





)

L



)

=

'





)



=

$

f

%



)

@

L



“

s

@



'

=





+

(



o

)

%





+

)



+



)





.

%

 q



%

(

%







.

%

'

{

)

$

%

„

~

4

$



o

%

=

%

'

V

%

+





o

%





'

)

%

o

=

{



.

$

+



5



f





V

.

%



$

.

$

%



$

%







%



V

'







'

)

+

.

"

5

.

%

4

=



%



4

L

"

$

%





'

)

H

V



%

+

'





+



$

)

E

+

E

H

.

%





L

%

$



)

L





)



+



'

%

'

%

=



'



%

5

)

+

\



"



%

H

H





 



+

%





V



+

Y

5

%

+

V

%

@

%

“

V

%

=

β 

)

H

















&







{

%







=



'



L

 %

%

'

$



'

%

$

)

o

+

)

Y

V



+





(

%

'

@



.

t %



E



%

$



)

$

V





$

%







.

%

H

B



q

+



.

'

%

$

.



βcost



)

$

'

+



'



%

%

i



o

'

)

%

(



3

V

;

.

1

o

%

)

\

/

%

.



%





)

$

'

@

(



%

=

%

)

%

%



$

{

$

@



@

“

$



=

%

)

(

.

%

“

%



V

=

H



%

k

(

%

V



%

5



$

5



%

%

%

5

%



V

)

'

H

%

5



•

L

5





$

'

L







(

%



$



%

V

.



p

%





V

+



V

{

%





$



.

=



4

$



.

%

V

)









=

%

+

%

'

i

V



.



$

)

)

)

+

%



L

%

%

+

+





'



)



%

'

)

+



.

%

L



5

%



H

H

.

%



)

%

$

+





E

'

'



o

4

%



'

%





L

'





'

5

%

%

;



H

4

%

+



4

$

%

'

$







.

%

usage



-

\

+

)

βradio



H

$

βerror



5

4

3

)

%

$

5

)

+

+



'



%



'

;

4

4

7





$

)

'

9

8

L

%



o





%

+



$



)

3

L





:

5





'



%





.



%

)

e

+

.

(

'

%

%



'

$

5





)

)

5

o



)



)





+

H

)

5

k



+

%



H

%

5

)

$

%

+

+



V





V

4

'



%





o

'

%

)

$



)

)

+



%

)

'

$





)





@

%

"



%



V

4



'

4

%

$



%







.



%

"

L



5



5

%

%

“



=

@

%



'

'

)

)

%

+



V



%

.

$

%

H



























































βprofession +