Pre-processing. In this step, raw data are cleaned to make learning easier. ...... For a more concise formulation and a simpler graphical illustration, some simplifi-.
!
"
# " # !
$% $ $% $ & $% $ $% $ & " $% $ Æ '
( ) * + ) + * * *+ $* * + * + ) * * + * + $* + ) + + * , *+ ) + - + + + + + +! * ) + + * ) $ +
*+ + * ) * + + + + . ) + *+ * * ) + . *+- + + + + $ + ) ) ) - + ) . * + $ + * + + + + + + + , + +! + / + + + + - $ + + + + ) ) + $ * + * ( - ) * 0 ) + + * + * + + Æ 1 * + + + * + *+ ) ( + ++ * + - + + - ) ) Æ
' * ) + ) Æ * + + + + ) +
* * + + - + $ + + - + + - + * + + + * - ++ *+ *
" " 2 " 0 3 !"!! 3
4 , ( # $ ( 2 3 (
" % 3 ,
" &' " 5 2 %% 5
6 2 " . 7 "8"," " " 9 " : 3 , 5 2 4 ; 7Æ 7 3 7 4 , 3 2 3 8 ; 8 . 7% . $ ? # 4 2 $ ' ( 3 ( 2 $ . 8 5 1+ $ 2 / 5
$ $ ; "
@ $ ",7" % "
9 " : $ ; ( 4 ( $ >? 7 3 8 7 % > A ; 2 8%% ' 3 3 $ 3 2
3
( ! 3 Æ
" "87 9" 8 7 " : ",7" 9" 7 *" % $ 7 % : "8"," 2 "8"," 7 "
0 3 2 B 2 3 , ( "8"," 9' 2 7% , 3 7:
"
, 7 $
7 ('87! M # ECCG: #%% " 7 9 M 7 ECKJ: $ 3
937 ECCF: 8 2 # 93
M , ECKC: ( 8 92 ECKF: 5 3
' 9> M > ECCF: 5
5 9( M $ ECCJ: 0
L ; 9 : 9 : "
9
: Æ 9 : $
D
MODEL Induction
Deduction
DATA
PREDICTION
Transduction
# EJ0 # 9 N : 9 :
y 00 11 11 1 00 0 1 0 00 11 11 00
1 0 11 00 00 11 111 00 0 0 1 11 00 00 11
11 00 00 11
0 1 0 1 0 1 1 0 1 0
11 00 1 0 00 11
1 0 00 11 00 11 11 00 00 11 1 0
00 11 00 11 11 00 00 11
1 0 0 1 0 1 0 1
1 0 1 0 0 1
q
x
# ED0 $ ! 9 : O 9 :
9 : 4 9ECCJ: 9# EJ:
7 !
# ED 3 0 97 M % ECKH: 9< ECCG: 9( ECHC: 9( M 5 ECDH: / 9( ECCD: % 9 ECCH: 9 ECC6:
95 M ECC6B 7 ECC : $ 9# M 7 ECKH: 9( M 5 ECDH: 9( ECHC: 9 ECKCB 3
ECCE:
1 0 0 1 1 0
y 1 0 1 0 0 1 11 00 00 11 11 00
1 0 0 1 11 00 00 11 0 1 00 11 0 1 00 11 11 00 11 00
1 0 1 0 0 1 00 11 1 0 00 11
1 0 1 0 0 1 1 e0
11 00 11 00 11 00 00 11
H
1 0 1 0 0 1
0 1 11 00 0 1 11 00 0 1 11 00 00 11 00 11 00 11 00 11 1 0 1 0 0 1
11 00
11 00 00 11
1 0 1 0 0 1 0 1 00 1 0 1 11 0 0 1 0 1 1 0 0 1
11 00
q
x
# EH0 $
9 : 9 :
9 :
& " & "
Æ " "
7 9 :
, % 9 ECCH: ( "
9# EH: 9# EK: " &
K
y 1 0 0 1 1 0 11 00 0 1 0 1 11 00 11 00
1 0 1 0
11 00 11 00 11 00 00 11
11 00 11 00 11 00
e
1 0
1 0 1 0 0 1 1 0
11 00
11 00 00 11
1 0 1 0 0 1
0 1 1 0 11 1 00 0 1 0 11 00
q
x
# EK0 $
9 : 9 :
9 :
L5
y
11 00 00 0 11 1 1 00 0 11 11 00 11 00
L3 11 00 0 1 0 1 11 00 00 11
L2 1 0 1 0 0 1 1 0
0 1
L4 0 1 00 11 00 11
0 1 0 1
1 0 0 1
00 11 1 0 0 1 0 1 0 1
1 0 1 0
1 0 0 1 11 1 00 0 q
x
# EC0 ;
&
9; ECC : " " & 9 : 9: & 9: 9:
Æ
8 98$7: 9;
M 7 ECKF: 5 9# EC: I %
C
.8'77 9 ECHFB 3 ECCF: % "
.8'77 I
,
0
* 9 ECC : I 9 ECCH: 5 $% $ 9$$: # EG $% $ $% $ "
$% $
" ' 92 ECCC: E
"
$% $ Æ "
% $% $
.8'77 .8'77 % % Æ
&
98 ECKD: 9 M A ECKC: " &
3 ;
7 # " ( 7 % . 1 0
# & 0 ' / * 2 ) $ 2
$% $
E6
( / P
& 937 M > ECCH: ; 97 M ECC : #%% " 7 9 M 7 ECKJ: $ 3
9> M # ECCG: $% $ " $% $ 93 """ ECC6: ! % % $% $ % 9 ECCH: 9Q ? ECKG: 9 % : $% $
/
$% $ & "
!
" $% $ %
$% $ % $% $ 97 ECKD: 9$R8:
9 ECCJB ECCHB . M S ECCD: "
0 Æ
5 % %
% % % 8 7
EE
$% $
5
& 0
6
"
& 6
" % " % $% %
% I 0 E 9 M ECCHB 5 ECCE: G & " T U Æ 9;%% ECCE:
" 0
& /
E
. " G F J
" ( F . "" D E $% $ $% $ ( ! 1
( G 5 " .8'77 Æ ( F " ( ( G ( J " 8 2 #
9 8 2 # $ 3
#%% " 7: 5 3 ' $ 3 % & ( D $% $ $% $ 0 & I .8'77
" ( H $% $
G # #
8 5 3 ' 2 #
( K $% $ ( D % $% $
EG
.8'77 .8'77 " ( C $% $ " ECCK % . 1 0 # & 0 ' / * 2 ) $ 2 ( E6 $% % ( EE $% $ !
" ( E $% $ ( EE % %
" E % 97 H: 92 M 2 ECCC: 9.8'77: 9( D: 92 ECCKB 2 ECCK: G Æ 97 DGE: 92 ECCKB 2 ECCC: F 97 DJ : 92 ECCCB 2 ECCC: J .8'77 9( K: 92 ECCKB 2 ECCC : D $% $ 97 EED: 92 ECCCB 2 ECCKB 2 ECCK : H % $% $ 97 EEK: 92 ECCK:
EF
E G & % $% $ # #
2 #
3 ' ( 8 9( H:
" '
92 ECCC: E $% $ " " ( 7 $ 2 $% $ EH 9( C: G $% $ 9( E : F #%% $% $
97 E G :
!
E 3
%% 92 ECCHB 2 M 2 ECCC:
2"7( 92 " 7 ( :
$ 2 $
3
$% $ 92 M 2 ECCC: $% "1$2 $8 # 3"3I 9#%% 3 " 3 I : ' /
" #
/ 0 5 2 ; 2 M ( , ECCJ ( 82# #%% " 7 . 2 - 3 !" *4 # # 7 * M . ; 9: .+#22 5$ . + * # 6 2 2 , 0 5 2 M ; 2 ECCH #%%
- %$"3%$ *4 .(# 5! 7! . ( # 1 + - 8
EJ
5 2 M ; 2 ECCH
%% %% ( ( (9 : EDEVEH6 ; 2 M 5 2 ECCH " %% - % $3% *4 2 2 M 7 ECCH:
; 6
I (
0 9# ECCD: 95 ECKE:
I 6 & &
(
O
! O W EX
! 0
O 9 : N
9FE:
W X O 6 W X O 6 O ' 9FE: 7 B 9 M , ECKF: $/ 9ECKH: " 0 E ' ! W 7 W
X EX
JD
# 5
9 : Z 6
Z %
9: O
E
9 9 ::
9F :
% " *
< 9:
< 9: O 9:
% < 9: < 9:
E 9 : Z
9 9 ::
" 9 7 : %
9 9 :: O 9 9 ::
9FG:
< 9: # < 9, M 5 ECHD: 7
!
6#66 1 !
9 : O " < 9: " 5 % 5 /
O 9! ! : ! 7
9! ! :
9FF:
JH
6#66 " < 9:
< O6
9FJ:
< 9FJ: < 9:
O N ^
9FD:
" & ^ "
% &
6#66 . 5 "
< 7
6#66 . " % 9 : 0 ^ O 4 < 9 :
9FH:
4 " Æ < 9 : 9FJ: Æ I 4 # 0 "
9. ECKD: 94 ECKK: A 9. ECC :
JK
"
6#66 1 9 * % "
% % 9FEC: % % 3% 9FEC:
O 9 N >8 : 9 :
9F 6:
8 # >
> > 9 > O 6 E: 9F 6: < " < > 9 E6: I < 9F 6: > < 92 ECCF:
6#66" 5 4 % # Æ / # 0
D6
/ 6
% 8
% 3 5 %
. 6
%
9; ECKC: " % ; 9; : 9 : 6
; 9 : " ; B
6
" % " 7 97 :
< 9: % ? 9 ECKH: 9< ECCJ: " 9 M M # ECCG: #%% " 7 9 M 7 ECKJ: 8 2 # 93
M , ECKCB . M ; ECC6: $ 3
937 ECCF: ( 8 92 ECKF: 3 ' 9> M > ECCF:
5 5 HE
H
! !
9( M $ ECCJ: 9( G: $ !
7 J ( 8 8 7 J E 2 #
8 2 # $ 3
#%% " 7 7 JG
7 JGF 3 ' 2 #
& 7 JF & 7 JJ 7 JH ( 7 JHG 7 JHF 7 JK
+5 4
(
3 7 ECDG 7 " ",G 9R ECKD: (F 9R ECKH: 7
2 9ECKF: ( 8 9( 8 : 9 # JE: % 9 # J :
*
" 6 " ! 5 $ 9 : ! I
HG
x?
9JF:
> * ? ? # > ? 9>: % 9JF: >
?! O ? # ?!
# # ? # ?
9JJ:
? " >
? ? ? > % 9JF: # ?
9? : 9? :
9JD:
9? : N > ? 9? : N > ?
>
9? : 9? : ? ?
9JH:
5 > O ? %
? ' 9JH: > %
7 FHG
! !
HD
1 0.8 0.6 0.4 0.2 0 1 1
0.5 0.5
0
0
−0.5
−0.5 −1
−1
# JG0 ;
6 % ! 2 2 , 0 92# : &
O
% 9 :
9JK:
*
% %
% 0
W6 EX
9JC:
% C & & ' 8 2 # $ 3
#%% " 7 %%
%
& ' (
> & 982#: 9. ECKH: ' 82# 9 #:
% O " 9 C # :
9JE6:
C # # JG # I & C #
% O % 9 & :
9JEE:
" % % ' 9JK:
# " %
HH
# )*+
9$3 : > # 9ECCG: % 2 #
9 : $3 ) 2 , 0
O
% 9 & : 9 :
9JE :
%
% 9 & : O E
9JEG:
* 937 ECCF:
$3 7 # JF
; " 9 : ' 9JE : 0
9 : O
1 N '
9JEF:
O W1 1 ' X $3 ! 0 !
9 : O
%
% 9 & :
1 N '
9JEJ:
) ,( - .
#%% * "
, %% 9A ECDJ: , & %% 92 ECCD: 5 %% 7 9ECKJ: 7 97: * *
! !
HK
1.2
1
1
0.8
0.8
0.6
0.6 0.4 0.4 0.2
0.2 0 1
0 1 1
0.5
0
−0.5
−0.5 −1
0.5
0
0
−0.5
1
0.5
0.5
0
−0.5 −1
−1
9:
−1
9:
1.2 1 0.8 0.6 0.4 0.2 0 1 1
0.5 0.5
0
0
−0.5
−0.5 −1
−1
9 : # JF0 $ 3
O G 0 ! 9 : 9: 9:
# "
HC
%% 0 "
"
D
D
D D O 9
D D O 9
:
:
9JED:
%% , D %% 4 0 W6 EX 9 : O E W X 2 %% D 9 : " 7
4 9 : 9 : O 4 9 :
4
4 9 : O
9JEH:
4 9 :
7 %% $3
49 : % 9 : O 4 9 :
9JEK:
9 : $3 " %% " !
I %% 9 : 7 " %% 2 9> ECCG: # #%% 9> ECCH: #
/ 92 M 2 ECCHB 2 ECCJB 2 M 2 ECCHB 2 M 2 ECCH:
%
' ( )*+
; 2#
2# 2# 9 7 FH: 9 7 FD: % 9 : I
& 9 ; : 9 Æ : 5
0
K6
! !
66 6 4 < 8 5 % & %
0
& 7 % 7 FD & % 2 #
I 92
M $ ECKK: " 3
, 9ECKC: ECCH:
66 6
<
2# % 0 5 7 FH & 2# &
8
2# 0
, 8
* 8
Æ
I 2# % &
#%% " 7 92 M 2 ECCH:
2# 7 JGF 2# %
& P # JD
)' * 9' 93': 9> ECCE: 3'
KG
STRUCTURE INITIALIZATION
PARAMETER INITIALIZATION
PARAMETRIC TUNING
LINEAR OPTIMIZATION STEP
NON-LINEAR OPTIMIZATION STEP
NO MINIMUM OF J ? YES
INCREASE MODEL
VALIDATION
STRUCTURE NO
BEST STRUCTURE ?
YES ESTIMATION BEST STRUCTURE PARAMETERS
# JD0 # 2#
0 9 :
% <
%
9 :
% ;
%
'
'
# JH0 3 '
! !
KF
* 9# JH:
* 9 ' 9JEG:: I F '
F O F 9 & :
&
9J D:
" % 9 & : O "
9J H:
* ' 93 ( M ECKG: & O W& & X
9J H:
% 9 & : O E
9J K:
3 ' ! 0
9 :
O E
9J C:
I
O
% 9 & : 9 :
9JG6:
9 : 9 : ! 9JG6: 2# ' 9JK: & ' 9JG6: P
3' " 3' ! " 0 E ; ' 9J C:
% 9J H: 0
9 : O
% 9 & :9 :
9JGE:
&
9JGE: ; ' 9 ECKJ: #
;E6GE
KJ
# JK0 D )' * 9'
G 9JGE:
O
% 9 & : 9 :
9JG :
# ' 9JG : 9JG6: ! 3 ' N 9FE: " 3 ' 9J C: 97 ;C: W G X % 93 ( M ECKG: 9 ":0
O 9 : O 9 $ : O 9
$ :
9JGG:
# 9 :
%
/ #0
0
> > 9ECCF: 3 ' D )' * 9' 953':
# JK
P
! !
KD
%
#0
0
6 66 4 < 7 3 ' > > 9ECC :
> > 5 9ECCE:
9 ;E6EE:
3' ' 9JGE:
9: O
% 9 & :9 :
9JGF:
; %
97 ;E6GE: 3
> > 9ECCF: 3' 9' ) ' 9'3: 9, ECHH: '3
9 ;E6G : '3
0 9' : % 9 3 : 3' '3 3 > > 9ECCF: ;E6GG '3 ' 9;KD: 9;KK: ' 3'0
E9 : O
B 9 : % 9 & : N 9 :
9JGJ:
B 9 :
% 9 & :9 : B 9 : O % 9 & :
9JGD:
3 % E9 :
2 ' 9JGJ:
P R B 9 : 9 :
P R
B 9 : % 9 & : 3
KH
% 0
O & O
B 9 : 9 :
9JGH:
B 9 : % 9 & :
9JGK:
' %
' 9JGH:
' 9JGK:
% 9;$"3: 9 ": 9"8$7: 93 ( M ECKG: 3'
"8$7
'3 > = 9ECCG: 9JGE: 5 "8$7 %
6 66 5 9ECCJ: &
3 %
0
H 9 & : H 9 & : O % 9 & : O 9 & : H 9 & :
9JGC:
H O E 9 & : 9 ; : " 9JGC: 9JGE: 0
9 : O
& : 9 : 9 & :
H 9
9JF6:
% / ! 0
9 : O
H 9 & :9 :
9JFE:
2
9JFE: '3 0
1 & 6
I
H 9 & :9 : B 9 : O
H 9 & :9 :
9JF :
! !
KK
' 0
E 9 : O E 9& : O
B 9 : 9 :
B 9 : 9 & :
E 9H : O B 9 : H
O E O E
9JFG: 9JFF: 9JFJ:
1 +
% E ' 9JGH: 5 % " ; 9 & : WC a X
H O
E
B 9 :
E
9JFD:
B 9 : C O B 9 :
a
E O B 9 :9 C :9 C : B 9 :
9JFH: 9JFK:
' 9JFD: 9JFH: 9JFK: ;
6 66
+ % &
" P 3
' "
3 ' 7 3 ' ! 3' 7 FH 7 2# 97 JGFG:
" > > 9ECCF: 8 9ECCD:
53'
+ ,
KC
Æ & 8 ! 5 % & % , I 9 : % 2# 3' ! # ' 9JE : 9JG6:
O
% 9 : 9 :
9JFC:
2# 3' 5 2# 3' & ' 9JFC: " > 9ECCJ: , 3 ' %
% " 0
9JFC: " 2 #
% Æ $3 #%% 82# "
% #%% " 7 %% " %%
97 ECCJ: %% 5 %% #%% #%% %%
#%%
C6
! !
0
3 Æ Æ % " % % I %
)
$ ( G P & & EC
#
9( M $ ECCJ:
ECJ6* ECD6* 9 7 ;E6 :
9ECDF: 9ECDC:
%"
) ,1
$ " ' 9GE: # 9
: %
" 9 # : 9 : O " 9 # :
9JJ6:
( 9 O E: " 9JJ6: 0 * W # N # X
#
" # O 9 : 97 GJ: " # 9 : O " % " # #
CE
1.8
1.6
2
function f(x)=0.9+x
1.4
Value to be predicted
1.2
Nadaraya−Watson estimate y
1
0.8
kernel 0.6
0.4
0.2
q 0 0.2
0.4
0.6
0.8
1
1.2
x
# JC0 '& 0 ! O 6 C N 9 : 9: O 6 J 9 % : 9 % : # 97 FE: # 7 9 :
- O $
- -
- 9 : O
9JJE:
" - O " 9 # : & 0 9 : : 9 : # : 9 : # JC 9 : O 6 C N O 6 J 7
9 : " # JE6 9 : O 6 C N O 6 J 5 / ' 9G D: # Æ 9 : 9G D: %
I %
! !
C 1.8
2
function f(x)=0.9+x
1.6
1.4
Nadaraya−Watson estimate 1.2
Value to be predicted y
1
0.8
0.6
kernel 0.4
0.2
q 0
0.5
0.6
0.7
0.8
0.9
1
1.1
1.2
x
# JE60 '& 0 ! O 6 C N 9 : 9: O 6 J 9 % : 9 % :
%"
/
I % ECH6* 9( ECHCB 7 ECHHB ECCJ:
0
) 5 6
#
35 5 6
# 9 : # E # 9 : 97 ECHH: , # 9 : 5 # 9 :
! !
CD
* # Æ
7
/ &
P # &
# ;/ 9ECC : Æ
6"6 6 1 % 0 " 0
= & ! !
9 : O "
> & 9 : O
9
#
: O :
9
#
9
:
9
9
:
:
9JJF:
9JJJ:
O E
= ?+ @ $
9 : O %
>
&
N '
9JJD:
" 9 :
" % 9ECCH: 0
.5 % 6
A 5 % 6
' 97 M % ECKHB 5 M ECCDB # ECCF:
4 5 % 6
' 97 M % ECKH: 9 ECKCB ECC6:
CH
6"6 6 1 $ " % 9 ECCH: % 9 :
. Æ
6"6 6# 1 % & ; ! % " "
/ % 5 6
Æ ' 9# M ;/ ECCJ: 95 M 3 ECCJ:
4 !6
98 M ECCFB # M ;/ ECCD: 9
ECH6: ' 98 ECCJ:
6
" % 1 3 * * "(
8 9
ECH6B 8 ECCJB . M 3 ECC6: I $ 9ECKH: 9> ECCJ: " 3 * 8 9ECKF: ( , 9ECKK:
! !
CK
( $ 9ECCJ: .8'77
.
" 9ECCH:
.5 6
% ; 3 2 $ 9;32$: 93
ECC :
A 5 6
%
4 5 6
&
" +
2 & &
3 5
. 0 9$$: 9 ECCH: I 5 9
2 #
: % " & T %U # 9 : % I ! % $% $ 92 ECCCB 2 ECCC: "
7 # 1 ( " 0
O 9 : N
9DE:
W X O 6 W X O 6 O W X O 4 9 : 4 9 : " CC
E66
0 1 1 y 0 0 1
1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 1 0 0 1 1 0 0 1 11 00 0 1 0 1 00 11 0 1 00 11 0 1 0 1 0 1 0 1 0 1 0 1 11 00 0 1 0 1 0 1 00 11 0 1 00 11 0 1 00 11 0 1 0 1 0 1 0 1 0 1
11 00 11 00 00 11 0 1 0 1 11 00 11 00 0 1 00 11 0 1 00 11 00 11 11 00 0 1 0 1 0 1 0 1
11 00 11 1 00 0
1 0
1 0 0 1 11 00 11 00
1 0
11 00
1 0 1 0 1 0 0 1
q
x
# DE0 $ H 9 : O
!
" % 7 D
$% $ 0 9: & 7 DG 9:
7 DF 9: 7 DJ ! 7 DD
( )*' ) $% $ 0 E 9#DE: 9#D : % " $% $ $$ "
7 JHF I $% $ % % % , 0
y
0 1 00 11 00 11 1 0 0 1 1 0 11 00 11 00
1 0 1 0 1 0 0 1 0 1 1 0
1 0 1 0
E6E
0 1 0 1 0 1 0 1 1 0 1 1 0 0 0 1 1 0 0 1 11 00 11 00 00 11 0 1 1 0 0 1 1 0 0 1
1 0
00 11 00 11 00 11
1 00 0 11
11 00 00 11
00 11 00 11 00 11 00 11 00 11 11 00 00 11 11 00
q
x
# D 0 $ H 9 : E G ' & Æ 7 %
I % 5 .8'77 97 GK: "
.8'77 #
0
,
0
0 %
* 97 FHG :
) 7 FHE &
E6 y
C2
C4 11 00 00 0 11 1 1 11 0 00 00 11 11 00
1 0 1 0
11 00 1 0 1 0 11 00 00 11
1 0 0 1
0 1
C3 0 1 00 11 00 11
1 0 1 0
1 0 0 1
00 11 1 0 0 1 0 1 0 1
1 0 0 1
1 0 1 0 11 1 00 0
x
q
# DG0 ; $ & 9 O G F: 9 # #
2# : 5 # $ E
97 JHFF:
9 :
9 9: : 9 9 : :
9D :
G 9 : 9 :
F # #
# 9 : O 9 9 : :
9DG:
J # 9 : 5 # 9 : 2 W X # 9 : $ O 9# DG: O 9# DF: ' 9JJ6: $ ' 9GEJ: $ 92 ECCKB 2 ECCCB 2 ECCC:
E6G
L5
y
11 00 00 0 11 1 1 11 0 00 00 11 11 00
L3 11 00 1 0 1 0 11 00 00 11
L2 1 0 1 0 1 0 1 0
0 1
L4 0 1 00 11 00 11
1 0 1 0
1 0 0 1
00 11 1 0 0 1 0 1 0 1
1 0 0 1
1 0 1 0 11 1 00 0 q
x
# DF0 ; & 9 O G F J:
& , 2
8 98$7: 9;
M 7 ECKF: 8$7
5
9 : 9D : I 8$7 ( ( N E
N E "
" 9 # : O
E 9 : # 6 B
9DF:
' 9DF: N E $
#666 / ( $ 9DF:
9DG: O # $
5 $
- 9 : O
9:
9DJ:
9:
!
E6F
" $ $
- 9 N E: O
- 9 : N 9 N E: NE
9DD:
9 N E: 9 N E:
#666 / " $- 9 :
0
- O
9: 9: $ " 9 9: # :
9DH:
" 9 : # E "
$- O 9! 5 5 ! : ! 5 5 O 96 6 : 6 O @ 6
9DK:
! 9: 9: 5 - O " 9 9: # : 6 O 5 ! O 5 ! 5 5 ! O 6 6 @ O 96 6 : ; $- 0 - O $
9DC:
( 9DF: 9DG: O # ' 9DH: - " 5 - 9 : - $ - 9 N E: N E $ 9 : 2 9' 95J : 7 5J: 0 @ 9 : 9 N E: 9 N E:@ 9 : @ 9 N E: O @ 9 : E N 9 N E:@ 9 : 9 N E: I 9 N E: O @ 9 N E: 9 N E:
9 N E: O 9 N E: 9 N E:$-9 : $-9 N E: O $-9 : N I 9 N E:9 N E: - 9 N E: O $-9 N E:
9DE6:
@ 9 : O 96 6 : 9 N E: 9 N E: - 9 :
E6J
I % $-96: O $b @ 96: O @b ' 9DE6: - 9 : & 9: 9 : 9: - 9 :
$b @b P $b 92 ECHH: " % 0 $b O 6 @b O >8
> 8
) - " &
,,
7 D 7 GK 5 9DF: 9DG: 7
- O
9:
9DEE:
E
9 : O 9 :
9:
E
O
9 : - 9 : E
9DE :
- 9 : 9DJ: 9 :
9 : 9 E: 9DJ: 92 M 2 ECCC: Æ
7 GK 1 .8'77 9GGC: - 9 : O $ 9 : $- 9 : 2 9GGC: 95EJ: 9DE6: .8'77 0
9 : 9 : $-9 : 9 : 9 : $-9 : - O 9 : O 9 : 9 : $ 9 : O E ; E 9 : @ 9 : 9 : 0 9 : # 9: 9DEG:
; D ' ; O 6@ 6 O 6 96 6 : 6 " ' 9DD: 9DE : ' 9DE6:
E6D
@ 9 : - 9 : ' 9DEG: 0 E W
EX
(
)
9 : O 9 :
O E
9DEF:
9DEG: 37' 9 : O
9 :
9DEJ:
% 37' 9 : 9' 9G J:: 9GFF: & 9DEJ: 9 : 9 ECCH:
7 FH J "( .7' $% $ # 97 ECCC: 5 .8'77 %
7 FH J
) - 9 : - 9 : 9 : O -
0 &
%
*,+ ,
,
0 97 FHGE:
$ O "
E6H
% 9DEJ: - "
&
#6 66 1 ! -
% $ 0 O
% O 37' 9 :
9DED:
37' 9 : 9DEJ: " "
#6 66 1 %
$ 9 : " ; 9 : 9 N E: 97 M ( ECKK: "
$ ( ; 9 : O 9 : 9 NE: O 9 N E:
9 : 9 N E: ; & O 9 : 9 N E: / ; ; O % 9( ECCJ: ' O E # & I
/ " A
5 %
E6K
N E
, E O 0 % 9 % 0 $- O 6 @ O >8 >: " 2 9 N E: 9 N E: $- 9 N E: ' 9DEG: 9DEF: G (
"
F F 7 0 & &
%
,
0 9 ECC : 97 FHG :
92 ECCD: $ 7 DG 2 - ' ' 7 - 9 : 9 : 37' 9 : 37' 9 : 2 5 ' 9FFK:
- O
J - 9 : J
9DEH:
0
J O
E
37' 9 :
' ' I ' 9DEH: 9FFF:
E6C
15
10
5
0
−5
−10
−15
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
# DJ0 , ;
, - $% $
( ! ;
9 : O 6
9E :
:
E 6J N 6 6J
9DEK:
; O 666 O W6 EX 9# DJ: O E66
W6 EX ' 9DEK: O G O E6 & $% $ # DD $% $
9 : $ " 37'O 6 GJ # DH 37'O6 G6 # DK $$ ' O J 9 : 937'O6 G: O 6 DG , 9DEK: 9 : O G 6 % # DE6 O G E6 # DC 37' 9 : O G E6 # DE DEE
9 :
EE6
3
2.5
2
1.5
1
0.5
0
0
10
20
30
40
50
60
70
80
90
100
# DD0 , $% $
3
2.5
2
1.5
1
0.5
0
0
10
20
30
40
50
60
70
80
90
100
# DH0 , $% $
"
EEE
3
2.5
2
1.5
1
0.5
0
0
10
20
30
40
50
60
70
80
90
100
# DK0 , $% $
+
2
$% $ $% $ & 9# DEG: $% $ 0
< 6
$% $
" ! & 97 FE:
6
,& 9 :
9 6
7 &
; 6
7
EE
2.5
2
L−o−o MSE
1.5
1
0.5
0
3
4
5
6
7
8
9
10
Number of neighbors
# DC0 9 : O G E6 O 6 DG O J
−2.5
−3
Prediction
Value to be predicted
Winner−takes−all prediction −3.5
−4
3
4
5
6
7
8
9
10
Number of neighbors
# DE60 9 : O G E6 O 6 DG # DC O J 9 : , O 6 DG 9 : O G 6 9 :
"
EEG
2.5
2
L−o−o MSE
1.5
1
0.5
0
3
4
5
6
7
8
9
10
Number of neighbors
# DEE0 9 : $ O G E6 O 6 DG O J
−2.5
Winner−takes−all prediction −3
Prediction
Value to be predicted
−3.5
−4
3
4
5
6
7
8
9
10
Number of neighbors
# DE 0 9 : $ O G E6 O 6 DG O J 9 : , O 6 DG 9 : O G 6 9 :
EEF
y 0 1 00 11 1 00 111 00 11 00 11 00 10 0 1 00 11 11 00 11 00 0 1 11 00 0 1 1 0 11 00 11 00 11 00 11 00 1 1 0 00 1 0 11 00 1 0 11 00 00 11 0 1 00 11 11 00 00 11 0 1 00 11 00 11 111 00 11 00 11 00 1 0 11 00 11 00 00 11 0 00 1 00 11 0 1 00 11 00 11 11 00 1 0 11 0 1 00 11 1 0 00 11 11 00 1 0 100 0 0 1 0 1 00 11 1 0 11 11 00 0 1 0 1 0 1 1 0 11 00 1 0 11 00 00 11 1 0 11 00 00 11 1111111111111 0000000000000 1111111111111 0000000000000 q x q x
y
y
11 00 1 0 11 00 1 0 11 00 10 0 11 00 10 1 0 1 1 1 1 0 0 1 0 10 0 11 00 11 00 10 1 00 0 1 0 11 00 11 00 1 0 11 1 0 00 11 0 1 00 11 00 11 00 11 0 1 00 11 11 00 00 11 00 11 001 11 00 11 0 0 1 x 1111111111111 0000000000000 q
DIFFERENT BANDWIDTHS
LOCAL WEIGHTED REGRESSION
β(k m), MSEq (km )
β(k M), MSEq (kM )
TRAINING SET
LEAVE-ONE-OUT β(k M), MSEloo(kM )
β(k m), MSEloo(km )
yq
STRUCTURAL IDENTIFICATION
MODEL SELECTION OR COMBINATION
PREDICTION # DEG0 $% $ 0 9: & # 9 : O 9: $-9 : O 9: O 37' 9 : 37' 9 : 9: 37' 9 : - %
.
" G $% $ " 8 # #
B 2 #
3 ' #
# %
% 7 H 7 HG 7 HF & 7 HJ
7 HD
G 1(" 8 93% M 3 ECCK: E $ 2 EJ ! !"
EEJ
EED
K 9(( ->9(( 92 ECCC : # KF ([ ([ N E ([ N /
( 0 / / / # KJ
/ O G 9 : / & 9G: 9 : 9 : % / 0 E # KJ / O G / 9 G: O F 9 : & 9G: 9 : 9 : ( N F " .8'77 Æ
" .8'77
4%
!& ..
# #
EG6
1 2 3 it
1 2 3
e (3)
3 4
cv
e (3) 3 4
5
5
1
2
1
3
2 3
4
4
5
5
a)
b)
# KJ0 $ : 0 / 9 / G: / $% $ & 9G: 9 / G: :
0 / 9 / G: / 9 O F: $% $ & 9G: / 9G: 9G: 7 9 ' 9KJ: O E: 7 KD # K E K & $ ( E ( O ) [ O ) 7 ( ) ( E ) O [ $ # 9: O E # 9:
# 9: O - O $#
9KC:
& - 9 # KD: # .8'77 97 GK: # 9: # 9:
# 9: O
# 9: $# O E ; E ;
9KE6:
; D I # 9: 9 37' 9DEJ:: 1 " ! "
EGE -3
y
β xy
y5 y4 y3
loo
exy (3)
-3
x3 β xy y2 y1
x1
x2
x3
x
x4
x5
x
# KD0 ( . ! 7 O E ( E ( O [ [ J G / 9 :
% 5 .8'77 % O ( E ( N E
0 )- O -9) : )- O -9)- : - 9KJ: , ( E ( ( NE O ) O ) O ) 5 O B 99 :: O B 9 : O 9 : 9 # KH: ( ) $ $#(
#( 9: B 0 ( #( ( N E # ( E ( " O
: $#( ( 9: O 9-
9KEE:
& O
# KH 5 O J
O ' 9KC: # 9 : & $# #( 9 :
EG
-3
-3
y
β yz
β xy
y5 y4
loo
eyz (3)
y3 loo
exy (3)
^ y -33
it e xz (3)
y2 y1
z
z1
z2
z4
z5 z3
x1
x2
x3
x
x4
x5
x
# KH0 " . ! 7 6 O E ( E ( ( NE & # 9G:
& 9G:
#( #( 9G: O #( 9G:
& 9 : $#( # 9KC: 9KEE:
: $#( ( 9 : O 9-
9KE :
- O # 9 : O Æ
9KEG:
Æ O ( 9
:
.8'77 %
" ( - #4 # .8'77
7 GK .8'77
W
9 N E:X ! W
EGG EX
# 9: O $# O * + ; ! O N ! O ! O E ; E ; 9E ; : ! 9E ; : 9! : O O O E ; E ; 9E ; : - N ; # 9: O O 9KEF: E ; E ;
O 9! ! : ; 5 ; O ! ! ! - O ! W9 N E: EX # 9: O - $# Æ
.8'77 9KEF:
! N O ! .8'77 ( E ( N E
[ ( E [ ( / $ 0 E
( E $#( Æ E Æ O G ' 9KEG: 5 .8'77 0
( 9: O 9 Æ : $#( O * + * + O N 7 N Æ N 7 O E ; E ; #( 9: N Æ 9E ; : N 7 O O E ; #( 9: N Æ 9E ; : N 97 : O O E ; #( 9: N Æ 9E ; : 7 9E ; : N 7 O O E ; #( 9: N Æ 9E ; : 7 N - O O E ; #( 9: N Æ W9E ; :$#( 9:X O E ;
EGF
0
O 97 7 : 7 N O 7 - O 7 ' 95ED: #( 9: O - O ; ' 95EJ: $#( O 7 ' 95E6:
9KEJ: 9KED: 9KEH: 9KEK: 9KEC: 9K 6:
- ; 5
"
( )*' )
I $% $ % 0 E % N E # [ 0 ' 9KJ: 97 JHG: [ G 9 7 KG: F % & J .8'77 9 : 7 KD " ( C " 9KJ: 92 ECCK:
$ . $% $ 1 ( C
$% $
0 9: 9 : 9: Æ 7 C 3 ; $% $ .8'77 7 CG $% $ ( K
7 # 9 M ; ECCF: " ECCK $% $
. 1 0 # & 0 ' *
$ 2 7 CGEG $% $ # 7 CF " /
$% $
$ )*' )
1 1
1 3 2 '1& $% $ 3 ; 93 M ; ECHH: 9# CE: 3 ; % 0 J6 EGJ
EGD
3 3 ; 3 ; &
"
( 3 3 ; ( N KJ ( ( D ( E ( EK
)9( N KJ: O 9)9(: )9( D: )9( E : )9( EK::
9CE:
O KJ 97 KG: 5 $% $ ( D J66 $% $ O G O E % 8
3 7 ' 9 ,: 387' O 6 6 G I
98 : 9. ECCE: 837' O 6 6HJ 1.5
1
0.5
0
−0.5
−1
−1.5
−2
0
50
100
150
200
250
300
350
400
450
500
# CE0 3 ; 9 : $$ 9 : 8
3 7 ' $$ 387' O 6 6 G $$ #
EGH
92 ECCK:
$ )*' )
$% $
5
6
( / ( - # + 9 M ; ECCF: $% $ 7 ( % . 1 0 # & 0 ' *
97 M 4 ECCK: $ 2 ECCK
666 1 # , ( / ( -
# + 9 M ; ECCF: P & 95 ECCF: " E666 9# C : E6666 9 E666 # CG:0
E66 &
666 1 ; ( / ( - # + 9A M 5 ECCF: ; E66666 9 E666 # CF: J66 9# CJ:0 J &
666 1 7 . 1 0 # & 0 ' *
9$ 2 B ECCK: J % (* 97 M 4 ECCK: 666 9# CD: 66 9 # CH: "
EGK 300
250
200
150
100
50
0
0
100
200
300
400
500
600
700
800
900
1000
# C 0 7 # 250
200
150
100
50
0
0
100
200
300
400
500
600
700
800
# CG0 7 # 9 E666 :
900
1000
EGC
1.4
1.2
1
0.8
0.6
0.4
0.2
0
0
100
200
300
400
500
600
700
800
900
1000
# CF0 7 # , 9 E666 : 1.4
1.2
1
0.8
0.6
0.4
0.2
0
0
50
100
150
200
250
300
350
# CJ0 7 # ,
400
450
500
EF6 0.8
0.6
0.4
0.2
0
−0.2
−0.4
−0.6
−0.8
0
200
400
600
800
1000
1200
1400
1600
1800
2000
# CD0 $ 0.5
0.4
0.3
0.2
0.1
0
−0.1
−0.2
−0.3
−0.4
−0.5
0
20
40
60
80
100
120
140
# CH0 $
160
180
200
5
EFE
#
& 7 CGE
666 $ $% $ ( D K 5
$% $ 0 .8'77 .8'77 2 $$ 9 #: ' 9JJF: 97 DF: ; O F O E $$ .8'77 % 0 O J D O EJ O $ # O ED 7 9ECCF: ; O 6 9A M 5 ECCF:
O 6 O F " $ (
666 ; $% $ #
7 # ( 7 9ECCF: 9 O F:
9#"8
:
E
9 ECCF: 7 # A 5 9ECCF: $% $ $ F
5
&
CE 37' 9 % 3 7 ' :
D $% $ 9 : 7 9ECCF: 9ECCF: J &
EF 300
250
200
150
100
50
0
0
10
20
30
40
50
60
70
80
90
100
# CK0 $% $ .8'77 9 : 9 : $$ .8'77 DF
# CK WE E66X
O E66 $% $ .8'77 DF # CC $% $ .8'77 WE E66X " DF $$ C 837' 98
3 7 ' : 9 ,: $% $ 9 : 9A M 5 ECCF: J & 37' 93 7 ' : F " $ ( CG $% $ .8'77 9 O 6: 9 O F: F # CE6 97 M 4 ECCK: "
$ 93 ECCKB 3 ECCC: 93 ECCC: 5 &
EFG
300
250
200
150
100
50
0
0
10
20
30
40
50
60
70
80
90
100
# CC0 $% $ .8'77 9 : 9 : $$ .8'77 DF EE66 EEK6E K6 KH6 CH6 G666GE66 FEK6F K6
.8'77 6GJ6 6GHC 6HCG 666G EEGF
" .8'77 66 C 6EGE 66JJ 666G 66JE
7 66HH 6EHF 6EKG 666D 6EEE
66JJ 66DJ 6FKH 66 G 6ED6
CE0 . D 37' $$ 37' $$
7 # 6 F E66E F 66 F G66G F F66F F
.8'77 6E JJ 66FD6 6 DGJ 66FDE 6EDE6
" .8'77 66FC 66GDG 6EDC 66F6J 66DFF
A 5 66DDJ 66DED 6EFHJ 66JFE 66H 6
C 0 .
837' $$ 837' $$ 7 #
EFF
8 E G F
37' 666EK 66FHJ 66DFJ 66DDH
3 $ " $% $ O 6 3 " $% $ O F
CG0 37' $
Local Linear Modeling MSE=0.0018
Iterated Lazy Learning n=20
0.5
0.5
0.4
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0
0
−0.1
−0.1
−0.2
−0.2
−0.3
−0.3
−0.4
−0.4
−0.5
−0.5
0
20
40
60
80
100
120
140
160
180
200
0
20
40
60
Multilayer perceptron 0.5
0.4
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0
0
−0.1
−0.1
−0.2
−0.2
−0.3
−0.3
−0.4
−0.4
−0.5
−0.5
0
20
40
60
80
100
120
80
100
120
140
160
180
200
140
160
180
200
Iterated Lazy Learning n=24
0.5
140
160
180
200
0
20
40
60
80
100
120
# CE60 ( $ 9 : 9 :
" $% $
!#
EFJ
140
120
100
80
60
40 Lazy learning method Benchmark method
20
0 1000
1200
1400
1600
1800
2000
2200
2400
2600
2800
3000
# CEE0 # 0 $% $ 9 : 9 :
$ ,
1! 3
51 $% $ I $% $ # % /
D # ) ) ( ( N E 9( N E: O )
)
_ O W) ) ) ) X " E666 666 " # CEE $$
$$ 666 H Fd
$ +
2 $% $
EFD
.8'77 $% $ 3 $% $ ' $$ . % 9ECCF:
7 7
A 5 9ECCF: ( 3 E66 $% $
7 . $% $ ! $% 5 .", & Æ "
9( J: $% $
5 $ 7 E6 7 E6GE E6G % 7 E6F EFH
$ ! !
EFK
# % % 7 E6J
2 #
$ 3
9> M # ECCGB > M # ECCJ: #%% ( 9. ECCH: " &
0
6
" 7 E6DE
6
7 E6D
% 6
7 E6DG
7 % ' 0 9$ ECHC: & f O 9 9(: *9(: (:
9E6E:
W EX 0 *
! ( 5
f O D9(: 9(: N # 9(:*9(:
9E6 :
D9(: W X # 9(: W X 9$4: 9$": D " T U T U
< (6 ? @6
/
7: 8
* *
' * 5
$
EFC
, *
f O 9 *:
9E6G:
E ,
7 ) * $% " A
7
2
0
< (6 ?&!5 @6 7: %8 * 9(:
/ 9 * : * *9(: * * * * * .
9(:
9 * : O 6
9E6F:
( 9E6G: & 9 * : f O 9 9(: *9(:: O O 9 * : N 9
* :9
9(:
: N 9 * :9*9(:
* : N K 9
9(: *9(:: 9E6J:
K9 9(: *9(:: 9 9(: *9(:: 6
) 4 ( 6 = & W6 >X 9> & : & 9(: 4* ( 6 ) F4 4
9E6G :
9E6GG:
% Æ % %
$ ! !
EJF |x|
µ e−η t
µ e −λ t
τ1
τ2
τ3
τ4
t
# E6E0 ; 0
% Æ 9 : 9 : / 9 :
I $"
!
$" Æ 9 # E6E # E6 : 4
" 4 O E % " " Æ
4 > 7 9ECKK: $ 3 ' 3
7
0
5 0
$ "
EJJ
|x|
τ1
τ2
τ4
τ5
τ6
t
# E6 0 ; 0
% Æ 9 :
"
7
2 *
97 M $ ECCEB 3 M ECCJ: % *
* 0
f O 9 : N '9 :*
9E6GF:
* 9E6GF: * 5 E
* O 9 : '
9E6GJ:
! ( f O 9 *:
9E6GD:
#
O -9 : * O B 9 :
f O D N '
9E6GH:
$ ! !
EJD
7 0
% " % & > % 9E6J: " % 9E6GF: "
( 0 f O 9 *: O 9 :
9E6GK: 9E6GC:
9(: /
< * " & I
7%
( +
& ! % 2 ! % ! ! " ! % & " Æ & 7 $ 9 $ : 97 M $ ECCE:
7%
+
# % % 7"7I 3"3I 7 % 5 0
$
EJH
7 ( J #%% ( 7 9. ECCH: $ 3
9> M # ECCG: #%% 93 M ECHJ: %%
0
" %% * 5 %% 3"3I # "
! % & &
7
2
% 9# E6G:0 E $ 3
9JE :
G 9JE : 7 E6F "
& 0 9: % 9: 9JE : 9E6G: 7 JG
$ ! !
EJK
NONLINEAR SYSTEM
LOCAL MODEL
LOCAL MODEL
LOCAL MODEL
LOCAL CONTROLLER
LOCAL CONTROLLER
LOCAL CONTROLLER
CONTROLLER
# E6G0 # 0
0 fO
% 9 :9D N # *:
9E6F6:
% 0
W6 EX
O E
% 9 : O E
9E6FE:
f O D N # *
I 9E6F6:
* O "
9E6F :
" % O E 0
*O
% 9 :"
9E6FG:
$
EJC
% 0 W6 EX O E 8 9E6FG: 9E6F6:
fO
% 9 :% 9 :9D N # " :
9E6FF:
9D N # " : D fO
% 9 :% 9 :D
9E6FJ:
#$(E 9. ECCH:
(6#66
5 %
% 9 : % 9 : 5 9 M 7 ECC :
% 9 : % 9 : 0
1 (6 6
/ * 7: "$8 * ' 6 ' -
9D : N D 2 6
9E6FD:
Æ 9E6FJ: 9E6FD: 9E6FJ: D 1 7 9ECC : 9E6FJ: D #
(6#66 %
" E6F 1 8 $ % $ % $ 97 $ : " %% $ 0
$ $ Æ $
$ 9> ECCC:
$ ! !
ED6
7
%% . 8 9ECCH: #$( 9. ECCH: % f O D9 * :9
: N # 9 * :9*
* : O D 9
: N # 9*
* :
O E 9E6FH:
* O " 9 * :9
: N * O " 9
: N *
O E
9E6FK:
% " 9 * :
fO
% 9 :9D 9
: N # 9*
* ::
9E6FC:
% 9E6FC:
*O
% 9 :9" 9
: N * :
9E6J6:
5 9E6J6: 9E6FC:
fO
% 9 :% 9 :9D N # " :9
:
9E6JE:
2 ' 9E6FF: & " % O E T U B T U
(6#66
5 %
" 9E6JE: ( f OD N
ÆD
9E6J :
D 5 % ÆD D % $ $ 97 $ :
D N D O 8
9E6JG:
$
EDE
O
ÆD N ÆD
9E6JF:
1 (6 6
7F G H 0 !8 / 7: $ 8
*
,
.
. 9 : 2 E
9E6JJ:
9. ECCH: # D
D
D N # " O D N # " O O D N # " O D
9E6JD:
" 9Q ?
M ECC6:
2
D N ÆD O D N # " O D
7 9E6JE: f O D9
: N
% 9 :% 9 :ÆD 9
9E6JH:
% 9 : O E
:
9E6JK:
E6J 9E6JK:
% 9 :% 9 :. 9 : 2 E
9E6JC:
. 9 : 2 E
9E6D6:
5 " 9E6D6: " 9E6D6: "
7
,
"
% "
9# E6F: #$ %&&'(
$ ! !
ED
NONLINEAR SYSTEM
LOCAL MODEL
LOCAL MODEL
LOCAL MODEL
LINEARIZATION
CONTROLLER
# E6F0 # 0 % % % f O 9 9(: *9(: (:
9E6DE:
Q? M ECC6: 9 M 9 ECKC: - 9E6DE: * O " 9 : " -9(: ! * O " 9 -9(:: 9 : 9# E6J: * 978: %
" * &
" 9 5J: ! " %
" %
$
EDG
u
y
PLANT
CONTROLLER
IDENTIFIER # E6J0 f O D N # * N '
O E
9E6D :
' & %
fO
% 9 :9D N # * N ' :
9E6DG:
1 " 9E6DG: % # ([ [ "
[ fO
% 9[:9D N # * N ' :
9E6DF:
I 934: 97 $J: 9..: 97 $D: 9Q ?
M ECC6: % 9E6DF: 5 f O D N #*
9E6DJ:
78 % 9E6DF:
78
[ f O D N #* N '
9E6DD:
$ ! !
EDF
' & 34 .. 34 .. & '
(6#66
5 % %
" 78 %
[ fO
% 9[:D N
% 9[:# * N
% 9[:' O D9[: N # 9[:* N '9[: 9E6DH:
9$.4: 7 9ECC : 9. ECKK: " 78 $.4 Æ 9" M 7 ECCD: % 9E6DH:
5
f O D 9[:
9E6DK:
" D 9E6DK: [ 9 % : 5 Æ Æ D 9[: E6G " D 9[: O D [
7
0
" P
0
9 6
5 98$7: / Æ 9;
M 7 ECKF: 7 % 7 9* * :
+ 6
" ! 9 M 2 ECCH: 1 ! 9 % :
$
"
EDJ
97 M 2 ECCH: "
!
7" +
2
5 & 0
> 6
7 % %
> 5 $ 6
& % 0 % %
> $6
I %
9 : % & 9 :
0 % % < 6
" %
0 5 6
0 6
!
" $% $
EDD
$ ! !
. $% $ !
0
$% $ " !
! $% $ 92 ECCKB 2 ECCK B 2 ECCCB 2 ECCC:
$% $ % 7 EEG $% $ " " 7 EED 7 E6DG $% $ $% $ % 9 : I . Æ & EDH
EDK
& / I 97 ECKD:
% % $% $
" 7 EEK
%
97"7I: 93"3I: $$ ! "
$% $
% " 97"7I: ( 0
9(: O 9( E: 9( # : *9( : *9( + : -9( E: -9( : N -9(:
9EEE:
( # + 9(: *9(: -9(: % 0 6 ! 9 : 83 = 9 8 3 = : 9$ M 2 ECKJ: $ 9 :
*9(: 9(: , *
+9( E: O 9( E: 9( # : *9( : *9( + : -9( E: -9( :
9EE :
9EEE: 0
9(: O 9+9( E:: N -9(:
9EEG:
" 9$ M 2 ECKJ: 9EEE: ! 0 9( N E: O B 9 9(: *9(:: N - 9(: 9(: O 9 9(:: N -# 9(:
9EEF:
)
% # y ref
INVERSE CONTROLLER
u
PLANT
EDC y
# EEE0 *
B 0
- -# % 0
( - 8 ! ( 9EEGH:
W-9(: -9(:X < O < 9A : O 96: 96: N
9EEF6:
EHK
' 9EEGC: > I 9EEGC: 9 E 9 E 99 : >
O 9 9
9
N : :9 N E
9EEFE:
7 92 ECCJ: 9EEG6: (
* 9 9(:: O 9(:
9EEF :
O 9 N : 9
9EEFG:
9EEFE: #
"
9EEGH: 9EEG : 97 ECKD:
% 9EEG : * 9EEG6: % 9EEG6: 9 A : .
' O .
. ..
.
. .. .. 9(:*9(:. N > 99 9(: N *9(:: O . O 9(: E 9(: N 9(: *9(: N *9(: *9(: N N > 9 9(: N > *9(: 9EEFF:
E 9(: *9(: . ..
9EEFF: D > A 5 9EEG :
< 9A : O 9( : 9( : N
9' >
9( N E::
9EEFJ:
# & %
< 9A : O 9( : 9( : N
9' > 9(:: N ' > 9( :
9EEFD:
<
EHC
^< O 9 9( :
>
N
:Æ 9( : N
*,
= ' = 9(:
= ' = ' Æ 96: N Æ*96: N = 96: =*96:
>
-
+
Æ 9(: N
= ' Æ*9(: O =*9(:
O ^< 9( : N ^< 96: N ^< 96 ( : 9EEFH:
Æ Æ* & * ^< ' 9EEFH: %
/ # & ^< 96: O 6 7
/ > ^< % Æ* ( >
> O
= ' O 9(: E N *9(: N > 9 = 9(:
9EEFK:
/ 0
> O 9( :
9EEFC:
# ^< 96 ( : % 0 6O
= ' O 9(: N *9(: N > =*9(:
9EEJ6:
' 9EEFK: 9EEJ6: 9 7 / 5 Æ ' 9EEJ6: 7 > / ' 9EEFC:
> O 9(:
9EEJE:
# ' 9EEG6: 9EEJE: 9EEJ6: 6 O 9 N :*9(: N 9 N 9 : 9(:
9EEJ :
9EEGH: 7 ' 9EEG6: 9EEJE: 9EEGH: 9EEFC: 8 9EEGC:
9(:
" ( )*' )
% / 97 E6G : ( 9( N E: O 9 9(: *9(:: N -9(:
9EEJG:
EK6
96: - % 1 %
A O < 9A :
9EEJF:
/
A O *96: *9(
< 9A : O
E
E: %
9( : 9( : N
E ..
. . . E . 9(: *9(: ..
.
. .. .. 9(:*9(:. .
9EEJJ:
E 9EEJH: " ( 9EEJH: / A O *96: *9E: *9( E: % /
/
9( N E: O 9 +9(: 9(: N +9(: *9(: N " +9(: O O 9 9(: N *9(: N "
9EEJD:
9 " % +9(: " & %
& 5 I 9EEJD: 9 7 EEH:
* 9 9(:: O N
N 9
9(:
9EEJH:
8 9EEGC:
9( : O
9EEJK:
7 EEH 9EEJH: ' $ 9EEFK: 9EEFC: 9EEJ6: Æ 5 ' $
9EEJD: 9EEJ6:
= ' O 9(: N *9(: N > =*9(:
9EEJC:
9EEJJ: *9(: A 9EEJC: ( 9 % /
EKE
J(U (1) ) (1)
u
(t+3)
(1)
u (t+2)
J(U (2) )
(2)
u (t+2) (2)
(1)
u (t+1)
u (t+1)
(2)
(1)
u (t)
u (t) (3)
(3)
u (t) STATE at t=k
u (t+1)
(3)
u (t+2)
J(U (3) ) GOAL
# EED0 7 % / O $% $
/ A A A
< 9A :
( D $% $ % 9 : 9EEJG: ! 5 %
9EEJC: 9EEJC: $$ % $$
A O < 9A : /
9EED6:
% % 9EEJJ: ( < 9A : A ( $% $ < 9A : A 9EEJC: % 9 # EEH # EED: A A A A O A A 0
% A $% $ A ( B % / B < 9A :B
EK
E " ( O 6 % A 9 : C ( E #
A O * 9(: * 9( N E: * 9( N (
E:
* 9 : $% $ G # 9 " O ( ( N ( E $% $ F 2 8 9EEGC: J ( 9EEJJ: D ( *
=< =< =< =< O =A =* 9(: =* 9( N E: =* 9( N (
+
E:
9EEJC: H 1 A
A
K " 9A O A : C C ( * 9(: A E6 1 ! 8 # EEH0 $% $
' 9EEJC:B
I A 9 9( ECCF:: $% $
# EEH0 9: 9: G
4
$% $ 9( ECKH:
EKG
! 9 : 5 & 3 $$ J 9> M 3 ECH6B ECCF: $$ I 9ECCFB ECCH: 9 ECCJB . M S ECCD: % $R8 % #%% % / 3
% 7/? 9ECCH: 5 % $% $ # $% $ % 7 & 5 # 3"3I 9
: 7 E GG 7 % # & 9 :
$ )*' ) - 0 $% $ 5 $$ 5 $% $ ( E6
$ 6 $ 6
% 97 E6GE: $% $ % $%
% $% $
$ 6 6
(
97 E6H: "
97?
? M 7 ECKC:
EKF y(t)
1 5
LL 6 2
4 3
RLS
u(t-2)
# EEK0 8 $7 9 : $% $ 9 : 9(: O 9*9( ::
D %
! E J 9 : 8$7 &
$% $ 1 $% $ " $$ & & * 9> ECCE: 97 & ECCH: g 9( M ; ECKK: ( 9(: O 9*9( ::
! # EEK $ " D 9 :
E 8$7 9 : D
I $% $ & 9 F J: 9 : $$ " Æ ( I %
$ 6 6
7 % $% $ % 3 / 97 E6F: $$ % $% $ %
EKJ
9EE :
$ 6 6
Æ & 3
97 E6D:
3 5
I $% $ 0 ! Æ !
$ 6 6
$% $
5
&
% 0 $% $ %
EKD
! . $% $ " !
% 7 E ! 7 E GE $% $ ! 7 EEG
7 E G 9: 9: $ #%% 7 ( 97 E6DG: 9: $% $ 7 ( 97 EED: 7 E GG $% $ I ( 7 EEK 7 3 $% $
5
$% $ 0 E / , < 9ECCJ: $ 9ECCD: 7 9ECCDB ECCC: P EKH
EKK
? 9(: *9(: P G666 G
666 E666 ( $ 9ECCD: 0
,
9( N E: O 9( N E:
9(: O
O
-
9(: N E E N 9(:
9(:
9(: * 9(: N E N * 9(: N 6 J 9(: N 9(:
9(: E N 6 J
9(:
N
9(:
N
9(: E N 6 J
9(:
9(:
9E E:
W X " * G # < " 7"7I 9 ECC : & 0
9(: O
9( E: 9( : 9( G: 9 9( G: E: *9( : N *9( E: E N 9( : N 9( G:
9E :
O J666 !
W X
#
$% $ 95 : ' ' " $% $ %% 9$ ECCD:
9A : 97 ECCD: 97 ECCC: $$
F ##
9 M $ ECCD: #%%
92 M 2 ECCC:
&
666 1 E:
K:
'
#(3 9>H: 9>K: #(3 E " % 9>G: ( " %% C 9>H: G ( ' 9>D: 7 F ( A ' 9>K: ; E #(3 E6:
P #(' E ( " %% C 9>H: ( a O
* 9 C :9 C : *
9>EE:
G ' a F ( 9>C: J ( ' 9>D: 7 F 7 D 1 A ' 9>K: 7 F
DF
(
+ $ 0
"
9 :
9 : O 9 :
9 9: # 2 . * - ( 3 , 9EVJ: EEVHG HJ
HD
( ; 3
M 7 7 ECCH $ # 6 . >, 9EVJ: HJVEEG 8 2 ECCD ) . 6 ., 1 , 8 2 M 5 2 4 ECCH #%% 7 3 $ 3 " - !$3:: *4 8 37 M > 9: ) ) # ) + # 8 2 ECKF . 0 - !3:% *4 7 > # 9: (*E )
) JF S 0 3 , ; 2 ECC "
&
2 + HH VHK6 3 ; 2 ECC ' !
.999 / 2 2 , 0 9D: KDFVKHJ 5 2 M ; 2 ECCH #%%
- %$"3%$ *4 .(# 5! 7! . ( 1 + - 8
#
5 2 M ; 2 ECCH %% %% ( ( (9 : EDEVEH6 5 2 M 4 ; ECCH 7 2 . I .999 / 2 2 , 0 '9 : FGHVFFE 5 2 ; 2 M ( , ECCJ ( 82# #%% " 7 . 2 - 3!" *4 # # 7 * M . ; 9: .+#22 5$ . + *
# 6 2 2 , 0 5 2 3 2 M ; 2 ECCK - : 3 : *4 - * .999 . + * 2 2 , 0 "''' 7 3 ( 5 2 ; 2 M 3 2 ECCK " 0 %% % - :3 $ *4 2 9: 2 ( + . . J " #%% 7 , . 2 ECCJ ; - E + 2 3 0 7 > ( 2% ECHG ) - + 6 ., 3 ( ( 1 " > ( 2% M > ( , ECHJ I %% 0 .999 /
+ KGJVKGK >( 2% ( ( 8 ; M > ECKE , % (.#) * # ) (9 : GGCVGH
HH
; > 2 ECHH ) * ; ( 9 S S0 . 3 2 ECCH ) 5# 4 5 * 3. . 3 " 9 " : 3 2 M ; 2 ECCC / /
' , ) 8!"8"," !CCH "8"," 1$2 2 2 3 2 M ; 2 ECCC K
( B 4 # * * 6 * 8!"8"," !CCD "8"," 1$2 2 2
3 2 ; 2 M 5 2 ECCC $% - %!$3% *4 3 7 , # M > ; ECCE 7 - ; J VCK 4 ( M # 3 ECCK * ; 4 + / ) S 0 , ( ECCF # ) & - + I 1 . , ( M . > ; ECHJ 7 - .999 9C: C CVCGF , ( ( 3 M . 7 & ECKH ; # 9 : 7 ( ECHC 8
* # ( # " K CVKGD 7 ( M 7 > , ECKK $ 0 * # ( # ' JCDVDE6 7 ( M ( $ ECCJ 7
$ 8 0 . 3 + (
HC
.8 ( ECCJ 9 ) * # 6 . ( 3 0 3" . ( M . 5 ECDH - .999 / . * / EV H . ( M ; ECHC 7
0 '
% 2 ) GHHVF6G ; ( ECCD > $ ' - " %3"%" *4 7 2 M ; . 9: . 6 # / (
* ) * I 7" 7 7 . , 3 $ M , 2 8 ECHH 3
'3 * > ( ( & 9E: EVGK $ , M > ECHC , .999./ 9 : 6 V 6H $ , $ ;?
M ; $ ECCD # - / * - >
7 4 8 , M 5 7 ECKE # > # 7
S 0 >
8 I , M . ' 5 ECHD - + 6 ( # 2 ' ECHC 2
3 0 $
> #
* ( EV D 2 ' ECK / 0 * &
E > - 7" 3 3 GK > # ECC , * # ( # '"9F 6: CCKVE66F > # M " ;/ ECC 4
/ #
* ( (9F: 66KV 6GD > # M " ;/ ECCJ 0 + B ( EGV H > # M " ;/ ECCD -
) . # ( 5 > , # M > > 7 ECKH . - >, '9JC: KFJVKFK > , # M > > 7 ECKK 9' *
$ $ 1 # ; . 7 M . 7 ECCD 5 # ECCF ' 6 7 1 , ( ; M > 9: # 2 . * - ( D 7 3 ( 0 3 % M , 3 ECCE * * , . 5 . ' ; 3 M 3 5 ECKE - $ 0 . , ' ; ECKC B # ( E ) 8 3 0 ; ( ;
M 5 ECKE > (
S 0
KE
1 5 (I 2 M , ECCF $ % 5G#"8 . 4 7 M ; 9: / ( - 4 * * 5 1 7 > M ; ' 5 ECCE
2 + HCVKH 8 > 3 " > M ; 2 ECCE 0 + ( , > M , 3 ECH6 ;J ; - ' 7 .
S 0
8 ( , M ( ( ECKH 2
' ' .999 / - # ) . D KVDGG >7 8 > ECCG #"70
#%% " 7 .999 / ( 9G: DDJVDKJ > 7 8 > ( 7 M ' 3% ECCH 2 ( * + 3 ( 7 . 5 > M 2 # ECCG ( 83 = 83 = . * + ' EE JVEEJG > M 2 # ECCJ 7' 3 , 7 " I 8 $ 3 - :$3 *4 5 ; 8 " M ECCC -, + ( ., ,
( $ " 3 ( > > 7 3 M 7 > 7 ECCJ * # ( # ( 3 " > M 8 > ECC 5 - $3%
*4 > 3
7 5 M 8 $ 9: # 2 . * - ( F 7 3 ( 0 3 M $ = ECCG + - * 9) # )' *9' # CG6E ( ( 7 3" (
K
3 > > M 8 > ECCF 5 3 ' '3 2 + # EKEV EF 4 S 0
( 8 $ ECKH E * 9 4 & , ( >, 2 $ '
$ % ECDC * # ( # DGDVDFD
, $ M 8 ECCE 7 .
0 , 7 . - !3 " *4 .99 - E K , $ ECHC . 4 , ; $ ECKF 2 - 8 3 0 3 $ EKC / * * 4 ( "" 1, 9EVJ: ECGV J 3 ECCJ - 2 2 , 0 > +LL . . 3 ( M > 5
S
S0
ECKG B ) $ 0 (
> 3 ECCK / - 3 *4 - * . 1 0 # & 0& ' / * 2 ) 3 ECCC .
* ., 7 1 > 3 > 7 M > 4 ECCC ( 3
5 M $ 9: # 2 . * - ( F . 0 3 3
M ( > , ECKC #
2 + 9 : KEV CF 3
ECCE # . 4 > ' 3
7 > 5 M 8 . $ 9: # * 2.-( " 7 3 ( 0 3 5 M 3 . > ECC
. 4 7 > 7 > M . 9: + / 2 ( G ( 3 0 3" . 8 37 ECCF # , 0
., , ( 7 1 7 7 1 ECCH $ $ $ 3
+ ! $3 : *4 8 37 M > 9: ) ) # ) + # 8 37 M > 9: ECCH ) ) # ) + # 8 5 3 ECCF + ) > , # 2 3 0 .7 . ( > , # M 8 7 7 ECK6 ; - >, 9C: HE VHED 8 . 5 5
M , , ECCH 7
) & +
. M 1 8 ECCH #%% ( ( ' GGV FD . ECCE - > K ( - 3 ; 5 2 1 . M > 7 3 ECC6 ( * # ( # ' DDVH
KJ
' .% ECD I #
* ) ( E6DJVE6HD 3 9: # 6 2 2 , 0 * ( K ( 5 > . ECCE 8
2 + 9 : , . 7
M ; ' 5 ECKD 9' 0 (31(7KDE D , ( 7 ( 3 1 . .
8 . M # ; ECC6 8 %
( " CHKVCK 3 > , . ECKH # * # ' I 0 ( . ( 8 2 # 0 EFGVEDH 5 . 7 4 M 2 . # ECC 2 > +4 / # * ( 6 + ( 1 . 7 3 2 . M 3 ( ECH
> ( ( ( &
# # * GKJVGC
32 . ECKK 2 2 . > 8 R ECKD " ) KEVE6D > 8 R ECKH 7 . * ) ) ( " EV GF > 8 R ECCG ( - %3 "% *4 ) - * / . + * 3 8 ECKF 2 / #
* ( E EJVE G6 > 8 ECHK 3 7 , , # FHE
FDJV
3 8 ECJD 8 #
* ) ( " KG VKGH > 8 ECCE
.999 + ( ) 9E: HCVKF , ' 8 ; ' 5 M 8 7 M 3 . ECCJ & * # ( # ( E JHVE H6 3 7 & ECCH % # 6 . >, 9EVJ: EGGV EJJ 7 7 , , M 5 1 . .999 /
( 9G: GEGVGGJ 7 ECCF
- !$3% *4 7 M ; 9: / ( - 4 * * 5 1 ECKC 2
S 0
> 7 7 ECKK # ; * B ( + ( ., $ " , 7 3" ( 3 > 7 7 M 3 ECC ; 0 . % .999 + ( ) E6EVE6H > 7 ECCG $ 3 7 ( 4 * #
( # ''9F : FKDVFCF 7 7 M (
> ( ECKK 2 - ( * & 3 ; 5 "
> 7/? M 3 ECCH % . 4 - * # + + * # 2, ' " > > 7 M $ ECCE # 2 + . 5 " 7? ?
M . 7 ECKC ( . 6 . 5 " ( 7 M , % ECKH +
* #+) 9E : E EGVE K
KH
8 # 7 ECKD ( 4 S0 > 7
S
7 ECCC ) ; 4 # # # ., , ' ' $ ? 1 JHE 7 # ; M $ $/ ECCD > - $3 : *4 %$ .999 + * ; + ( 7 ECHH ( / #
* ( JCJVDFJ 3 7 ECHF ( * > ( ( & #9E: EEEVEFH 3 7 ECHH * * > ( ( ( & FFVFH > 4 9: ECCK 2 ) 4 # & 0& ' / < . ( #
KK
. 4 > M ; ' 5 ECCJ 3 3
' - %%3": *4 ; , % M $ 9: # 2 . * - ( H 3" . $ A ECDJ #%% 7 . * + ' GGKVGJG = A M > 5 ECCF 7 0 - 3 " *4 7 M ; 9: / ( - 4 * *
