Cross-validation model selection criteria for linear regression ... - MyWeb

34 downloads 6351 Views 209KB Size Report
then develop an adjusted cross validation model selection criterion (PDCa) which ... Cross validation provides a technique for developing an estimator of an ...
          

                   

                                    ! "   #  " $  %      &     '   !  

 (  !       )!             )   %         !                  %    * $+ %         %     !     )       %    ,       -            * $ +       )       %     ! (        -      ! !    )      .) ,/ )     !    )    , ,     $  $

   , ,     $ $ .) ,/ )   

0

    '          %          , , *0123+     *$+ $          4   .) ,/  )     ! )      %   %            $   4  ! )               %                 !      %  $  ! )      )!  %  %  )    5         $        $ % !  /

  )! % *0126+     %       7   '  *0161+ - ! $     /   %   4)   /   !   $   %    *8998+        $  % *899:+    $      )       %     !     %    , (  !       )!             )   %         !           / ; )        ! - ,,%  !     )      !       ;       016?  8=:+ '    ;   *  + )  *  +    



D '  % !              ( 

      ,             !    !    ' )                 %            !            4                 '     % %   % !       ! !  B    C      ,    )   %   % ,         !  *80+   )       !         !   4  @                          7   4             !   !    

    5 %

  % 4    !   %  )!  )   ,                -%  )!   )!   %  )         4     !     , , /!      ! G          ;      )     %  %    , ,        % !   4 ,  !  !   )    %     % /  %   4       )    )! 8          E '     4     $ A 8  *E  + H 8  ) ! !       4         ! *88+  /  !     )   

 $ H *0+ A F *  +

*8=+

@       *8=+ 4  ) !     %  %   !    %   ,  $      4  ! )     F *  +  %      %        %  8  ! )        4   :

   ,% $ )   !  %  ! )      F *  + '      %  )  7   '  *0161+   B  C $        %      %   %        %  )!

 A  H 

   *9   +

*8:+

                    

 A  H 

   *9    +

*8?+

7     *  0+ )       *  0+       *  0+           *  +  %  4     ,          9  



    *   +        '    *8:+ 

      *8?+ '     $  ;          )! , ,          !    A * H 0+    

 *   +  *    +       %            D  ¼

¼

¼

¼

  *  + )  *  +   E      ;          E  A *  E+ *  E+ 7  ¼

 '  *0161  399+   $ $ A   E  H

* H +  8

*82+

           %  %

 $ A F *  +

*86+

 ) %   $  4 ! )   F *  + *'   %    *0+     %   ,   $  )  -      + '     $     *8=+  %    % *$  % 0112+ %       $     *86+ *$  % 0112+  ! /      !   $    4   %  $ (/          $  % *899:+    $      )      4      .) ,/ )     ! ?

                 %          E      4 ,      )   4%          ( $          !  )

 *E  +     8   * +

 *  + A



A









   

*30+

'   4      $    !  F  *  + A  

 * +

  

A





8   * +  



 





*38+

   *30+  *38+     !  %  *80+  *88+        )  

 *  +     )! %        4     ;   *38+ *    4  ! ; + '    %        F  *  + %         ! *30+         )      F  *  + G    /      %/,   

 

8   * E  +



          )      F  *  +         4 ! )   F  *  +  F  *  + A  

 *  + A A

   8  * +    E  8   *   +  













   



       %    4    %/       4     ,         )       4     ,        %  )  E   2

'         %   

$ A

 



8   * E  +

$   4 ! )     F  *  +  %            )   *  +  *  +    )    !%    (     %  %    8 $       

$ A  E



*  E  +    H E  





  E             )             E   

  4 ,           )           

     

   !" # $# 

  $%&  '((   # & ) @   )   4     $      %  % '       4   F  *  + (      ) ;  -          % !           , ,    '         *  + )  *  +  %     %   !      !           )!    % !    )          /  8 $   F  *  + A

    E 



   H  

 *



E  +

E  





*=0+

'   *=0+   ,        **  0+E    +   / ;   )  *    0+  %    (    



 

*  0+E   











*



A  8 H 

 

  0+E 

6

A

 0



3

0

8





*=8+

*=3+

         *          )     4+       *  E   +      ,        

            )!    A   E   A  *0   +            )              %          4  A * +   %  4             ¼

¼

 *  E  +  A

  0  

*==+

%    *=8+  *=3+ %    *==+        E    *  E   +   )   % 4   *=0+I F  *  + A    H   

8

0

H 





0



H

8



0  0  *=:+     3  0  

      $  % *899:+      4    4      .) ,/ )     !  %  )! F *  + A    H   

8



H 

  

8

H

* H +  8

*=?+

'  !  4  *=:+  *=?+ %%      %  F  *  + F *  + '   )    !    4  ' 4         !  $   )   F  *  + A F *  + H   



0



H 



0 0 * H + H      8     3  0  



0

8

    







8

*=2+

 F  *  + A F *  + H                  *=2+  $      )     F *  +   /  )     F  *  +  $ H  ";  !  % *82+     -      %    $ £

$ £ A   E  H  



H 

0 0  0 H      3  0  





1



0

8

    







8

*=6+

$ £      )     F  *  + (         4

 



0



H 

0



8

    







*=1+

8

  *=6+      

   % //         

0  0      3  0  

$ A   E  H

    E 





   

    !   '

4   *=1+   $ £   *=6+         4 

  *=1+  ! ! ;            )     %          *0+         ?     $ £ 

$    )          /    

* #)& $+ (  ( *=:+  *=?+  

   H     0 0  0 H 

F  *  +  F *  + A





    

 8 * H +

0

8



    3  0  







8

@      5   *:0+     ! ! * 





*:0+

  

    +  ,%   J7  J         *:0+     )   

 



0

A 0 H *0+

*:8+

(      *:0+     ,    % 4    %   * *0+    4+I

 * + A       0

 

0 0 H   8 

%    % 4   



 

0 8





 

 * + A    A  0 

 

 

0 0 0 0  H      H 8 8*   + 8  0 0 H   8  09

 

*:3+

&   *:3+    



 



0

8

    







8



A   0 

0

 A 0 H *0+

H





*  +

(       *:0+     4   ! )    <     !  



*:=+

    

  A 

*::+



    J            A  4   $   ' !  4       * + A   )    A 9 @  0

A 0 H  H

0  

  *0  £ +

*:?+

  9  £    %       *:?+  0     % *::+      ; ! * H + 



0

 0  

 * H + H

0

*0   +

  +

*







*:2+

( %   %/    *:2+  %   % *::+     0

*0   +

  +

*









  *0   +

*:6+

@   ! 7) J  *7)  0160  0?=+   

 A *0+ '  %  *:2+  *:6+ 

 

0

0  

A * H + H *0+

*:1+

&! *:1+    % !          *:0+I



0  0     3  0  



* H + * H +* H 8+ A H *0+ 8 *    3+*    8+ A *0+ 00

*:09+

%     *:8+ *:=+  *:09+   5   *:0+    !/  ! F  *  +  F *  + A *0+ '   %  )      %     F  *  +



F *  + 

;  !   $   $ $ ; !      $   

  )       %     ! F  *  +   ! ! /    )     F *  +   %     !  $  $

, -  ( # $   %        %          %     %  %  4   ,     )-     %                     )  4/      '  %   4    K     4         !   F  F                 *8?+  %   %     ,  A 8 3        %  4   ,  *8     +   !    7         8



         

           %                %     @                 

  

@ 4   )    $ $ $  $     %      )!  % %                          %             A 0 H



H  H

  

H 

'        %       )     9        8 '   )





 

 %        !  

*9 09+  ) '        :999     0       A 0:        A ?      A =   !  )    <     !   ' ) 0* )+  (% 0* + $  $          19L     $ 08

     $    ) 5   )!     $            69L     %         %      $ '   )  !   ! -   $   !  ! ) ?9L      '        $ £      !       4       *=1+       ;   "      !  A 0:  )       $  $ £      8    3   %!  %      A 8:        A 00       A : '        ' ) 8* )+  3* )+   (% 0*)+    8  %      !  )   

$ )           *1:L+ %        ' ) )!   %      )   %%)      %     $ *10L+   $ *61L+   4   $  $                 $  $     %     $   4      $   (% 0*)+  F    %       F )     !            '                      !   )  %   )!  %     ) (   3  %        4    )        8        9    %/ ,         '         ) )       !  )      )          $               )     %         )   ' ) 3* )+  (% 0*+        3      ' ) 3*+ $       ,  )     %      F   K   )!   %  $ %    F    %  $  $             )     %  )  $ ! $    $         I % $   %  ! )   F        %     !    )! '   $                     03

  =    :      5    %          '           A 03      A ?      A :9 *  =+   A 099 *  :+ @ %      !  )    '      !   ' ) =* )+  :* )+   (% 8* )+ (    (% 8  F   F  %     )      : ' )           %   )!   !%    !        )! * $ $ +       *$ $+    ) )!         !   %  0     *  0113+           5   )       !    !           !       )        )   %          !          5      )! %         !    '    )!           %        %      )!     ! F   <  %  ' ) 0*+ 8*+ =*+ :*+    $    $    ! ;  $         F   $             %                    ;  7        )        %    )     %      $         

    '   ,  4             % %/    %          %        

0=

&& %.    /    '      * +   )         %   M* + *  9+I

M * +  * + A  M* + A 

 M* + ¼

'    ) 4 

 * + A ! 

½  

0 "H

0   "H0

  9

  ! A 9:2280:??=190     " J       )  *N   ! 
½ 

#      * # + # A

0

$

M* + O * +  * $+P 

$  9   9

'   %     / ;   )   %     

   % 

A

½ 

 0       #  * # +  8 M* 8+

A  8 H  (  %  







#



8

0    * +   )  

 * + A ! H (   

 



 0

  





0    * +   ) 4    !  %   !  

4   0 8 0 A    8

 * + A   







&   8 

0 0 H  08 089 



0 H  8:8 

   &       ' 4         4 

 * + A   

 

0 0 H   8 

*0+

(        %   )    % *0128  8:6/8:1+ 0:

' ) 0* +      $ $ $ $  $ £ I   0



$ $ $ $ $ £

8

9

02

831

62

21

3

3

=?

=33

0?3

0:8

= 3929

=?06

=918

=298

=20?

616

8?:

898

=2

:8

? 0981

:=

3=

0

0

:

' ) 0*)+   %     !          )! $ $ $ $  $ £ I   0 '!  (   

$

 

999?L

$ ! (

$

$

08?L 03==L

$ $ £ :99L

=?8L

?0=9L 183?L 606=L 1=9=L 1=38L

 

36:=L

?36L

=28L

91?L

09?L

' ) 0*+   %        *    +  $  $ I   0



8

3

=

:

?

$

??:

?82

:8:

?0?

2:6

*?9+ *28+ *00?+ *029+ *8=9+

$

??2

?81

:0=

?99

23:

*::+ *:2+

*?2+

*20+

*22+

0?

' ) 8* +      $ $ $ $  $ £ I   8 $ $ $ $ $ £

 8

9

9

0

9

9

3

9

9

8

9

9

=

9

0

08

=

3

:

8?32

==33

=:29

=28?

=20=

?

:=9

3?2

396

88=

881

2

3?2

00:

2?

36

==

6

333

:2

8:

2

1

1

812

06

:

0

0

09

336

6

0

9

9

00

=66

0

9

9

9

' ) 8*)+   %     !          )! $ $ $ $  $ £ I   8 '!  (      $ ! (

$

$

$

999L

998L

939L

$ $ £ 996L

99?L

:82=L 66??L 10=9L 1=:8L 1=86L

 

=28?L 0038L

639L

:=9L

:??L

' ) 8*+   %        *    +  $  $ I   8



$

8

3

=

:

?

2

6

1

09

00

003: 0928

1?1

28?

2?1

688

666

123

0960

0888

*?1+

*29+ *19+ *16+ *092+ *089+ *03?+ *0?0+ *899+

*20+

$ 003? 092= *?1+

*29+

123

288

2?3

60=

621

1?0

09??

0898

*?6+ *68+ *6=+

*62+

*61+

*18+

*1:+

*11+

02

' ) 3* +      $ $ $ $  $ £ I   3 $ $ $ $ $ £

 8

9

9

=3

9

9

3

0

3

1?

=

=

=

9

2

:96

08

08

:

8:9:

==93

313?

=23?

=28:

?

:26

321

391

809

806

2

===

0==

21

30

3=

6

392

=8

83

2

2

1

303

06

?

9

9

09

3:1

8

9

9

9

00

=13

8

9

9

9

' ) 3*)+   %     !          )! $ $ $ $  $ £ I   3 '!  (     

$

$

998L

$ ! (  

$

989L 081=L

$ $ £ 938L

938L

:909L 669?L 2628L 1=28L 1=:9L =166L 002=L

63=L

=1?L

:06L

' ) 3*+   %        *    +  $  $ I   3



$

8

3

=

:

?

2

6

1

09

00

0032 092:

12:

213

6=0

199

123

09?2

006=

033?

*2:+

*1=+ *826+ *813+ *300+ *330+ *3?3+ *310+ *=33+

*21+

$ 0032 092? *28+

*2=+

123

299

2=0

210

6:?

136

09=8

0021

*26+ *031+ *0=9+ *0=0+ *0=8+ *0==+ *0=?+ *0=1+ 06

' ) =* +      $ $ $ $  $ £ I   =



$ $ $ $ $ £

8

9

9

9

9

9

3

9

9

9

9

9

=

9

9

9

9

9

:

9

9

9

9

9

?

390?

=923

=820

=3=6

=333

2

?3?

=61

==3

=99

=09

6

366

888

06?

0:2

0:1

1

8=0

09?

:2

::

::

09

012

?9

8:

8?

82

00

021

88

00

09

08

08

0::

02

:

=

=

03

066

00

8

9

9

' ) =*)+   %     !          )! $ $ $ $  $ £ I   = '!  (     

$

$

$

999L

999L

999L

$ $ £ 999L

999L

$ ! (

?938L 60=?L 6:=8L 6?1?L 6???L

 

31?6L 06:=L 0=:6L 039=L 033=L

01

' ) =*+   %        *    +  $  $ I   =



8

3

=

:

?

2

$

83=2

883?

8968

06=9

0816

0389

*12+

*12+

*1?+

*18+

*009+ *008+

83=1

8836

896?

06=:

081?

*12+

*12+

*1?+

*18+

*009+ *000+



6

1

09

00

08

03

$

03==

0328

0=98

0=3?

0=23

0:0=

$

0306

*00=+ *00:+ *002+ *089+ *083+ *08?+

$

03=8

03?1

0316

0=30

0=?6

0:91

*008+ *003+ *00=+ *00?+ *006+ *001+

89

' ) :* +      $ $ $ $  $ £ I   :



$ $ $ $ $ £

8

9

9

9

9

9

3

9

9

9

9

9

=

9

9

9

9

9

:

9

9

9

9

9

?

3=3?

3611

=938

=9?1

=9:6

2

:2?

:83

=10

=68

=6?

6

39:

832

880

011

898

1

896

0=3

08:

08=

08:

09

0?3

63

?9

?8

?3

00

001

:?

31

33

3=

08

18

3=

8=

0:

0?

03

090

8:

6

0?

0?

' ) :*)+   %     !          )! $ $ $ $  $ £ I   : '!  (     

$

$

$

999L

999L

999L

$ $ £ 999L

999L

$ ! (

?628L 2216L 69?=L 6036L 600?L

 

3086L 8898L 013?L 06?8L 066=L

80

' ) :*+   %        *    +  $  $ I   :



8

3

=

:

?

2

$

=?=1

==92

=968

3:26

8=28

8=62

*03?+ *033+ *030+ *08?+ *0=1+ *0:9+

$

=?:0

==09

=96:

3:13

8=20

8=6?

*03?+ *033+ *030+ *08?+ *0=6+ *0=1+



6

1

09

00

08

03

$

8:93

8:01

8:3?

8:::

8:2=

8:1=

*0:9+ *0:8+ *0:8+ *0:3+ *0:=+ *0::+

$

8:98

8:06

8:3:

8::3

8:28

8:18

*0:9+ *0:0+ *0:0+ *0:8+ *0:3+ *0:=+

88

80



70 60 50 40 2

3

4

5

6

 140



120 100 80 60 2

3

4

5

6

7

8

9

10

11

7

8

9

10

11

 140



120 100 80 60 2

3

4

5

6



(% 0 F *   +  F  *   +I * +   0Q *)+   8Q *+   3

83

240 220 

200 180 160 140 120 2

3

4

5

6

7

8

9

10

11

12

13

8

9

10

11

12

13

 470 430 

390 350 310 270 230 2

3

4

5

6

7



(% 8 F *   +  F  *   +I * +   =Q *)+   :

8=

0 # )     %   *0128+  *%  + (                        1 %

*    G,+ , ,  7 *0123+    !   4      4 ,    I &    ( $ R ,                *, R  . R &  +  8?2/860

, ,  7 *012=+    ,             !   " 

  20?/283

   



   *012=+ '     )    )      %             08:/082

$  % # " *0112+

!%       , ,     , ,

         S #   $ 

 890/896

     *8998+    !/)         %  /   /                 !    / $)            $  % # " *899:+      / )   !  $  $ '          &     '   !    " & *0163+ "  %         I      /

  %    !      !   30?/330

" & *016?+ 7 )              T %   

!      ! 

 =?0/=29

N   !   
 =6?/=1:

%   *0126+ (   !      )! , , J           "       

8?

 03/8?

Suggest Documents