A fast method for implementing Generalized Cross ...

Kauermann, Opsomer: A fast method for implementing Generalized Cross-Validation in multi-dimensional nonparametric regression Sonderforschungsbereich 386, Paper 247 (2001) Online unter: http://epub.ub.uni-muenchen.de/

Projektpartner

                                  

          

  !""                    

         

                                

                      Æ                 

                  !                                                        



       

     

     

                      

  

               

         

         

                        !"#$%     



    

   !""&%      '             ()      Æ     *                 +  ,    !-&&&%     '  '          .         

          .   

   !       % /  /   0 ! % 0    0 ! %  !% 1 ! %

 '1  '       

                    ! % /        '1      2    3   '   ! %

      

 

     !%               .                

     4  5          6    .    1              2                  ! % 7 1                 

 

             8   !"$"% 6     

  1 1  

            .   98:                                                  7' '          !""&%  ;" 



     98:      .         3 

  1 1               6   !%  

      ' 3       !%      1   

    2

  

   

     

     1               6       1  1        &;      H&; &>I   

   6  >  1  )  

                   7

    1           





















                      -

.      @ 7    "$>               !""&% 1         2 1  

     8      !   

         %   !1  %      !  %  !  

          %  !

    @ 7    @7M%  !      @7M%   !

  %   !   %    1                            1   - 7  .     Æ / &D 1      .            

  6  $ 8    1             !""&% 1    1              1  E      

                          

     N     -   1        

   

      1      1             ! %    ;  

       3 

  1    1   98:    .      .       !%            ) /  0 ! % 0    0 ! %



         ! )% 1 



          * "!*%

 ! )% /  !-E% + 0 (! +%  1 * / *!)%                !)%  +  

    1  

   '1 6        1             '    1 

 * / )       !""&%     

 1                '  1   6

       ?       1                        1           2        98:         1 

D

    1            '      ,    !-&&&%  

              @      '         

                !  ,    -&&&     %                  1             *   

            1 1                   1     

    @  /   !      %         1  /     ! )%!)% /   "!* %!* %+ / :! )%+  ) /  0   ! %  +

 

              @   / !  !  %      ! %%    1           1   

  / ! &%   !  % 

1   !  % /  !  %    '    ! %   / !  %    /       @   / !     %             !      '    

   *           (  D%                          ! % ! %  !-;%     1  ! %    '   -   ! % /  0   ! %  !   %

          6   

























   /  



 



 





  

 

,



!->%

     7  7          '           !%  

       '     

       !&%                         ! 0  %

E

!-

%$

1   / !-      -%  -              / !         %  (  ! %



       '                - / ! %+ 6 !-$%



  1      







    ! 0  %

!-#%

1  /    /      !     %        

       .        !->%     !-#% *       '       1        .    98:   

1   

98:! % /   

    







!   % 

 !  % !-"% / !  %  !

  %    









1 /   !+      +%   / !  % 1   / ! %                *                  !%  

 !-"%   !%  

   '    '    7        1    1     Æ      .  

           !-"%      '1        /                       !-"%      !-"%

                   98:! % / -      !D&%    !  %  0   !  %   























1    /     /       C          0  ! %   2    

  !-$%   !D%     

   0         1  / !     %           

        !>%  (   1            98:! %   













;



6       1     !-#%         B 98:! % 





 -  0    0     





1  / ! % 7       1       -        -         C    

 ,    !-&&&% !#%   1         .     1            /  G 1  G /    1    / !     % 



     7  .   1             2                 6  # 1 1 1  !  %               1    

              ' 1        

             

1  6  " 3               -;   



       

 ! 

  .        ,    !-&&&%  ?   !-E%    '        /          )

- !)% / H *!)% " *!)% I+        /      - / - !)%)           /        '      !% /        /           !% / ! &% 1                 

 









  - !   0 )



%/

!DD%

  /       /       *            ! % @                                / !-      -%  !,    -&&&% 1  

 

 

   0     

!DE%

    1       1        '      !   %      !D;% 1     / !         %     / !         %      !->% 7   !DE%  !D;%      !-$% 



$



"#  ?* 7  J    + J    !"#"% @                E;DP;;; 8 )  9  !"$"% (   

   1      F                  . 

       !    " D$$PE&D 6 J  3 9 * !"">% #  $ %  !        @F 8 Q  9 8  9  !""% A   .  R   1            1    &! '             ( D#DPD"#    J  + J    !"#$% @  '     '  

           )( ;;"P;>$    J  + J    !""&%     !       L8F 8   , 9    J !-&&&% @  '       .     (  ,O2   +J 8 !""$% (   + 

 1  B  )   F ( )    )   A     *  ! *+ >"P ##   J !-&&&% 7       '      '   !   % " >>P$"   JL  L + !""$% 6               

       (, #>P-   JL  L + !""#% 7     1                  

 '  

           -" >&;P>" P&D +  L  A )  !""E% A     1      

       (( DE>PD$& #

••• •••

-0.5

0.0

0.5 x

1.0

0.24

0 -1

• • • • • ••• • • • •••• • • • • • • • • •• • ••• • •• •• • • •• • •••• • •••••••• •• • • •• • ••• •• • • • • • •• •• • • • •• • • ••• •••• ••

GCV (h) 0.26 0.28

2

•

y 1

0.30

3

•

1.5

0

1

23 32

1

0

0.05 0.10 0.15 0.20 0.25 0.30 h

6  F (     1          ' !  %  ! % 1     1       &    D  1  2

   

"

h_t (Newton-Raphson) 0.050.100.150.20 0.25

b)

h_t (Newton-Raphson) 0.050.100.150.20 0.25

a) ••• • • •• ••• •• • •• • • • • • •••• ••• •• ••• • • •• • • ••• • •• 0.050.100.150.200.25 h_opt

•• • •• • • •• ••• •• •••• • • • • •• • • ••• • •• • • ••• •• ••• • • •• • •• • •

0.050.100.150.200.25 h_opt

d) GCH (h_t) 0.20 0.25 0.30 0.35

GCH (h_t) 0.20 0.25 0.30 0.35

c) ••

••

••• ••• • • ••• • • • •••• ••• • ••••• • • ••• •••

0.20 0.25 0.30 0.35 GCV (h_opt)

••

••

•• ••••••• •• ••••••• •••• • ••••••••• • ••••• • •••• •••

0.20 0.25 0.30 0.35 GCV (h_opt)

6  -F ?1    1     .  ! %            ;     1         %  / &&;  %  / &D @1 1  1  !  %       ! %     %  / &&;  %  / &D

-&

0.4

0

0

0.061 0.053 0.06 0.052 0.059 0.058 0.057 0.056 0.055 0.054

0.056 0.055

0.3

0.054

0.053 0.052

0.048

0.05

h2 0.2

1

0.1

1

1

0.051

2 1

0.052 0.053

0.052

0.1

0.049 0.047

0.045

2 3 43 3 3 24 4 4 2

0.053 0.054 0.055 0.056 0.057 0.058 0.059

0

0.046

0.2 h1

0.3

0.054 0.055 0.056

0.057 0.058 0.059

0

0.4

6  DF 9 . 8

:   6   ! %  1        &  E  E  2     

-

b) 0.06

0.06

a) ••

GCH (h_t) 0.04 0.05 0.03

0.03

GCH (h_t) 0.04 0.05

••• • ••• • ••••• •• •••••••••• • ••••••••• ••••••••••• • • ••••••••••• ••• • ••••• • • •• • 0.03

0.04 0.05 GCV (h_opt)

••

0.06

•

••

••• • ••• • ••••• ••• • • ••••••••••• • • •••••••••• ••• • • ••••••• • ••••• •••••• •••• ••

• 0.03

0.04 0.05 GCV (h_opt)

6  EF  ! %       ! % 1    % D  % ;     1    

--

0.06

&/ &//& / /& / ' / & ""; ""# ""> ""# ' / &; ""& ""> ""; "">

 F B     (%  !  %  ! %   2  

      ;&    

 &  D E ;

98: $>; >> ;$; ;;" ;E# ;E

 &;   E$D  "##



1        --" "" EE #&D D;$           -$" E$> ";& E"&; D$;      D&& >"; #E> $>-D D#"

 $>$   ;  DD



$"D   >"$  >>"

 &>   E;>  E>

 -F :   ! %  .      ;    1  

-D

Newton Procedure

0

0

2

2

4

4

6

8

6

Newton Procedure

0.1

0.2

0.3

0.4

0.5

0.6

0.0

0.1

0.2

0.3

0.4

0.5

h1

h2

Grid Search

Grid Search

0.6

0

0

2

2

4

4

6

6

8

8

0.0

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.0

h1

0.1

0.2

0.3

0.4

0.5

h2

6  ;F (  ?1    & / -  /  ' / &

-E

0.6

Newton Procedure

0

0

2

2

4

4

6

6

8

Newton Procedure

0.1

0.2

0.3

0.4

0.5

0.6

0.0

0.1

0.2

0.3

0.4

0.5

h1

h2

Grid Search

Grid Search

0.6

0

0

2

2

4

4

6

6

8

0.0

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.0

h1

0.1

0.2

0.3

0.4

0.5

0.6

h2

6  >F (  ?1    & /   /  ' / & !?1   $&;   

   H&; &>I%

-;

3

0.5

lo(humidity) -1 0 1 -3

-10

-1.5

-2

lo(wind) -1.0 -0.5

lo(vh) -5 0

0.0

2

5

0

5

10 wind

15

20

20

40

60 humidity

80

60 temp

80

lo(dpg) -2 -4 0

1000 2000 3000 4000 5000 ibh

0

100

200 ibt

300

-50

0

50

100

2

dpg

lo(doy) 0 -2 -4

-0.5

-1.0

0.0

-0.5

lo(ibt) 0.5

lo(vis) 0.0 0.5

1.0

1.0

40

-6

-2

0

-1.0 -0.5

lo(temp) 2 4

lo(ibh) 0.0 0.5

6

0

1.0

8

5300540055005600570058005900 vh

0

100

200 vis

300

0

100

200 doy

6  $F 6  9 . 7  A  .  

->

300

12

1.1 1.09

0 10

1.05 1.04 1.03

h2 8

1.05

6

2 641 2 5 3 1

1.06

1.07

4

1.08 1.09 1.1

2

0

1.17 1.161.15 1.141.13

0.5

1.0

1.12

1.11

1.5

1.11

2.0 h1

1.12

2.5

1.13

3.0

6  #F  !  %  

 

-$

gamma(EXPO) -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5

gamma(log(DUST)) -0.4 -0.2 0.0 0.2 0.4 0.6 -2

0

2 log(DUST)

4

10

20 30 EXPO

6  "F 6  9 . 7  A  

 

-#

40