UNE INTRODUCTION AU BOOTSTRAP

UNE INTRODUCTION AU BOOTSTRAP Bernard Rapacchi Centre Interuniversitaire de Calcul de Grenoble 15 decembre 1994

1

Table des matieres 0.1 Une petite introduction : : : : : : : : : : : : : : 0.1.1 La precision d'une moyenne : : : : : : : : 0.1.2 L'idee du bootstrap : : : : : : : : : : : : 0.2 Quelques rappels : : : : : : : : : : : : : : : : : 0.2.1 Echantillons aleatoires : : : : : : : : : : : 0.2.2 probabilites et statistiques : : : : : : : : : 0.2.3 L'exemple des ecoles : : : : : : : : : : : : 0.3 Estimateur \Plug-in" : : : : : : : : : : : : : : : 0.3.1 Fonction de distribution empirique : : : : 0.3.2 Comment sont lies y et z ? : : : : : : : : 0.3.3 Le principe \je branche" : : : : : : : : : 0.4 Erreurs standards : : : : : : : : : : : : : : : : : 0.4.1 Erreur-standard d'une moyenne : : : : : : 0.4.2 Theoreme central limite : : : : : : : : : : 0.4.3 Tirages a pile ou face : : : : : : : : : : : 0.5 Estimateurs bootstrap de l'erreur standard : : : : 0.5.1 Estimateur bootstrap non-paprametrique de l'erreur standard : : : : : : : : : : : : : : 0.5.2 Algorithme d'estimation des erreurs-standards 0.5.3 Algorithme pour l'estimateur bootstrap de l'erreur-standard : : : : : : : : : : : : : : 0.5.4 un exemple : : : : : : : : : : : : : : : : 0.5.5 Combien de bootstraps? : : : : : : : : :

1 1 2 4 4 5 6 7 7 8 9 10 10 11 12 13 13 14 15 16 17

2

0.6

0.7

0.8

0.9

0.10

0.5.6 Estimateur bootstrap parametrique de l'erreurstandard : : : : : : : : : : : : : : : : : : 18 0.5.7 Avant le bootstrap : : : : : : : : : : : : 19 Exemple d'utilisation : : : : : : : : : : : : : : : 20 0.6.1 L'analyse factorielle : : : : : : : : : : : : 20 0.6.2 Pourquoi une acp? : : : : : : : : : : : : 21 0.6.3 Le bootstrap : : : : : : : : : : : : : : : : 22 0.6.4 Et les vecteurs propres : : : : : : : : : : 25 Structures de donnees plus complexes : : : : : : 27 0.7.1 Generalites : : : : : : : : : : : : : : : : 27 0.7.2 Deux echantillons : : : : : : : : : : : : : 28 0.7.3 Bootstrap : : : : : : : : : : : : : : : : : 29 0.7.4 Structures de donnees plus generales : : : 31 0.7.5 Exemple : serie chronologique : : : : : : : 32 0.7.6 Comment utiliser le bootstrap? : : : : : : 33 Regression lineaire : : : : : : : : : : : : : : : : 36 0.8.1 Presentation du probleme : : : : : : : : : 36 0.8.2 modele probabiliste : : : : : : : : : : : : 37 0.8.3 Bootstrap : : : : : : : : : : : : : : : : : 38 0.8.4 bootstrap par paires ou par residus? : : : 40 Estimation du biais : : : : : : : : : : : : : : : : 41 0.9.1 Presentation du probleme : : : : : : : : : 41 0.9.2 Exemple : les patchs : : : : : : : : : : : : 42 0.9.3 Bootstrap : : : : : : : : : : : : : : : : : 43 0.9.4 Loi des grands nombres : : : : : : : : : : 45 Le Jacknife : : : : : : : : : : : : : : : : : : : : 46 0.10.1 Presentation : : : : : : : : : : : : : : : : 46 0.10.2 Estimation Jacknife du biais : : : : : : : 47

3

0.10.3 Exemple : tests etudiants : : : : : : : : : 0.10.4 Relation bootstrap et jacknife : : : : : : : 0.10.5 Problemes du jacknife : : : : : : : : : : : 0.10.6 D-jacknife : : : : : : : : : : : : : : : : : 0.11 Intervalles de con ance et Bootstrap : : : : : : : 0.11.1 Intervalle \normalise" : : : : : : : : : : : 0.11.2 Intervalle \t-Studentise" : : : : : : : : : : 0.11.3 Intervalle \t-bootstrape" : : : : : : : : : 0.11.4 Exemple : souris : : : : : : : : : : : : : : 0.11.5 Transformations : : : : : : : : : : : : : : 0.11.6 Intervalle des percentiles : : : : : : : : : 0.11.7 Intervalle accelere et non-biaise : : : : : : 0.12 Tests de permutation : : : : : : : : : : : : : : : 0.12.1 Historique : : : : : : : : : : : : : : : : : 0.12.2 Exemple : les souris : : : : : : : : : : : : 0.12.3 L'idee : : : : : : : : : : : : : : : : : : : 0.12.4 Calcul de la statistique par test de permutation : : : : : : : : : : : : : : : : : : : 0.12.5 Un autre exemple : : : : : : : : : : : : :

48 49 50 51 52 52 54 55 56 57 58 60 62 62 63 64 66 68

Une petite introduction

1

0.1 Une petite introduction 0.1.1 La precision d'une moyenne

LA PRE CISION D'UNE MOYENNE

Les Souris. Temps de survie en jours apres une intervention chirurgicale. Groupe Donnees Traitees 94 197 16 38 99 141 23

Taille 7

Moyenne Erreur-standard 86.86 25.24

Contr^ole 52 104 146 10 51 30 40 27 46

9

56.22

14.14

Dierence:

30.63

28.93

n X

x = i=1 xi=n

r

erreur-standard = s2=n n s2 = X (xi ; x)=(n ; 1) i=1

Qu'est ce qui ce passe si on veut comparer les 2 groupes par leur mediane?

Une petite introduction

2

0.1.2 L'idee du bootstrap

L'IDE E du BOOTSTRAP ou du CYRANO

{ n iid x = (x1; x2; : : : ; xn) { on est interesse par une statistique s(x) { on tire B echantillons xb = (x1; x2; : : : ; xn) ou chaque x est constitue en tirant avec remise n valeurs parmi les xi. exemple: x = (x7; x1; x7; x3; : : : ; x4) { on calcule chaque valeur s(xb ) pour chaque bootstrap. { on calcule :

B X

s(:) = b=1 s(xb )=B

{ on calcule l'estimation de l'erreur-standard : B X se^ boot = f (s(x) ; s(:))2 =(B ; 1)g1=2 i=1

Une petite introduction

3

bootstrap copies

S( X*2 ) S( X*1 )

S( X*B ) bootstrap echantillons

*1 X

*2 X

X = (X1, X2 , . . . Xn )

*B X

donnees

Quelques rappels

4

0.2 Quelques rappels 0.2.1 Echantillons aleatoires

E CHANTILLON ALE ATOIRES (rappels)

Population U : U1; U2; : : : ; UN de taille N . un echantillon de taille n est un ensemble de n individus u1; u2; : : : ; un selectionnes au hasard parmi les individus de U. en pratique on tire n entiers au hasard j1; j2; : : : ; jn entre 1 et N chacun ayant une probabilite 1=N d'^etre tire. On admet les remises. a chaque ui on associe des mesures notees xi, la collection x = (x1; x2; : : : ; xn) represente les donnees observees si on avait toute la population on obtiendrait un recensement X = (X1; X2; : : : ; XN )

Quelques rappels

5

0.2.2 probabilites et statistiques

THE ORIE PROBABILISTE ( Population ) ! Propriete d'un echantillon INFE RENCE STATISTIQUE ( Observe) ! Propriete de la Population { qu'est ce qu'on apprend de X en observant x ? { qu'elle est la precision d'une statistique calculee?

Quelques rappels

6

0.2.3 L'exemple des ecoles

o

GPA 3.0 3.2

o o o o o

o

o

o o

o o

2.6

3.4 GPA 3.0 3.2 2.8 2.6

oo

o

2.8

+ o + o + + o + +o + + + + ++ o+++ + +++ + + + + +++++ + +++ ++ ++ o + + ++ o + o + ++ + + + +o++ +o + + + + o + + +o+ + ++ o + o o +

3.4

{ Population : 82 ecoles americaines. { LSAT : moyenne sur le test national. { GPA : moyenne des moyennes a la sortie. { on tire un echantillon de 15 ecoles. { Comment a partir de l'echantillon conna^tre la population?

+ 500

550

600 LSAT

650

700

500

550

600 LSAT

650

700

Estimateur \Plug-in"

7

0.3 Estimateur \Plug-in" 0.3.1 Fonction de distribution empirique

FONCTION DE DISTRIBUTION EMPIRIQUE

On a une Fonction de distribution a partir de laquelle on tire un echantillon x F ! x = (x1; x2; : : : ; xn) La Fonction de distribution Empirique F^ donne a chaque valeur xi la probabilite 1=n. En d'autres termes : d Prob fAg = ProbFcfAg = #fxi 2 Ag=n Exemple :

A = f(y; z ) : 0 < y < 600; 0 < z < 3:00g Prob(A) = 16=82 = 0:195 ProbFcfAg = 5=15 = 0:333

Estimateur \Plug-in"

8

0.3.2 Comment sont lies y et z ?

Comment sont lies y et z ?

Si on regarde toute la population : on conna^t exactement les esperances des deux variables et on peut calculer LA statistique corr(y; z ) =

i=1(Yj ; y )(Zj ; z ) 2 P82 (Zj ; z )2 ]1=2 [P82 ( Y ;  ) j y i=1 i=1 P82

y = 597:5 et z = 3:13 corr(y; z ) = 0:761 Ce n'est que de l'arithmetique ! Mais le coecient de correlation de l'echantillon :

y; z ) =

d corr(

^ y)(zj ; ^ z ) i=1(yj ;  [P15 ^ y)2 P15 ^ z )2]1=2 i=1(yj ;  i=1(zj ;  P15

^ y = 600:3 et ^ z = 3:09 d y; z ) = 0:776 corr( Ce n'est qu'une estimation de corr(y; z ) !

Estimateur \Plug-in"

9

0.3.3 Le principe \je branche"

LE PRINCIPE \JE BRANCHE"

{ Le param^etre:  = t(F ) C'est une fonction de la distribution de probabilite. { L'estimateur \plug-in" : ^ = t(F^ ) C'est la m^eme fonction utilisee pour F^ que pour F .

^ = resume statistique

= la statistique = l'estimateur = LA sortie d'un listing Oui , mais comment ^ approche-t-il  ? { Quel est le biais? { Quelle est l'erreur \standard"?

C'est tout ce que tente de resoudre LE CYRANO ou BOOTSTRAP

Erreurs standards

10

0.4 Erreurs standards 0.4.1 Erreur-standard d'une moyenne

ERREUR-STANDARD D'UNE MOYENNE

Soit x une variable aleatoire de distribution F : Esperance et variance de F : On note :

F = EF (x); F2 = varF (x) = EF [(x ; F )2]

x  (F ; F2 ) On tire un echantillon x de taille n a partir de F, F ! x = (x1; x2; : : : ; xn) La moyenne x = Pni=1 xi=n de l'echantillon a pour esperance F et pour variance F2 =n x  (F ; F2 =n) l'erreur-standard de la moyenne x : r

seF (x) = se(x) = varF (x) = F =n

Qu'est ce que ca veut dire?

Erreurs standards

11

0.4.2 Theoreme central limite

THE ORE ME CENTRAL LIMITE

Quand n est \assez grand", x suit une loi Normale d'esperance F et de variance 2=n. En d'autres termes :

x  N(F ; 2; n)

 Probfjx ; F j < p g =: 0:683 n  Probfjx ; F j < 2 p g =: 0:954 n

95.4% 68.3%

1/2 µ F -2 σF/n

µ F- σF/n1/2

µF

µ F+ σF/n1/2

µ F +2 σF/n

1/2

Erreurs standards

12

0.4.3 Tirages a pile ou face

TIRAGES A PILE OU FACE

ProbF fx = 1g = p et ProbF fx = 0g = 1 ; p On tire n fois la piece, soit s le nombre de fois ou on tire \pile" s = Pni=1 xi suit une binomiale. la moyenne x = s=n = p^ est l'estimateur \plug-in" de p.

p^ = (p; p(1 ; p)=n) 0.25

o

0.20

o o o o

o

frequence 0.10 0.15

p=0.90

o o

o

p=0.25

o

0.05

o o

0.0

o

o

o

o o 0.0

o

o

o o

o

o

o 0.2

o

o

o

o

o

o o

o o

0.4

o

o

o

0.6

o

o o

o

o 0.8

o

o

o

o

o 1.0

x

Et encore on ne conna^t pas , on a juste une estimation

Estimateurs bootstrap de l'erreur standard

13

0.5 Estimateurs bootstrap de l'erreur standard 0.5.1 Estimateur bootstrap non-paprametrique de l'erreur standard

ESTIMATEUR BOOTSTRAP NON-PARAME TRIQUE DE L'ERREUR STANDARD

On a tire un echantillon distribution inconnue F .

x = (x1; x2; : : : ; xn) d'une fonction de

F ! x = (x1; x2; : : : ; xn) On veut estimer un param^etre  = t(F ) a partir de x On calcule un estimateur ^ = s(x) F^ est la fonction de distribution qui donne la probabilite 1=n a chaque xi on tire des echantillons Bootstrap a partir de F^

F^ ! xb = (x1; x2; : : : ; xn) on calcule la copie bootstrap ^ = s(x) l'estimation bootstrap ideale de l'erreur-standard seF (^) est l'erreur-standard de ^ pour des ensembles de donnees de taille n tires suivant F^ , c'est-a-dire seF^ (^)

Estimateurs bootstrap de l'erreur standard

14

0.5.2 Algorithme d'estimation des erreurs-standards

Algorithme d'estimation des erreurs-standards 1. Tirer B echantillons bootstrap x1; x2; : : : ; xB a partir de x 2. calculer la copie bootstrap ^(b) = s(xb) 3. calculer l'erreur-standard pour les B copies B X

se^ B = f (^(b) ; ^(:))2 =(B ; 1)g1=2 b=1

avec ^(:) = PBb=1 ^(b)=B .

l'estimation bootstrap non-parametrique de l'erreur-standard se^ B a pour limite seF (^) quand B tend vers l'in ni.

Estimateurs bootstrap de l'erreur standard

15

0.5.3 Algorithme pour l'estimateur bootstrap de l'erreur-standard

ALGORITHME POUR CALCULER L'ESTIMATEUR BOOTSTRAP DE L'ERREUR STANDARD Bootstrap

Bootstrap

Bootstrap

Echantillons

Copies de ^ θ

Estimation de

Distribution

de taille n

l’Erreur Standard

Empirique

X *1

θ* (1) = S (X*1 )

X *2

θ* (2) = S (X*2 )

X *3

θ* (3) = S (X*3 )

X *b

θ* (b) = S (X*b )

X *B

θ* (B) = S (X*B)

^ F

1/2 2

Se

ou‘

B

=

B ^* ^* Σb=1 θ (b) - θ (.)

B-1

^ * (.) = θ

Σ

B b=1

^ * (b) θ B

Estimateurs bootstrap de l'erreur standard

16

0.5.4 un exemple

300 200 100 0

0

100

200

300

UN EXEMPLE : Le coecient de correlation pour les ecoles

0.0

B:

0.2

0.4 0.6 Bootstrap

0.8

1.0

0.0

0.2 0.4 0.6 0.8 Echantillons aleatoires

25 50 100 200 400 800 1600 3200 se^ B : 0.140 0.142 0.151 0.143 0.141 0.137 0.133 0.132

1.0

Estimateurs bootstrap de l'erreur standard

0.5.5 Combien de bootstraps?

COMBIEN DE BOOTSTRAP? Ca depend !

Regles \pifometriques" { B=25 a B=50 : pour obtenir un debut d'information. { B=200 : pour estimer l'erreur-standard. { B=500 : pour l'evaluation d'intervalles de con ance.

17

Estimateurs bootstrap de l'erreur standard

18

0.5.6 Estimateur bootstrap parametrique de l'erreur-standard

ESTIMATEUR BOOTSTRAP PARAME TRIQUE DE L'ERREUR STANDARD

On suppose qu'on a une estimation F^par d'un modele parametrique de F. l'estimateur Bootstrap parametrique de l'erreur-standard est seF^par (^) Exemple : les ecoles. On suppose que les 2 variables suivent une loi binormale de moyenne (y; z ) et de matrice de covariance : 0

1

1 BB P(yi ; y)2 P(yi ; y )(zi ; z ) CC 14 @ P(yi ; y)(zi ; z ) P(zi ; z )2 A On tire B echantillons de taille 15 qui suivent cette loi et on calcule les copies bootstrap, puis l'estimateur bootstrap de l'erreurstandard.

Estimateurs bootstrap de l'erreur standard

19

0.5.7 Avant le bootstrap

AVANT LE BOOTSTRAP

{ QUE DES MATHS ! { Quelques distributions { Quelques statistiques { Exemple : la correlation. Si F est un loi bi-normale alors se^ normal = (1 ;

corr ^ 2)=

p

n;3

AVEC LE BOOTSTRAP { QUE DES CALCULS INFORMATIQUES ! { On est libre des hypotheses { On est plus pres des donnees

Exemple d'utilisation

20

0.6 Exemple d'utilisation 0.6.1 L'analyse factorielle

EXEMPLE D'ANALYSE FACTORIELLE

88 etudiants ont passe 5 examens en mathematiques. Matrice de donnees : 88 lignes xi = (xi1; xi2; xi3; xi4; xi5) et 5 colonnes. moyenne empirique x = (38:95; 50:59; 50:60; 46:68; 42:31) matrice empirique de covariance : G Calcul des 5 valeurs propres de G : ^ 1 = 679:2 ^ 2 = 199:8 ^ 3 = 102:6 ^ 4 = 83:7 ^ 5 = 31:8

Exemple d'utilisation

21

0.6.2 Pourquoi une acp?

POURQUOI UNE ACP?

Si il existe une seule valeur Qi pour chaque etudiant qui pourrait le \resumer" et 5 valeurs v = (v1; v2; v3; v4; v5) avec

xi = Qiv

alors seul ^ 1 est positif, les autres sont nuls. ^ = ^ 1= X5 ^ i i=1

^ est-il egal a 1? ^ = 0:619

Quelle est la precision de ^

Exemple d'utilisation

0.6.3 Le bootstrap

22

LE BOOTSTRAP

Chaque echantillon bootstrap sera une matrice X de 5 colonnes et 88 lignes tiree au hasard parmi les xi. On calcule G On calcule les 5 valeurs propres : ^ i On calcule : ^ = ^ 1= P5i=1 ^ i

Exemple d'utilisation

0

10

20

30

23

0.50

0.55

0.60

0.65 QI

0.70

0.75

Exemple d'utilisation

24

 = 0:625 se^ 200 = 0:047 L'intervalle de con ance standard pour la vraie valeur de  avec une probabilite (1 ; 2) est :

 2 ^  z (1;):se^ ou z (1;) est le 100(1 ; )-ieme percentile de la loi normale centree reduite. Ici :

 2 0:619  0:047

= [0:572; 0:666] avec une probabilite 0:683

 2 0:619  1:645  0:047 = [0:542; 0:696]

avec une probabilite 0:900

Exemple d'utilisation

0.6.4 Et les vecteurs propres

POURQUOI PAS LA ME^ ME CHOSE AVEC LES VECTEURS PROPRES?

0.5 0.0 -0.5

25

2

3

4

5

0.0

0.5

1.0

-1.0

-0.5

0.0

0.5

1.0

Exemple d'utilisation

1

-0.5

Composante

-1.0

1

2

3 Composante

4

5

26

Structures de donnees plus complexes

27

0.7 Structures de donnees plus complexes 0.7.1 Generalites

DES STRUCTURES DE DONNE ES PLUS COMPLEXES MONDE REEL

Echantillon Aleatoire Observe

Distribution de Probabilite Inconnue

F

MONDE DU BOOTSTRAP

X = (X 1 , X 2, ,. . . X n)

Distribution Empirique

F

^ θ = S( X )

Interet de la Statistique

Echantillon Bootstrap

* * * * X = (X 1 , X 2, ,. . . X n)

* ^* θ = S( X )

Copie Bootstrap

{ Le Point Crucial : =) { Comment calculer une estimation F^ de F a partir des donnees x? { On note :

P ;! x \Du modele probabiliste P on a tire x"

Structures de donnees plus complexes

28

0.7.2 Deux echantillons

DEUX E CHANTILLONS

Les souris Soit F la distribution des valeurs pour le groupe traite Soit G la distribution des valeurs pour le groupe de contr^ole

P = (F; G)

z = (z1; z2; : : : ; zm) les valeurs du groupe traite y = (y1; y2; : : : ; yn) les valeurs du groupe de contr^ole x = (z; y) c'est

P ;! x F ;! z independamment de G ;! y

Structures de donnees plus complexes

29

0.7.3 Bootstrap

BOOTSTRAP

F^ et G^ les distributions empiriques basees sur z et y ^ G^ ) P^ = (F; c'est

P^ ;! x F^ ;! z independamment de G^ ;! y

{ echantillons bootstrap

x = (z; y) = (zi ; zi ; : : : ; zi ; zj ; zj ; : : : ; zj ) 1

2

7

1

2

9

ou (i1; i2; : : : ; i7) est un echantillon de taille 7 tire parmi les entiers 1,2,: : : ,7 et (j1; j2; : : : ; j9) est un echantillon de taille 9 tire parmi les entiers 1,2,: : : ,9 independamment. { param^etre :  = z ; y = EF (z ) ; EG(y) { statistique : ^ = ^ z ; ^ y = z ; y = 30:63 { copie bootstrap  = z  ; y { estimation bootstrap de l'erreur-standard : se^ 1400 = 26:85 ^ se^ 1400 = 1:14 trop petit pour conclure a un eet ! { rapport : =

Structures de donnees plus complexes

-50

0

30

50 Difference des moyennes

100

Structures de donnees plus complexes

31

0.7.4 Structures de donnees plus generales

STRUCTURES DE DONNE ES PLUS GE NE RALES MONDE REEL

Modele de

Modele de Probabilite Inconnu

P

MONDE DU BOOTSTRAP

Donnees Observees

X = (X 1 , X 2, ,. . . X n)

Probabilite Estime

^ P

^ θ = S( X )

Echantillon Bootstrap

* * * * X = (X 1 , X 2, ,. . . X n)

^* θ=

Interet de la Statistique

* S( X )

Copie Bootstrap

1. On doit estimer le modele probabiliste P a partir des donnees x:

x =) P^

2. On doit simuler des donnees bootstrap x a partir de P^ :

P^ ;! x

Structures de donnees plus complexes

32

0.7.5 Exemple : serie chronologique

2.5 1.5

2.0

hormone

3.0

3.5

EXEMPLE : SE RIE CHRONOLOGIQUE

0

10

20

30

40

periode de temps

{ A chaque temps t on mesure une hormone yt { modele le plus simpliste : auto-regressif d'ordre 1. zt = yt ; EF (y) = yt ;  AR(1) : zt = zt;1 + tpour1 < t  48 avec ; 1 < < 1 { les t sont un echantillon tire d'une loi de distribution F F ;! (2; 3; : : : ; 48) avec EF () = 0.

Structures de donnees plus complexes

33

0.7.6 Comment utiliser le bootstrap?

COMMENT UTILISER LE BOOTSTRAP?

{ Estimation du param^etre . { exemple : par les moindres carres. X ^ = min 48 (zt ; bzt;1)2 b 2

^ = 0:586

{ Precision de l'estimateur ^ ??? { bootstrap { Quel est le modele probabiliste P ?? { P = ( ; F ) { Estimation de : x =) P^ { on estime par ^. ^ t;1 F^ de nit une probabilite 1=47 sur { soit ^t = zt ; z chaque ^t = zt

Structures de donnees plus complexes

34

0

5

10

15

20

25

30

{ Tirage du bootstrap : P^ ;! x { On pose z1 = y1 ; y C'est une constante comme n=48 ! { On tire les t a partir de F^ : F^ ;! (2 ; 3; : : : ; 48) { On pose : ^ 1 + 2 z2 = z ^ 2 + 3 z3 = z .. .. ^ 47 + 48 z48 = z { Pour chaque bootstrap on calcule ^

0.4

0.6 200 bootstraps AR(1)

0.8

1.0

Structures de donnees plus complexes

35

Est ce vraiment un AR(1)?

0

0

10

10

20

20

30

30

40

40

50

50

On teste avec un AR(2)

0.4

0.6

0.8

Premier coefficient

1.0

1.2

-0.6

-0.4

-0.2

0.0

0.2

Deuxieme coefficient

Autre methode pour les series chronologiques : bootstrap par blocs.

Regression lineaire

36

0.8 Regression lineaire 0.8.1 Presentation du probleme

RE GRESSION LINE AIRE xi = (ci; yi) ci = (ci1; ci2; : : : ; cip) yi : reponse ci : predicteurs p X

i = E(yijci) = ci = i=1 cij j Estimateur des moindres carres : ^ = min Xn (yi ; cib)2 b i=1

0 1 BB 1 CC BB C BB 2 CCC BB . CC BB . CC @ A

c C= c cn ^ = (CT C);1CT y

Regression lineaire

37

0.8.2 modele probabiliste

modele probabiliste

Modele : yi = ci + i i suit une loi de distribution F . alors :

F2 = varF () et G = CT C r ^ se( j ) = F Gjj ou Gjj element diagonal de G;1

Mais on ne conna^t pas F : estimation " #1=2 1. ^F = RSE( ^)=n "

#

1=2 ^ 2. F = RSE( )=(n ; p) estimation non biaisee. r r ^ ^ se( ^ j ) = ^F Gjj ou se( j ) = F Gjj

Regression lineaire

38

0.8.3 Bootstrap

bootstrap

1. mecanisme probabiliste: P ;! x. 2 composantes : P = ( ; F ) 2. estimation de P^ x =) P^ { estimation de ^ { Soit ^i = yi ; ci ^

F^ : probabilite 1=n sur chaque ^i ^ F^ ) P^ = ( ;

3. bootstrap : P^ ;! x { Generation : F^ ;! (2; 3; : : : ; n) { Puis : yi = ci ^ + i xi = (xi; yi) 4. estimation bootstrap : ^ = (CT C);1CT y

5. estimation bootstrap de l'erreur-standard : var( ^) = (CT C);1CT var(y)C(CT C);1 = ^F2 (CT C);1

Regression lineaire

39

car var(y) = ^F2 I. Ainsi : r ^ ^ ^j ) se^ 1( j ) = ^ F Gjj = se(

c'est le m^eme!

Regression lineaire

40

0.8.4 bootstrap par paires ou par residus?

bootstrap par paires ou par residus?

1. par paires :

xi = f(ci ; yi ); (ci ; yi ); : : : ; (cin; yin)g 1

1

2

2

2. bootstrap des residus : xi = f(c1; c1 ^ + ^i ); (c2; c2 ^ + ^i ); : : : ; (cn; cn ^ + ^in )g 1

2

Quel est le meilleur? Ca  depend de la con ance qu'on a dans le modele lineaire { le modele suppose que i ne depend pas de ci : c'est-a-dire que F est le m^eme pour tout ci. { \Par paires" est moins sensible aux hypotheses.

Estimation du biais

41

0.9 Estimation du biais 0.9.1 Presentation du probleme

ESTIMATION DU BIAIS

{ Une fonction de distribution inconnue : F F ! x = (x1; x2; : : : ; xn) { Param^etre :  = t(F ) { Estimateur : ^ = s(x) { biais : ^ ) = EF [s(x)] ; t(F ) biaisF ( ; { L'estimation bootstrap du biais : biaisF^ = EF^ [s(x)] ; t(F^ ) Remarques : { t(F^ ) peut ^etre dierent de ^ = s(x) { biaisF^ est l'estimateur \plug-in" de biaisF . { En pratique : { on tire B bootstrap { approximation de biaisF^ par : { ^(b) = s(x) { ^(:) = PBb=1 ^(b)=B { biaisB = ^(:) ; t(F^ )

Estimation du biais

42

0.9.2 Exemple : les patchs

UN EXEMPLE : LES PATCHS

Nouveau \patch" medical pour infuser une hormone dans le sang. La compagnie a deja un ancien \patch".

E (nouveau) ; E (ancien)  = E (ancien) ; E (placebo)

Acceptation de la Food Drug Administration si : jj  0:20 z =vieuxplacebo, et y =nouveau-vieux, xi = (zi; yi)

F ! x = (x1; x2; : : : ; x8) E F (y )  = t(F ) = E (z ) f Estimateur \plug-in" : 452:3 = ;0:0713 ^ = t(F^ ) = Pi8=1 yzi==88 = ;6342 P8

i=1 i

Estimation du biais

43

0.9.3 Bootstrap

BOOTSTRAP  y ^ = z

-0.2

0.0 Rapport

0.2

^ 400 = ^(:) ; ^ = ;0:0670 ; (;0:0713) biais

se^ 400 = 0:105 ^ 400=se^ 400 = 0:041 < 0:25 biais

0.4

Estimation du biais

On en conclut qu'on n'a pas a se soucier du biais.

Mais a-t-on assez de B=400 bootstrap?

44

Estimation du biais

45

0.9.4 Loi des grands nombres

Loi des grands nombres : ProbF^ fj^(:) ; EF^ f^gj < 2 pse^ BB g = ^ 400 ; biais ^ 1j < 2 sep^ B g =: 0:95 ProbF^ fjbiais B en ayant : se ^ B = 0:105 et B = 400 on a: ^ 400 ; biais ^ 1j < 0:0105g =: 0:95 ProbF^ fjbiais L'etendue de cet intervalle est beaucoup plus grand que 0.0043 ! Mais avec une probabilite de 0.95, on a: et le rapport :

^ 1j < 0:0043 + 0:0105 = 0:0148 jbiais ^ 1=se^ 1 < 0:14 < 0:25 biais

Donc ce n'est pas grave !

Le Jacknife

46

0.10 Le Jacknife 0.10.1 Presentation

LE JACKKNIFE (couteau suisse) Echantillon : x = (x1; x2; : : : ; xn) Estimateur : ^ = s(x)

estimateur du biais et de l'erreur-standard?? Echantillon Jacknife :

x(i) = (x1; x2; : : : ; xi;1; xi+1; : : : ; xn) Copie Jacknife : ^(i) = s(x(i))

Le Jacknife

47

0.10.2 Estimation Jacknife du biais

Estimation Jacknife du biais : avec :

^ jack = (n ; 1)(^(:) ; ^) biais

^(:) =

n X

^(i)=n  i=1

Estimation jackknife de l'erreur-standard : se^ jack = =

[ n;n 1 P(^(i) ; ^(:))2 ]1=2 [ n1 P(

pn ; 1(^ ; ^(:)))2 ]1=2 (i)

Le Jacknife

48

0.10.3 Exemple : tests etudiants

EXEMPLE : TESTS ETUDIANTS

0.45

0.50

0.55

0.60 jackknife

0.65

0.70

0.75

0.45

0.50

0.55

0.60 jackknife grossi

0.65

0.70

0.75

0.45

0.50

0.55

0.60 bootstrap

0.65

0.70

0.75

Le Jacknife

49

0.10.4 Relation bootstrap et jacknife

RELATION BOOTSTRAP - JACKKNIFE

{ Cas d'une statistique lineaire : ^ =  + n1 P (xi). Exemple : moyenne (xi) = xi;  = 0 Dans ce cas les erreurs-standard sont egales a un facteur [(n ; 1)=n)]1=2 pres.

Le Jacknife

50

0.10.5 Problemes du jacknife

PROBLE MES DU JACKKNIFE

{ Jacknife marche bien si la statistique est \lisse" ! Exemple : mediane { groupe de contr^ole des souris : 10; 27; 31; 40; 46; 50; 52; 104; 146 { Valeurs jackknife : 48; 48; 48; 48; 45; 43; 43; 43; 43 { ^ jack = 6:68 biais { ^ 100 = 9:58 biais

Le Jacknife

0.10.6 D-jacknife

51

D-JACKKNIFE

On enleve d observations au lieu d'une seule, avec n = r:d estimation de l'erreur-standard : ^ jack = [ r X(^(i) ; ^(:))2 ]1=2 biais d

Cn

Pour que ca marche pour la mediane il faut que

n1=2=d ! 0 et n ; d ! 1 p en pratique, on prend : d = n

Intervalles de con ance et Bootstrap

52

0.11 Intervalles de con ance et Bootstrap 0.11.1 Intervalle \normalise"

INTERVALLES DE CONFIANCE ET BOOTSTRAP

Intervalle \normalise" : { F ! x = (x1; x2; : : : ; xn) { Param^etre :  = t(F ) { Estimateur : ^ = t(F^ ) { on conna^t un estimateur se^ de l'erreur-standard de ^. { dans beaucoup de circonstances, on applique la loi des grands nombres : ^;   Z = se^  N (0; 1) En d'autres mots , si z () est 100.ieme percentile de la loi N (0; 1 : ^ ;  (1;)   z g = 1 ; 2 

ProbF f se^ ou comme z () = ;z (1;) ProbF f 2 [^ ; z (1;)se^ ; ^ + z (1;)se] ^ g = 1 ; 2

z ()

Exemple : souris :

^ = 56:22; se^ = 13:33

Intervalles de con ance et Bootstrap

Intervalle de con ance \normalise" a 90 % : 56:22  1:645
13:33 = [34:29; 78:15]

53

Intervalles de con ance et Bootstrap

54

0.11.2 Intervalle \t-Studentise"

Intervalle \t-Studentise" : { Gosset (1908) :

^;   Z= t

n;1 se^ avec tn;1 suit une loi de Student a n ; 1 degres de liberte. { Quand n est grand, tn;1 ressemble etrangement a N (0; 1). { Meilleur approximation dans le cas de petits echantillons.

Exemple : souris :

^ = 56:22; se^ = 13:33

Intervalle de con ance \studentise" a 90 % : 56:22  1:86
13:33 = [31:22; 81:01]

Intervalles de con ance et Bootstrap

55

0.11.3 Intervalle \t-bootstrape"

Intervalle \t-bootstrape" : { Se liberer des hypotheses de normalite ! { Contruire une table de Z a partir des donnees . { Calcul : { generation de B bootstraps. { Calcul de : ^(b) ; ^   Z (b) = se^ (b) { le ieme percentile de Z (b) est estime par la valeur t^() tel que : #fZ (b)  t^()g=B =  exemple : B = 1000 . 5 % ! 50ieme valeur 95 % ! 950ieme valeur { Intervalle de con ance : [^ ; t^(1;)
se^ ; ^ ; t^()
se] ^

Intervalles de con ance et Bootstrap

56

0.11.4 Exemple : souris

Exemple : souris Percentile 5% 10% 16%

t8

Normal t-bootstrape

50% 84% 90% 95%

-1.86 -1.40 -1.10 0.00 1.10 1.40 1.86 -1.65 -1.28 -0.99 0.00 0.99 1.28 1.65 -4.53 -2.01 -1.32 -0.025 0.86 1.19 1.53

Intervalle normalise : [34:29; 78:15] Intervalle studentise: [31:22; 81:01] Intervalle t-bootstrape : [35:82; 116:74] Problemes : { symetrie de la distribution de la statistique. { Marche bien pour les statistiques de localisation. { estimation de se^ (b)?? -> double bootstrap ! { eratique si n est petit.

Intervalles de con ance et Bootstrap

57

0.11.5 Transformations

TRANSFORMATIONS

On peut obtenir des intervalles de con ance assez farfelus ! Exemple : coecient de correlation des notes des etudiants. Intervalle de con ance a 98% : [;0:68; 1:03] On transforme pour que les valeurs possibles de l'estimation de la statistique soit reelles. Exemple : coecient de correlation   = 0:5 log

1+ 1;

On cherche des transformations qui : 1. normalisent 2. stabilisent la variance

Intervalles de con ance et Bootstrap

58

0.11.6 Intervalle des percentiles

Intervalle des percentiles : { Generation de B bootstraps : P^ ! x et ^ = s(x) { soit G^ la fonction de distribution cumulee des ^. { l'intervalle de con ance a (1 ; 2) base sur les percentiles est : [G^ ;1 (); G^ ;1(1 ; )] { Si B: est un entier, l'intervalle de con ance est : [^B(); ^B(1;) ] Exemple : (x1; x2; : : : ; x40)tire deN (0; 1) Param^etre :  = e ou  est la moyenne. ( = 1). Statistique : ^ = ex 2.5% 5% 10% 16%50% 84% 90%95% 97.5% 0.75 0.82 0.90 0.98 .125 1.61 1.75 1.93 2.07 ICperc = [0:75; 2:07] ICnorm = [0:59; 1:92] { ICnorm marche si la distribution de  est \Normale".

Intervalles de con ance et Bootstrap

{ Attention : ICperc n'arrange pas le biais !

59

Intervalles de con ance et Bootstrap

60

0.11.7 Intervalle accelere et non-biaise

Intervalle accelere et non-biaise BCa : [^bas; ^haut] = [^B( ); ^B( )] 1

avec :

1 = 2 =

2

() z ^ 0 +z (^z0 + 1;a^(^z0+z()) ) (1;) (^z0 + 1;a^z^0(^+z0z+z(1;)) )

(
) = Fonction de distribution cumulee deN (0; 1)

z () = 100ieme percentile deN (0; 1) ^(b) 0 { Niveau de signi cation : ASL = ProbH f^  ^g 0

{ ^ est une variable aleatoire qui suit la loi de distribution de ^ si H0 est vraie { Plus ASL est petit, plus on a de chances que H0 soit vraie.

Tests de permutation

63

0.12.2 Exemple : les souris

EXEMPLE \LES SOURIS"

{ Hypotheses : F et G sont des distributions normales F = N (T ; 2)G = N (C ; 2) { Hypothese nulle : { ou

H0 : T = C 1 1 H0 : ^  N (0; 2( + )

n m

{

ASL = ProbfZ > p1=n^+1=m g = 1 ; ( p1=n^+1=m )

{ Mais  est inconnu Estimation : n m X X 2  = f [(zi ; z ) + (yj ; y )2]=[n + m ; 2]g1=2 {

i=1

j =1

30:63 ASL = 1 ; ( ) = 0:131 54:21 1=9 + 1=7 { t de Student : 30:63 r ASL = Probft14  g = 0:141 54:21 1=9 + 1=7 { On ne peut pas rejeter H0 r

Tests de permutation

64

0.12.3 L'idee

L'IDE E

On peut ranger les valeurs zi et yj par ordre croissant et indiquer pour chaque valeur a quel groupe elle appartient. valeur : groupe : valeur : groupe :

10 y 50 y

16 z 52 y

23 z 94 z

27 31 38 40 46 y y z y y 99 104 141 146 197 z y z y z

v : vecteur des N valeurs g : vecteur des groupes

N = n+m

la donnee du couple (g,v) est identique a donner le couple (z,y) Nombre de vecteurs g possibles : CNm

Tests de permutation

65

Sous H0, le vecteur g a la probabilite 1=CNm de valoir chacune de ces valeurs possibles La statistique ^ est une fonction de (g,v) : ^ = S ((g,v)) Pour chacune des CNm vecteurs possibles de g on peut calculer : ^ = ^(g) = S (g; v)

Le niveau de signi cation est :

ASLperm = Probpermf^  ^g = #f^  ^g=CNm

Tests de permutation

66

0.12.4 Calcul de la statistique par test de permutation

Calcul de la statistique par test de permutation 1. Choisir B vecteurs independants g(1); g(2); : : : ; g(B ) parmi les CNm vecteurs possibles. 2. Calculer : ^(b) = S (g; v) 3. Calculer l'approximation : ^ perm = #f^  ^g=B ASL NOMBRE DE PERMUTATIONS ASLperm : 0.5 0.25 0.10 0.005 0.025 B: 100 300 900 2000 4000 Exemple des souris : ASLperm = 0.132 { Aucune hypothese n'est faite sur F et G. { On peut remplacer la dierence des moyennes par la dierence d'une autre tendance centrale. { Dans la pratique on tire N valeurs uniforme entre 0 et 1, puis les n plus petites valeurs sont dites appartenir au pre-

Tests de permutation

mier groupe et les autres aux deuxieme groupe.

67

Tests de permutation

68

0.12.5 Un autre exemple

TESTS DE PERMUTATION : UN AUTRE EXEMPLE

PROBLE ME : COMPARER 2 MARQUES D'AIGUILLES UTILISE ES POUR DES PRE LE VEMENTS SANGUINS. Marque Nombre de Nombre prelevements d'infections A 40 4 B 30 0 QUESTION : PEUT-ON ATTRIBUER LA DIFFE RENCE DE 4 AU HASARD?

Tests de permutation

69

TEST DE PERMUTATION : 1. faire B fois : (a) generer 40 nombres entiers au hasard entre 1 et 70. (b) compter le nombre de fois g1 ou les entiers 1 a 4 (supposes ^etre infectes) apparaissent. (c) generer 30 nombres entiers au hasard entre 1 et 70. (d) compter le nombre de fois g2 ou les entiers 1 a 4 apparaissent. (e) calculer la dierence ^ = g1 ; g2. 2. calculer : ^ perm = #f^  4g=B ASL DANS NOTRE EXEMPLE : ^ perm = 0:043 B = 3000 et ASL

70

Bibliographie [1] P. Diaconis et B. Efron. Methodes de calculs statistiques intensifs sur ordinateurs. dans Le calcul intensif. Bibliotheque Pour La Science. (1989). [2] B. Efron. An Introduction to the Bootstrap. Chapmann & Hall . (1993). [3] F. Mosteller et J. W. Tukey. Data Analysis and Regression. Addison-Wesley (1977).