Estimation et tests d'hypothèses

En statistiques, une population désigne l'ensemble de tous les individus ou objets que nous souhaitons étudier. Par exemple, tous les lycéens de France, toutes les ampoules produites par une usine, ou tous les électeurs d'un pays. Il est souvent impossible d'observer la totalité de cette population.

Un échantillon est un sous-ensemble de cette population, sélectionné de manière à être représentatif. Par exemple, 1000 lycéens tirés au sort parmi tous les lycéens de France. La manière dont l'échantillon est choisi est cruciale pour la validité des conclusions. Un échantillon doit être aléatoire et de taille suffisante.

La taille d'échantillon ($n$) est le nombre d'individus ou d'observations dans l'échantillon. Une taille d'échantillon plus grande tend à donner des résultats plus fiables.

La fluctuation d'échantillonnage est un concept clé : si nous prélevons plusieurs échantillons de même taille dans la même population, les caractéristiques observées dans chacun de ces échantillons (par exemple, la proportion d'une certaine propriété) ne seront pas exactement les mêmes. Il y aura une certaine variabilité. Cette variabilité est naturelle et attendue ; elle n'est pas due à une erreur de mesure, mais au simple fait que l'on travaille avec un sous-ensemble de la population. C'est cette fluctuation qui nous empêche de tirer des conclusions avec une certitude absolue, mais nous permet de le faire avec une certaine probabilité.

Lorsque nous étudions une caractéristique dans un échantillon, nous parlons de fréquence observée. C'est le rapport entre le nombre d'individus de l'échantillon présentant cette caractéristique et la taille totale de l'échantillon. Par exemple, si sur 1000 lycéens interrogés, 600 déclarent aimer les mathématiques, la fréquence observée est $f = \frac{600}{1000} = 0,6$.

La proportion théorique (ou proportion réelle, notée $p$) est la vraie proportion de cette caractéristique dans l'ensemble de la population. C'est une valeur inconnue que nous cherchons souvent à estimer. Dans notre exemple, c'est la proportion réelle de tous les lycéens de France qui aiment les mathématiques.

La fréquence observée $f$ est une estimation de la proportion théorique $p$. Plus l'échantillon est grand et bien choisi, plus la fréquence observée sera proche de la proportion théorique. La fréquence observée est une variable aléatoire, tandis que la proportion théorique est une constante (inconnue).

Le lien avec la probabilité est direct : si on tire un individu au hasard de la population, la probabilité qu'il présente la caractéristique étudiée est égale à la proportion théorique $p$.

L'intervalle de fluctuation asymptotique (IFA) pour une proportion est un intervalle qui donne une idée de la variabilité attendue de la fréquence observée dans un échantillon, si la proportion théorique $p$ de la population est connue. Il est utilisé pour déterminer si une fréquence observée dans un échantillon est "normale" ou "exceptionnelle" par rapport à une proportion théorique donnée.

L'utilité principale de l'IFA est de servir de base aux tests d'hypothèses. Il permet de dire si un échantillon est compatible avec une certaine proportion $p$ supposée pour la population.

La formule de l'IFA au seuil de 95% pour la fréquence observée $f$ d'un échantillon de taille $n$, connaissant la proportion $p$ de la population, est : $IFA = \left[p - 1.96 \sqrt{\frac{p(1-p)}{n}} ; p + 1.96 \sqrt{\frac{p(1-p)}{n}}\right]$ Ce $1.96$ provient de la loi normale centrée réduite et correspond à l'intervalle centré qui contient 95% des valeurs.

Les conditions d'application de cet IFA sont cruciales :

1. L'échantillon doit être aléatoire et indépendant.
2. La taille de l'échantillon $n$ doit être suffisamment grande. On exige généralement :
   • $n \ge 30$
   • $np \ge 5$
   • $n(1-p) \ge 5$ Si ces conditions sont remplies, on peut considérer que la distribution de la fréquence observée est approximativement normale.

Si la fréquence observée $f$ de l'échantillon tombe en dehors de cet intervalle, il est peu probable (moins de 5% de chance) que l'échantillon provienne d'une population ayant la proportion $p$ supposée.

L'estimation ponctuelle d'un paramètre (comme la proportion $p$ de la population) consiste à donner une seule valeur comme meilleure estimation. Pour la proportion, l'estimateur ponctuel le plus naturel est la fréquence observée $f$ dans l'échantillon. Par exemple, si $f=0,6$, on estime que $p \approx 0,6$. Le problème est que cette estimation est rarement exactement juste et ne donne aucune information sur sa précision.

L'estimation par intervalle fournit une plage de valeurs, appelée intervalle de confiance, dans laquelle le paramètre inconnu (ici $p$) est susceptible de se trouver, avec un certain degré de confiance. C'est beaucoup plus informatif car cela donne une idée de la précision de l'estimation.

Le niveau de confiance est la probabilité que l'intervalle de confiance contienne la vraie valeur du paramètre. Il est souvent fixé à 90%, 95% ou 99%. Un niveau de confiance de 95% signifie que si l'on répétait l'expérience un grand nombre de fois, 95% des intervalles construits contiendraient la vraie proportion $p$. Il ne signifie PAS qu'il y a 95% de chances que $p$ soit dans l'intervalle CALCULÉ.

Un estimateur est une statistique (une fonction des données de l'échantillon) utilisée pour estimer un paramètre de la population. La fréquence $f$ est un estimateur de la proportion $p$.

L'intervalle de confiance pour une proportion $p$ (au niveau de confiance de 95%) est construit à partir de la fréquence observée $f$ dans l'échantillon de taille $n$. La formule est : $IC = \left[f - 1.96 \sqrt{\frac{f(1-f)}{n}} ; f + 1.96 \sqrt{\frac{f(1-f)}{n}}\right]$ Les conditions d'application sont similaires à celles de l'IFA :

• $n \ge 30$
• $nf \ge 5$
• $n(1-f) \ge 5$

L'interprétation du niveau de confiance est délicate. Si nous construisons un intervalle de confiance à 95% pour $p$, cela signifie que si nous devions répéter le processus d'échantillonnage et de calcul de l'intervalle un très grand nombre de fois, environ 95% de ces intervalles contiendraient la vraie proportion $p$ de la population.

L'influence de la taille de l'échantillon est primordiale :

• Plus la taille de l'échantillon $n$ est grande, plus l'intervalle de confiance est étroit (plus précis). La largeur de l'intervalle diminue en $\frac{1}{\sqrt{n}}$. Pour diviser la largeur par 2, il faut multiplier $n$ par 4.
• Plus le niveau de confiance est élevé (par exemple, 99% au lieu de 95%), plus l'intervalle est large (moins précis), car on veut être plus sûr de "capturer" la vraie valeur de $p$.

La lecture d'un intervalle de confiance est directe : l'intervalle $[a;b]$ signifie que nous sommes X% confiants que la vraie proportion $p$ de la population se situe entre $a$ et $b$.

La prise de décision basée sur l'intervalle est une application courante. Par exemple, si un sondage donne un intervalle de confiance pour la proportion d'électeurs favorables à un candidat, et que cet intervalle est entièrement au-dessus de 50%, on peut conclure avec un certain niveau de confiance que le candidat est majoritaire. Si l'intervalle contient 50%, on ne peut pas conclure de manière significative.

Les limites de l'estimation par intervalle sont importantes à connaître :

• L'intervalle ne donne pas une certitude absolue, mais une probabilité. Il y a toujours un risque (par exemple 5% pour un IC à 95%) que la vraie proportion ne soit pas dans l'intervalle.
• La qualité de l'échantillon est fondamentale. Un échantillon biaisé, même grand, produira un intervalle de confiance inutile.
• L'intervalle de confiance ne prédit pas le futur, il estime une caractéristique présente de la population.

Un test d'hypothèse est une procédure statistique qui permet de décider si les données observées dans un échantillon sont compatibles avec une certaine hypothèse concernant la population.

L'objectif est de prendre une décision statistique : soit rejeter une hypothèse initiale (appelée hypothèse nulle), soit ne pas la rejeter.

On formule deux hypothèses :

• L'hypothèse nulle ($H_0$) : C'est l'hypothèse de base, celle que l'on suppose vraie par défaut. Elle exprime généralement l'absence d'effet, l'absence de différence, ou qu'un paramètre est égal à une certaine valeur (ex: $p = p_0$). C'est l'hypothèse que l'on cherche à "réfuter" ou à "ne pas réfuter".
• L'hypothèse alternative ($H_1$) : C'est l'hypothèse que l'on cherche à prouver. Elle contredit $H_0$ (ex: $p \ne p_0$, $p > p_0$, ou $p < p_0$).

Le principe est de partir du principe que $H_0$ est vraie, puis de calculer la probabilité d'obtenir les observations de l'échantillon (ou des observations plus extrêmes) sous cette condition. Si cette probabilité est très faible, on rejette $H_0$ en faveur de $H_1$.

Ce type de test est utilisé pour vérifier si la proportion observée dans un échantillon est conforme à une proportion théorique $p_0$ supposée pour la population.

La formulation des hypothèses pour un test bilatéral (on ne sait pas si $p$ est plus grand ou plus petit que $p_0$) est :

• $H_0: p = p_0$ (La proportion de la population est égale à $p_0$)
• $H_1: p \ne p_0$ (La proportion de la population est différente de $p_0$)

La règle de décision est basée sur l'Intervalle de Fluctuation Asymptotique (IFA) au seuil de 95% (ou 5% de risque d'erreur).

1. On calcule l'IFA pour la proportion $p_0$ sous $H_0$ : $IFA = \left[p_0 - 1.96 \sqrt{\frac{p_0(1-p_0)}{n}} ; p_0 + 1.96 \sqrt{\frac{p_0(1-p_0)}{n}}\right]$
2. On compare la fréquence observée $f$ de l'échantillon avec cet IFA :
   • Si $f \in IFA$, on ne rejette pas $H_0$. Cela signifie que la fréquence observée est compatible avec l'hypothèse que la vraie proportion est $p_0$.
   • Si $f \notin IFA$, on rejette $H_0$ en faveur de $H_1$. Cela signifie que la fréquence observée est trop "extrême" pour être compatible avec l'hypothèse que la vraie proportion est $p_0$.

La conclusion du test doit toujours être formulée en fonction du contexte de l'exercice et en précisant le niveau de risque. Par exemple, "Au risque de 5%, nous ne pouvons pas rejeter l'hypothèse que la proportion est de $p_0$."

Lorsqu'on prend une décision basée sur un test d'hypothèse, il y a toujours un risque de se tromper. Il existe deux types d'erreurs :

1. Erreur de première espèce (Type I) : Rejeter $H_0$ alors que $H_0$ est vraie.

   • Le risque de commettre cette erreur est noté $\alpha$ (alpha), et est appelé le seuil de signification du test.
   • Le plus souvent, on fixe $\alpha = 0,05$ (ou 5%). Cela signifie que, si $H_0$ est vraie, il y a 5% de chances de la rejeter à tort.
   • Ce risque est contrôlé par le chercheur et est défini avant le test.

2. Erreur de deuxième espèce (Type II) : Ne pas rejeter $H_0$ alors que $H_1$ est vraie (c'est-à-dire que $H_0$ est fausse).

   • Le risque de commettre cette erreur est noté $\beta$ (bêta).
   • Il est plus difficile à calculer et dépend de la vraie valeur du paramètre sous $H_1$.
   • La puissance du test est $1 - \beta$. C'est la probabilité de rejeter $H_0$ quand $H_0$ est fausse (c'est-à-dire de prendre la bonne décision).

Il existe un compromis entre les deux types d'erreurs :

• Diminuer $\alpha$ (par exemple, passer de 5% à 1%) pour être plus strict sur le rejet de $H_0$ augmente généralement $\beta$.
• Augmenter la taille de l'échantillon $n$ permet de diminuer simultanément $\alpha$ et $\beta$ (et donc d'augmenter la puissance du test).

Voici les étapes d'un test statistique pour une proportion :

1. Formuler les hypothèses $H_0$ et $H_1$ :

   • $H_0: p = p_0$ (valeur de référence)
   • $H_1: p \ne p_0$ (ou $p < p_0$ ou $p > p_0$ pour un test unilatéral, mais en Terminale, on se concentre sur le bilatéral $\ne$)

2. Choisir le seuil de signification $\alpha$ : En général, $\alpha = 0,05$ (soit un risque de 5%).

3. Vérifier les conditions d'application de l'IFA : $n \ge 30$, $np_0 \ge 5$, $n(1-p_0) \ge 5$. Si ces conditions ne sont pas respectées, le test n'est pas valide.

4. Calculer l'intervalle de fluctuation asymptotique (IFA) au seuil de $1-\alpha$ (par exemple 95%) : $IFA = \left[p_0 - z_{\alpha/2} \sqrt{\frac{p_0(1-p_0)}{n}} ; p_0 + z_{\alpha/2} \sqrt{\frac{p_0(1-p_0)}{n}}\right]$ Pour un seuil de 5%, $z_{\alpha/2} = 1.96$.

5. Calculer la statistique de test : Ici, la statistique de test est la fréquence observée $f = \frac{k}{n}$ dans l'échantillon.

6. Prendre la décision en comparant la statistique de test avec la zone de rejet :

   • Si $f \in IFA$, on ne rejette pas $H_0$. L'échantillon est compatible avec l'hypothèse $p=p_0$.
   • Si $f \notin IFA$ (c'est-à-dire $f$ est dans la zone de rejet), on rejette $H_0$ en faveur de $H_1$. L'échantillon n'est pas compatible avec l'hypothèse $p=p_0$.

La signification statistique ne signifie pas forcément une importance pratique. Un résultat peut être statistiquement significatif (on rejette $H_0$) sans avoir de grande implication dans le monde réel, surtout avec de très grands échantillons. Inversement, un petit effet important peut ne pas être détecté avec un petit échantillon.

Il est crucial de comprendre la nuance entre non-rejet de $H_0$ et acceptation de $H_0$ :

• Ne pas rejeter $H_0$ signifie que les données de l'échantillon ne fournissent pas suffisamment de preuves pour contredire $H_0$. Cela ne signifie PAS que $H_0$ est vraie. C'est un peu comme un procès : "non coupable" ne veut pas dire "innocent", mais "non prouvé coupable".
• Rejeter $H_0$ signifie que les données de l'échantillon sont suffisamment éloignées de ce que $H_0$ prédit pour que l'on conclue que $H_0$ est probablement fausse.

La contextualisation des conclusions est essentielle. Il faut traduire les résultats statistiques en langage clair, en fonction du problème initial. Par exemple, au lieu de dire "nous rejetons $H_0$", on dira "Au seuil de 5%, les données suggèrent que la proportion d'ampoules défectueuses n'est pas de 2%".

1. Contrôle qualité : Une usine fabrique des pièces et affirme que seulement 2% d'entre elles sont défectueuses ($p_0 = 0,02$). Un contrôleur prélève un échantillon de 500 pièces et en trouve 15 défectueuses ($f = \frac{15}{500} = 0,03$).

   • $H_0: p = 0,02$
   • $H_1: p \ne 0,02$
   • Il calcule l'IFA pour $p_0=0,02$ et $n=500$. Si $f=0,03$ est en dehors de cet IFA, il rejettera $H_0$ et conclura que la proportion de pièces défectueuses est probablement supérieure à 2%.

2. Sondages d'opinion : Avant une élection, un candidat affirme avoir 30% d'intentions de vote ($p_0 = 0,30$). Un institut de sondage interroge 1000 personnes et trouve 270 intentions de vote pour ce candidat ($f = \frac{270}{1000} = 0,27$).

   • $H_0: p = 0,30$
   • $H_1: p \ne 0,30$
   • L'IFA est calculé pour $p_0=0,30$ et $n=1000$. Si $f=0,27$ est dans l'IFA, l'institut ne peut pas rejeter l'affirmation du candidat. Si $f=0,27$ est en dehors, il pourra affirmer que le score du candidat est significativement différent de 30%.

3. Études médicales : Un nouveau traitement est testé, et on affirme qu'il est efficace dans 70% des cas ($p_0 = 0,70$). Sur un échantillon de 120 patients traités, 78 guérissent ($f = \frac{78}{120} = 0,65$).

   • $H_0: p = 0,70$
   • $H_1: p \ne 0,70$ (ou $p < 0,70$ si on s'attend à un effet moins bon)
   • En comparant $f=0,65$ à l'IFA de $p_0=0,70$, les médecins pourront décider si le nouveau traitement est aussi efficace que prévu, ou si son efficacité est significativement différente.

Ces exemples montrent comment les tests d'hypothèses sont des outils puissants pour prendre des décisions basées sur des données empiriques, en quantifiant le risque d'erreur.