Échantillons, simulation et fluctuation~4 min
Un échantillon de taille $n$ d'une loi de Bernoulli de paramètre $p$, c'est $n$ répétitions indépendantes de l'épreuve (interroger $n$ clients, observer $n$ visites). La fréquence $f$ de succès dans l'échantillon est le nombre de succès divisé par $n$. En Python : $n$ appels de random() < p.
Deux échantillons de même taille n'ont pas la même fréquence : c'est la fluctuation d'échantillonnage. Ci-dessous, $40$ échantillons de taille $n=50$ simulés avec $p=0{,}3$ : les fréquences vont de $0{,}12$ à $0{,}44$, dispersées autour de $p$.
On simule $N=200$ échantillons de taille $n=50$ avec $p=0{,}3$ et on trace l'histogramme des $200$ fréquences (ci-dessous).
• Les fréquences s'étalent de $0{,}12$ à $0{,}46$, centrées sur $p=0{,}3$ ; leur moyenne vaut $0{,}2995$.
• Leur écart-type $s$ (dispersion de la série des $200$ fréquences, calculé comme en Seconde) vaut $s\approx0{,}066$.
• Dans $[p-s\,;p+s]=[0{,}234\,;0{,}366]$ : $70{,}5\,\%$ des échantillons ; dans $[p-2s\,;p+2s]=[0{,}168\,;0{,}432]$ : $95{,}5\,\%$ ; dans $[p-3s\,;p+3s]=[0{,}102\,;0{,}498]$ : $100\,\%$. Les ordres de grandeur à retenir : environ 68 %, 95 %, 99,7 %.
Dans le modèle « la proportion vaut $p$ », une fréquence observée $f$ est :
• fréquente si elle est à moins de $2s$ de $p$ (c'est le cas d'environ $95\,\%$ des échantillons) : rien d'étonnant ;
• rare si elle est à plus de $2s$ de $p$ (environ $5\,\%$ des échantillons), très rare au-delà de $3s$ (environ $0{,}3\,\%$) : soit on a eu de la malchance, soit le modèle est à revoir (la proportion réelle n'est peut-être pas $p$).
Exemple : Un site annonce $30\,\%$ de clients fidèles ; sur $50$ clients, on en observe $f=0{,}44\gt p+2s=0{,}432$ : situation rare mais pas impossible. Avec $f=0{,}52\gt p+3s$, on douterait sérieusement du $30\,\%$ annoncé.
En refaisant la simulation avec des échantillons plus grands ($N=200$ échantillons à chaque fois, $p=0{,}3$) :
Quand $n$ est multiplié par $4$, $s$ est divisé par $2$ ; quand $n$ est multiplié par $16$, $s$ est divisé par $4$ : $s$ est de l'ordre de $1/\sqrt n$. Pour diviser la dispersion par $k$, il faut multiplier la taille par $k^2$ : une précision deux fois meilleure coûte quatre fois plus de personnes interrogées, dix fois meilleure cent fois plus. (Constat utile : la simulation donne toujours $s\approx\sqrt{p(1-p)/n}$ ; pour $p=0{,}5$, $s\approx0{,}5/\sqrt n$.)
from random import random
from math import sqrt
def frequence(n, p): # un échantillon de taille n
c = 0
for i in range(n):
if random() < p:
c = c + 1
return c / n
def liste_frequences(N, n, p): # N échantillons
return [frequence(n, p) for j in range(N)]
def ecart_type(L): # écart-type d'une liste de nombres
m = sum(L) / len(L)
v = sum((x - m) ** 2 for x in L) / len(L)
return sqrt(v)
def proportion_dans(L, p, s, k): # part des fréquences dans [p-ks ; p+ks]
dedans = 0
for f in L:
if p - k*s <= f <= p + k*s:
dedans = dedans + 1
return dedans / len(L) # k=1 -> ~0.68, k=2 -> ~0.95, k=3 -> ~0.997
L = liste_frequences(200, 50, 0.3), puis s = ecart_type(L) et proportion_dans(L, 0.3, s, 2). Pour l'histogramme : matplotlib.pyplot.hist(L) ; pour le nuage : plot(L, "o").
• Sondages : une estimation « à $\pm2\,\%$ » demande environ $2\,500$ personnes ($2s\approx0{,}02$ avec $p\approx0{,}5$) ; pour $\pm1\,\%$, il en faut $10\,000$.
• Taux de satisfaction, taux de clic : une variation de quelques points d'un mois à l'autre sur un petit échantillon peut n'être que de la fluctuation.