P-valeur ou je fais un malheur !

En science, toutes les preuves expérimentales ne se valent pas. Alors pour mesurer la qualité d'une preuve expérimentale, les statisticiens ont développé le concept de "p-valeur".
Déroule !

Aujourd'hui, il est devenu presque impossible de trouver des publications scientifiques qui ne font pas usage du concept.

Comment ça marche ? La p-valeur, ce n'est rien d'autre qu'une note entre 0% (très bien) et 100% (pas bien), égale à la probabilité d'obtenir par pur hasard un résultat expérimental au moins aussi convaincant que celui concrètement obtenu par les chercheurs une fois l'expérience terminée. Si cette probabilité est trop élevée, par exemple 20, 40 ou 70%, alors on ne peut pas considérer le résultat expérimental comme une preuve. En général d'ailleurs, les chercheurs ne publient rien dans ce cas de figure : convaincre un éditeur de publier un papier de recherche disant "on a essayé et on a obtenu une p-valeur moisie", c'est dur.

Pour qu'une preuve expérimentale soit jugée crédible (les statisticiens disent *significative*), il faut que la p-valeur liée soit faible, la plus proche de 0% possible. Beaucoup de scientifiques disent qu'en dessous de 5%, c'est bon, ils ont fait une découverte, les résultats ne sont pas le fruit d'un aléa statistique : https://i.redd.it/ese8n7bpps7z.png

En réalité, tout dépend de ce qu'on cherche à prouver. Une p-valeur de 4, 3 ou même 1%, cela reste peu convaincant s'il s'agit de remettre en question toute la physique moderne par exemple : mieux vaut être sûr de son coup et obtenir une preuve expérimentale extrêmement convaincante, avec une p-valeur de peut-être 0,00001% (si pas moins !)

A l'inverse, si l'on cherche à prouver quelque chose porteur d'enjeux nettement plus faibles, par exemple que le dé utilisé pour jouer au Monopoly avec quelques amis est pipé, pas besoin d'une p-valeur aussi faible que 0,00001% : une p-valeur aussi élevée que 10% pourra être jugée convaincante pour déclarer le dé pipé (cela dit, 0,00001% reste mieux).

Tout ceci fait écho au génialissime épisode 2 de la chaîne Hygiène Mentale, par Christophe Michel : https://www.youtube.com/watch?v=wtJwVZGuiOY
(Christophe, si tu lis ceci, Albert t'aime)

Dans cet épisode, Christophe nous dit :

"Des affirmations extraordinaires méritent des preuves plus qu'ordinaires".

Pour un statisticien, cette phrase devient

"Plus une découverte est extraordinaire, plus la p-valeur liée au preuves expérimentales se doit d'être faible".

Analysons pour conclure quelques passages de l'article de janvier 2000 publié dans la revue "Homéopathie" : https://goo.gl/k7qure
(Cet article a aussi été mentionné dans notre vidéo consacrée à l'homéopathie : https://goo.gl/ZjnLGr)

"Both the homeopathy and placebo groups had reduction in attack frequency, pain intensity and drug consumption, with a statistically non-significant difference favouring homeopathy."
=＞ non-significant=pas significatif =＞ la p-valeur était trop grande, probablement supérieure à 5%. Les chercheurs ont carrément préféré ne pas donner cette p-valeur, bien conscients qu'elle ne prouvait pas grand chose.

"The neurologists' trial evaluation showed a statistically significant reduction in attack frequency in the homeopathy group (P= 0.04)"
=＞ la p-valeur était de 4%. Ce n'est pas très convaincant, surtout en regard du fait que toutes les autres p-valeurs de la même étude sont au-dessus de 5%. Cette p-valeur de 4%, c'est très certainement un faux positif.

"Further research, with improved trial design, on the possible role of homeopathy in migraine prophylaxis is justified."
=＞ Je ne suis pas d'accord. S'il y avait eu plusieurs p-valeur hautement significatives (du genre inférieures à 1% ou même 0,1%), cela aurait vallu la peine d'essayer de répliquer les résultats avec davantage de participants pour confirmer la découverte. Mais ici, on baigne dans un étang de non-significativité. La recherche ça coûte cher, et c'est gaspiller de l'argent public (ou privé, peu importe) que de s'acharner à tester un truc (l'homéopathie) qui n'a jamais donné le moindre signe d'efficacité au-delà de l'effet placebo.

Wikipédia à propos de la p-valeur : https://fr.wikipedia.org/wiki/Valeur_p
Wikipédia à propos des dés : https://fr.wikipedia.org/wiki/D%C3%A9
Une image très amusante à propos des erreurs de type I et II : https://goo.gl/YyLUd8

Notre page Facebook : https://www.facebook.com/chatisticien
Notre compte Twitter : https://twitter.com/chatisticien
Notre page Tipeee : https://www.tipeee.com/amisdalbert

Script et narration : Nathan Uyttendaele - https://goo.gl/buuX1s
Illustration, animation, sound design : Laura Maugeri - http://lauramaugeri.com
Musique : Gwenaël Grisi - https://soundcloud.com/gwena-l-grisi

Pour ceux qui ont eu le courage de lire jusqu'au bout, voici une vidéo de chat mignonne en récompense : https://www.youtube.com/watch?v=7S2ouutAxqI

Видео P-valeur ou je fais un malheur ! канала La statistique expliquée à mon chat