theudericus a écrit :le modèle prévoit 2.1% avec un QI inférieur ou égal à 69 alors qu'ils en relèvent 3.1% sur l'étalonnage français du test, que le modèle prévoit 2.5% pour 130 et plus et que 1.4% sont observés.
Fish a écrit : "La corrélation entre les phénomènes A et B est faible mais néanmoins significative."
Si votre première réaction est "Faudrait savoir! c'est faible ou c'est significatif ?", faut réviser un peu les stats.
Alors c’est parti, révisons un peu les stats.
Dans la langue commune, quelque chose de significatif a une amplitude importante. On dit d’un référendum qu’il y a un écart significatif si on a un ratio 60/40%. Mais on ne dira pas cela d'un ratio 51/49%. En statistique, le ratio 51/49% peut être considéré comme significatif si on est à peu près sûr que cet écart mesuré sur un échantillon est bel et bien représentatif de toute la population, et pas simplement issu du bruit aléatoire inhérent à toute étude statistique. Est significatif ce qui émerge du bruit de fond, et qui a donc un sens.
On lance une pièce de monnaie 2 fois. Avec une pièce non faussée, on a 1 chance sur 4 d'obtenir deux fois pile. C’est tout à fait plausible. Une pièce totalement faussée donnerait également deux fois pile. Mais avec aussi peu de lancés, on est incapable d’affirmer que la pièce est faussée. On ne peut rien conclure. Sur deux lancés, l’écart entre le résultat obtenu (100 % de pile) et le résultat attendu (50 %) n’est pas significatif.
On lance une pièce 10 fois, et on obtient 10 pile. C'est très peu probable avec une pièce non faussée: 1 sur 1024. On pourra affirmer, en ayant 1 chance sur 1024 de se tromper, que la pièce est faussée. Sur 10 lancés, l’écart entre le résultat obtenu (100 %) et attendu (50%) est significatif.
Pourtant, dans les deux cas on a obtenu 100 % de pile alors qu’on attendait 50 %.
On lance une pièce 10 fois, on obtient 6 pile et 4 face. On sent intuitivement que ça peut arriver, que l’aléa peut justifier à lui seul l’écart entre le 6/4 obtenu et le 5/5 attendu. L’écart n’est pas significatif.
On lance une pièce 1000 fois, on obtient 600 piles et 400 face. Sur un nombre aussi élevé de lancé, on s’attend à ce que l’aléa soit déjà largement moyenné et à obtenir une valeur très proche de 500/500. Peut-être 506/494, mais pas 600/400. L’écart est significatif.
Pourtant, dans les deux cas on a 60 % de pile et 40 % de face.
Pour un même taux de pile, on peut conclure que la pièce est faussée ou ne pas conclure, suivant la taille de l’échantillon.
Pour une taille d’échantillon donnée, on peut conclure que la pièce est faussée ou ne pas conclure, suivant que l’écart par rapport au résultat attendu est important ou pas.
Une pièce franchement faussée sera détectée sur quelques lancés seulement. Une pièce faiblement faussée nécessitera un nombre de lancé bien plus grand.
La significativité dépend donc de trois paramètres :
- l’écart entre les résultats obtenu et attendu. Ça rejoint le sens commun où un écart est significatif s’il a une grande ampleur
- le nombre d’essais que l’on a mené (la taille de l’échantillon).
- le seuil de risque de se tromper en dessous duquel on accepte de prendre une décision. Typiquement on utilise 5 %, mais c’est discutable.
Ce seuil est aussi primordial. La probabilité d’obtenir 5 pile de suite est de 1 sur 32, soit 3 %. Si on place le seuil à 5 %, on conclura que la pièce est faussée avec un risque de se tromper de 3 %. Si on place le seuil de décision à 1 %, on refusera de conclure. Plus le seuil est bas, moins on a de chance de considérer à tort qu’une pièce est faussée, mais plus on a de chance de refuser de conclure alors que la pièce est réellement faussée. C’est un compromis.
Pour revenir à nos histoires de QI, je ne sais pas vous dire si l'écart entre le nombre attendu et obtenu de surdoués dans l’échantillon est significatif ou pas. Mais avant de chercher la cause d’un tel écart, il faut vérifier qu’il est significatif. S'il peut résulter de l’aléa, alors chercher les causes dans le monde réel revient à chercher pourquoi une pièce qui a donné 6 pile sur 10 lancés est faussée… Peut-être qu’elle ne l’est pas, tout simplement !
La significativité est utilisée à tour de bras en statistiques. On veut savoir si tel médicament à un effet réel ? Il faut vérifier que l'écart constaté entre un groupe réellement traité et un groupe de contrôle recevant un placébo est plus grand que ce que pourrait donner l'aléa. Même chose si on cherche à améliorer une chaîne de montage, si on expérimente une nouvelle pédagogie à l'école, etc. C'est aussi cette significativité qui autorise à grouper les subtests de la WAIS: on peut affirmer que le facteur G n'est pas unique et exclusif parce que la meilleure corrélation entre certains subtests est significative et ne résulte pas seulement de l'aléa.