J'ai pris mon courage à 4 mains, et j'ai regardé la vidéo 03...
Je reste tout autant qu'avant sur mes impressions, à savoir : accord sur le fond, mais incompatibilité totale sur la forme...

(je parle essentiellement du rythme employé, autant langagier que celui du déploiement des connaissances).
Je tente un petit résumé très simplifié, qui vous évitera de vous taper les presque 2h de vidéo (si vous vous y engagez tout de même et voyez des choses à ajouter/corriger, n'hésitez pas !) :
(Je mets des parties en spoilers pour ajouter certaines remarques sur ce qui y est raconté mais que je laisse sous silence "en clair" car pas indispensables à la lecture du résumé, mais nécessaires pour coller un peu plus au propos)
Résumé vidéo 03 : (dispo dans le spoil ci-dessous)
L'auteur s'y attache à expliquer quand/comment un "test" servant à évaluer une "grandeur" à l'aide de différents items (typiquement, tous les items d'un des sub-tests de la WAIS, par exemple) peut ou non être considéré comme un véritable instrument de
MESURE (quantitatif inside), et pas simplement d'évaluation (qualitatif inside).
Le test étant constitué de
m items, les réponses associées au test peuvent être mises sous la forme d'un
m-uplet/vecteur à
m composantes tu type :
(1,1,1,0,1,... ,0)
avec
m valeurs valant 0 ou 1, où 0 = "réponse fausse" et 1 = "réponse juste".
► Afficher le texte
En fait, il développe aussi le même type de raisonnement pour un test dont la réponse peut prendre plus de 2 valeurs, comme pour les tests d'estime de soi, qui peuvent prendre 4 états différents : "tout à fait pas d'accord" => 1 / "plutôt pas d'accord" => 2 / "plutôt d'accord" => 3 / "tout à fait d'accord" => 4.
Ça alourdit bcp le contenu pour finalement un résultat identique.
Partant maintenant du principe que l'on dispose d'un test sensé mesurer quelque chose, ledit test ne peut être considéré comme un instrument de MESURE (au sens quantitatifico-scientifique du terme) que s'il ne permet d'obtenir que des
m-uplets du type (pour
m=5, par exemple) :
(1,0,0,0,0)
(1,1,0,0,0)
(1,1,1,0,0)
(1,1,1,1,0)
(1,1,1,1,1)
soit, de manière plus générale, une suite continue de 1 jusqu'à ce que la tâche devienne trop complexe pour le sujet et qu'on n'ait alors qu'une suite de 0 pour tous les items suivants.
En soi, cela paraît relativement logique... (Cela présuppose évidemment un test construit correctement, avec les items classés par ordre de difficulté croissante).
Partant de ce principe, il montre donc que si on rencontre un test à
m items "bien construit" (cf. ordre de difficulté croissante des items) qui occasionne soit :
- de générer des m-uplets non "réguliers" (terme tout à fait personnel mais qui facilitera la discussion), du type (1,0,1,1,1,1,0,0,1,0,0,0,0) ou même (1,1,1,0,1,0,0,0,0,0,0,0,0) avec certaines personnes
- ou de générer des m-uplets différents lors d'un processus test-retest d'une même personne
c'est que ce test ne peut pas être considéré comme un instrument de MESURE (quantitatifico-machin...) et est
au mieux, un procédé évaluatif, puisque les réponses/valeurs obtenues aux items du test soit ne sont pas cohérentes (premier cas), soit ne sont pas reproductibles (second cas).
La démarche va un peu plus loin dans le sens où il interroge aussi la signification de l'existence de ces
m-uplets non réguliers ou non reproductibles. En gros, le raisonnement est le suivant (en résumé toujours) :
Application au champ de la psychométrie, ensuite, sur un test de calcul mental issu de
monqi.com, et sur un test d'estime de soi. Chaque test a été réalisé 2 fois, à une semaine d'intervalle, afin de tester également la condition test-retest.
Et, sans surprise, les
m-uplets ne sont ni réguliers ni reproductibles, amenant à la conclusion que ces tests ne sont pas des instruments de mesure.
► Afficher le texte
En fait, l'argumentaire va aussi plus loin en parlant de la façon de comptabiliser les points aux différents items pour faire le totale sur le test complet pour donner un résultat chiffré.
Sur le cas des
m-uplets faits de 0 et de 1, ça perd de son intérêt, même si le problème existe encore. Mais il en discute de manière plus approfondie
dans l'article, spécifiquement dans le cas du subtest "cubes" de la WAIS ou du WISC.
En gros, il y explique qu'à partir du moment où le test ne répond pas aux conditions pour être un instrument de MESURE, envisager de faire des sommes des points alloués à chaque item réussi n'a pas rigoureusement de sens non plus.
Critique personnelle :
Voilà donc, comment enfoncer une porte ouverte en près de 2h...

D'autant que ça pouvait sans aucun doute tenir en 20 minutes, hors passation des différents tests.
Sinon, pour le choix d'utiliser des tests provenant d'un site comme monqi.com, dont on sait qu'il ne sont pas étalonnés comme l'est une WAIS ou un WISC (qui présentent sans doute eux aussi des biais, déjà), je dirais que s'il avait trouvé une réponse contraire, j'en aurais bouffé mon chapeau (en même temps, je ne prends pas de risques : je n'en ai pas, de chapeau...

) et de toutes façons, c'est complètement illusoire dans l'absolu d'imaginer pouvoir construire un test psychométrique qui ne mesurerait qu'UNE SEULE grandeur.
C'est comme l'évaluation par compétences, c'est juste pas possible d'isoler une compétence ! Ne serait-ce que le test de calcul mental, ça consiste à : voir, lire, interpréter, réfléchir (et je n'insisterai même pas sur le fait qu'avec ces tests là, on peut résoudre la plupart des questions en utilisant des raisonnements/stratégies complètement différents), restitution de la réponse = coordination s'il faut par exemple cliquer sur une case, ou formulation orale, ou... ou...
Et après on s'étonne que ça ne peut pas donner un instrument de mesure au sens stricto-scientifico-quantitatif du terme. Même un test parfaitement étalonné ne pourrait y arriver. Portes ouvertes, je vous dis !
La suite ?
Évidemment, le cadre de la démonstration est bcp trop restrictif pour un test psychométrique (d'où les défonçages de portes ouvertes...) et la vidéo 04 doit s'attacher à nous expliquer pourquoi utiliser un traitement statistique des résultats qui permettrait d'extraire une seule grandeur d'un test n'est en fait que poudre aux yeux et ne confère pas audit test un caractère d'instrument de MESURE pour autant (j'extrapole sans avoir vu la vidéo : "les stats c'est le mal ! On vous ment ! On vous spolie !"

)
Mais ça, ce sera pour un autre jour, quand je trouverai le courage de me frapper la tête contre les murs pdt plus d'une heure parce que ça n'avance pas...

(Et si qqn veut se dévouer qu'il n'hésite pas !

)
[table=font-size:0;][tr][td]
[/td][/tr][/table]
Vous ne pouvez pas consulter les pièces jointes insérées à ce message.