A l’Université catholique de Louvain, le logiciel Contest (Consilium), outil de conception et de correction automatisées d’examens QCM, a permis de constituer une banque de données de plus de 700 cours évalués par QCM, soit 146.800 copies d’examen. L’étude des données récoltées indique que 68,6% des examens recourent à un barème de pénalisation en cas de mauvaise réponse et pour ces examens le taux de réussite moyen est inférieur de 10%. Ce constat a conduit à étudier l’existence d’un lien entre la pénalisation des mauvaises réponses et la capacité de discrimination d’un test. Les analysent montrent que le recours à une faible pénalité ou à une taille de test élevée est lié à une meilleure capacité de discrimination d’un examen QCM. Cette observation semble rejoindre les considérations de plusieurs auteurs qui soulignent que la pénalisation en situation d’examen fait intervenir des variables personnelles non pertinentes pour la mesure des connaissances.
Lecroart, I., & Braibant, J.-M. (2017). La capacité de discrimination d’un examen QCM est-elle améliorée par le recours à la pénalisation des mauvaises réponses ? Communication présentée au 29ème colloque de l’ADMEE Europe, Dijon. https://hdl.handle.net/2078.5/182826