Des chercheurs ont comparé les prédictions du programme Compas à celles d’humains sans expérience du domaine judiciaire. Les résultats sont similaires.
LE MONDE | • Mis à jour le
Un logiciel peut-il prédire correctement le risque de récidive ? La question est loin de relever de la science-fiction : aux Etats-Unis, c’est exactement ce que fait le programme Compas (Correctional Offender Management Profiling for Alternative Sanctions), utilisé par de nombreuses juridictions locales comme « aide à la décision » pour les juges. Or, une étude du Dartmouth College dévoilée mercredi 17 janvier par la revue Science Advances remet en question son efficacité :
« Ce logiciel commercial largement utilisé pour prédire la récidive n’est pas plus pertinent ni juste que les prédictions de personnes n’ayant aucune ou peu d’expertise judiciaire. »
Les défenseurs de ce type d’outil ont toujours argué que Compas était plus objectif et moins biaisé que les humains. C’est pourquoi Julia Dressel et Hany Farid, professeurs d’informatique au Dartmouth College, ont eu l’idée de comparer ses performances avec celles de personnes non expérimentées, recrutées sur Internet.
Ils leur ont présenté les profils de centaines de condamnés, avec des informations sur leur genre, leur âge et leurs antécédents judiciaires. Elles devaient ensuite répondre à la question suivante : « Pensez-vous que cette personne commettra un autre crime d’ici deux ans ? »
Soupçons de racisme
Dans 67 % des cas en moyenne, ces humains ont vu juste, là où Compas affiche un score de 65,2 % – des résultats relativement proches. Qui plus est, il faut souligner que si les humains ne disposaient que de quelques données sur les personnes condamnées (genre, âge et antécédents judiciaires), le programme informatique, quant à lui, prend ses décisions en se basant sur 127 critères.
« C’est perturbant que des travailleurs du Web non formés puissent être aussi efficaces qu’un programme informatique utilisé pour prendre des décisions pouvant changer la vie d’un prévenu », estime Hany Farid dans un communiqué. « Les affirmations selon lesquelles des outils opaques et soi-disant sophistiqués sont plus pertinents et justes que les humains ne correspondent tout simplement pas aux résultats de nos recherches », abonde Julia Dressel. « L’utilisation d’outils de prédiction de la récidive dans les tribunaux devrait être remis en question », poursuit-elle.
Ce n’est pas la première fois que l’efficacité de Compas est mise en doute. En 2016, une enquête de ProPublica estimait non seulement que le logiciel était peu fiable, mais aussi qu’il surévaluait le risque de récidive des Afro-Américains.
