Votre jugement perd contre un tableur

Jusqu’à dix dollars sur la table et une seule décision : les lier à vos prévisions ou à celles d’un programme. Voilà ce qu’on a posé devant 361 personnes dans un laboratoire de l’école de commerce de Wharton, à Philadelphie. La tâche consistait à deviner dans quel centile se classerait chacun d’un lot d’étudiants de master à partir de huit éléments de leur dossier : score au GMAT, dissertation, entretien, années d’expérience, salaire antérieur. Le programme était un modèle statistique ordinaire, construit avec ces mêmes données.

Le programme ne tombait pas juste. Il se trompait, en moyenne, de 22 centiles —vingt-deux places sur cent—. Les personnes se trompaient de 26,6.

Quatre centiles et demi d’écart, mesurés sur les prévisions qui valaient vraiment de l’argent. Sur cette tâche, les humains ont accumulé entre 15 % et 29 % d’erreur de plus que le modèle.

Et voici ce que personne n’attend. À une partie des participants, on a montré le programme au travail avant de choisir : quinze prévisions, avec ses réussites et ses ratés sous les yeux. Ce sont eux qui l’ont le moins choisi.

La confiance dans le modèle a été mesurée sur une échelle de 1 à 5. Ceux qui ne l’avaient pas vu travailler lui donnaient 3,04. Ceux qui l’avaient vu travailler lui donnaient 2,49. Pendant ce temps, chez ceux qui ont vu une personne se tromper —et les personnes se trompaient davantage— la confiance dans cette personne n’a pas baissé de façon appréciable : 2,70 sans l’avoir vue et 2,47 après l’avoir vue, un écart que les auteurs n’ont pas pu séparer du bruit.

Et il ne s’agit pas seulement de confiance en l’air. Avant de le voir travailler, les participants estimaient que le programme tomberait à moins de cinq centiles près presque une fois sur deux : 46,5 %. Après l’avoir vu travailler, cette même estimation descendait à 28,2 %. C’était le même programme, et les quinze exemples qu’ils venaient de voir étaient réels.

Dit à l’envers : voir un programme se tromper le disqualifie, et voir un humain se tromper, non.

Le détail le plus gênant se trouve dans le groupe à qui on a montré les deux choses, le programme et la personne, côte à côte. Sur les cinq séries de l’expérience, 610 de ces 741 personnes ont vu de leurs yeux le modèle battre l’humain. Ce groupe a été, dans toutes les études, parmi ceux qui ont le moins choisi le modèle. Ils ont vu la comparaison entière, ils ont vu qui gagnait, et ensuite ils ont parié sur le perdant.

Les auteurs ont appelé cela l’aversion à l’algorithme, et ce sont Berkeley Dietvorst, Joseph Simmons et Cade Massey qui l’ont publié en 2015. Dans toutes les conditions de toutes les études, le participant aurait gagné plus d’argent en choisissant le modèle. Dans la première, 1,78 dollar en moyenne contre 1,38.

L’explication qu’ils proposent n’est pas que les gens croient les machines stupides. Au contraire : avant de le voir fonctionner, on suppose le modèle presque parfait. Le problème, c’est ce « presque ». À un programme, on exige de ne pas se tromper, et au premier raté on lui retire toute la confiance ; à une personne, on concède de se tromper parce que c’était déjà prévu. L’humain est pardonné d’avance.

Trois ans plus tard, les mêmes auteurs ont publié l’autre moitié du résultat, et c’est la partie utile. Ils ont essayé de laisser les gens toucher le résultat du modèle : voir sa prévision et la déplacer. Avec cela, le choix a changé : ils l’utilisaient, ils la défendaient et ils étaient plus satisfaits. L’étonnant, c’est de combien on les laissait la déplacer. À certains, dix centiles ; à d’autres, cinq ; à d’autres, deux. Cela n’a rien changé. La taille de la marge n’a rien modifié d’appréciable ; ce qui changeait tout, c’était d’avoir une marge.

Il ne s’agit pas de modèles statistiques. Il s’agit du devis qui sort de votre modèle de document et que vous corrigez à l’œil parce que ce client-là est différent, de la liste de symptômes que parcourt le médecin des urgences et du barème de points qui répartit les places d’une liste d’attente. Toutes ces règles ont un point commun : elles sont faites de votre expérience passée, et le moment où vous les jetterez est juste après les avoir vues échouer une fois.

La quantité de marge que vous allez vous accorder se décide donc avant, pas après, et elle s’écrit sur la même feuille que la règle : de combien je peux déplacer le chiffre qu’elle me donne, et dans quelles unités. Dix pour cent en plus ou en moins, deux semaines, deux cents euros.