O’Neil. C, Ed. Les Arènes, Paris, 2018, 235 p.

Dans la préface à cet ouvrage, Cedric Villani dit ceci : «Cathy O’Neil est…parfaitement légitime. Elle connaît bien les algorithmes pour les avoir pratiqués, conçus, vérifiés des années durant». Formée en géométrie algébrique et arithmétique, elle maîtrise autant le monde des concepts que celui des équations.

Il note aussi que derrière le jeu de mots, auquel aucune traduction ne pourra rendre pleinement justice, le concept d’«armes de destruction mathématiques» annonçait l’angle nouveau qu’adoptait l’ouvrage: «un courant de contestation de la mathématisation du monde, basé non sur l’idéologie ou sur les émotions, mais sur la dénonciation étayée des ravages massifs que ces outils peuvent produire».

Il continue : «chapitre après chapitre, Cathy O’Neil analysait des situations dans lesquelles l’intelligence artificielle avait un effet néfaste, parce qu’utilisée à mauvais escient, sans réflexion éthique, sans garde-fous, ou sans contrôle suffisamment rigoureux».

Il donne des exemples fort significatifs d’une telle tendance : «la notation automatique des enseignants qui aggrave les inégalités qu’il prétend corriger, les effets pervers de la police prédictive, qui tend à renforcer la frustration et la défiance précisément là où c’est déjà le plus difficile, les procédures automatiques d’attribution de crédit, incrustant pernicieusement les biais déjà pratiqués par les humains, la faculté de manipuler les masses via les réseaux sociaux».

Il y a dans tout cela, dit-il, «de quoi faire réfléchir les lecteurs loin au-delà des considérations algorithmiques, car l’intelligence artificielle, dans sa mise en oeuvre, reflète nos valeurs, notre société, notre âme parfois».

Dans l’introduction à ce livre, l’auteure dit ceci : «un modèle n’est après tout rien de plus que la représentation abstraite d’un processus quelconque, qu’il s’agisse d’un match de base-ball, de la chaîne d’approvisionnement d’une compagnie pétrolière, des actions menées par un gouvernement étranger, ou de la fréquentation d’une salle de cinéma. Qu’il soit mis en oeuvre dans un programme informatique ou dans notre cerveau, le modèle exploite ce que nous savons pour prédire des réponses à diverses situations. Nous avons tous dans la tête des milliers de modèles. Ils nous disent à quoi s’attendre et orientent nos décisions».

Elle donne un exemple concret pour préciser son argumentaire : «pour alimenter mon modèle de préparation des repas, j’utilise les informations dont je dispose à propos de ma famille, les ingrédients que j’ai sous la main ou que je sais pouvoir obtenir, ainsi que l’énergie, le temps et mon degré d’ambition. Le résultat est donc ce que je décide de préparer, et comment. J’évalue ma réussite à l’aune de la satisfaction que manifestent mes proches une fois le repas terminé, des quantités qu’ils ont mangées, et de la qualité diététique des aliments».

Elle continue : «observer comment le repas est accueilli et à quel point il est apprécié, me permet de mettre à jour mon modèle pour la fois suivante. Ces mises à jour et ces ajustements en font ce que les statisticiens appellent un modèle dynamique».

Et de confirmer que «si je faisais de ce travail l’une de mes grandes priorités, j’obtiendrais peut-être au bout de plusieurs mois un excellent modèle. J’aurais converti le système de gestion alimentaire que j’ai dans la tête, mon modèle informel interne, en un modèle externe formalisé. En créant ce modèle, j’étendrais mon pouvoir et mon influence sur le monde. J’aurais réussi à mettre au point une version automatisée de moi-même dont les autres pourraient se servir, même quand je ne suis pas là».

En extrapolant son raisonnement, l’auteure affirme que «lorsqu’on crée un modèle, il faut tout d’abord choisir les données que l’on juge pertinentes pour l’alimenter. Ce faisant, nous simplifions donc le monde réel à une sorte de modèle réduit facile à comprendre, et dont on déduit des actions et des faits essentiels. Nous attendons de ce modèle qu’il accomplisse une seule et unique tâche et nous résignons au fait qu’il puisse agir de temps à autre comme une machine désorientée, comportant d’importants angles morts».