L’écart entre les systèmes d’aujourd’hui et les systèmes de science-fiction qui dominent l’imagination populaire est encore énorme, bien que de nombreuses personnes, profanes ou expertes, parviennent à le sous-estimer. Prenons l’exemple de Watson d’IBM, qui peut pour l’instant servir de repère digne de notre imagination.
Il est le résultat d’un processus R&D à très grande échelle s’étendant sur plusieurs personnes-siècles de conception intelligente, et il utilise des milliers de fois plus d’énergie qu’un cerveau humain. Sa victoire à Jeopardy ! a été un véritable triomphe, rendu possible par les restrictions de formule des règles de Jeopardy ! mais, pour qu’il puisse concourir, même ces règles ont dû être révisées (un de ces compromis : vous abandonnez un peu de polyvalence, un peu d’humanité, et vous obtenez un spectacle qui plaît aux foules).
Watson n’est pas de bonne compagnie, malgré les publicités trompeuses d’IBM qui suggèrent une capacité générale de conversation, et transformer Watson en un agent multidimensionnel plausible serait comme transformer une calculatrice manuelle en Watson. Watson pourrait être une faculté de base utile pour un tel agent, mais plus comme un cervelet ou une amygdale qu’un esprit – au mieux, un sous-système à usage spécial qui pourrait jouer un grand rôle de soutien, mais pas du tout à la hauteur de la tâche consistant à encadrer des objectifs et des plans et à construire avec perspicacité sur ses expériences conversationnelles.
Pourquoi voudrions-nous créer un agent pensant et créatif à partir de Watson ? Peut-être que l’idée brillante de Turing d’un test opérationnel – le fameux test de Turing – nous a attirés dans un piège : la quête pour créer au moins l’illusion d’une personne réelle derrière l’écran, en jetant un pont sur la « vallée de l’inquiétude ». »
Le danger ici est que depuis que Turing a posé son défi – qui était, après tout, un défi pour tromper les juges – les créateurs d’IA ont tenté de recouvrir la vallée de papier avec des touches humanoïdes mignonnes, des effets de Disneyfication qui enchanteront et désarmeront les non-initiés. L’ELIZA de Joseph Weizenbaum, un tout premier chatbot, a été l’exemple pionnier de ce type de fabrication d’illusions superficielles, et c’est son désarroi face à la facilité avec laquelle son programme ridiculement simple et superficiel pouvait persuader les gens qu’ils avaient une conversation sérieuse de cœur à cœur qui l’a d’abord envoyé en mission.
Il avait raison de s’inquiéter. S’il y a une chose que nous avons apprise des concours restreints de tests de Turing pour le prix Loebner annuel, c’est que même des personnes très intelligentes qui ne sont pas à l’écoute des possibilités et des raccourcis de la programmation informatique se laissent facilement prendre par des astuces simples.
Les attitudes des gens de l’IA envers ces méthodes de dissimulation à l' »interface utilisateur » ont varié du mépris à la célébration, avec une appréciation générale que les astuces ne sont pas profondes mais peuvent être puissantes. Un changement d’attitude qui serait très bienvenu serait une reconnaissance franche que les embellissements humanoïdes sont de la publicité mensongère – quelque chose à condamner, pas à applaudir.
Comment cela pourrait-il être accompli ? Une fois que nous reconnaissons que les gens commencent à prendre des décisions de vie ou de mort en grande partie sur la base de « conseils » provenant de systèmes d’IA dont le fonctionnement interne est insondable en pratique, nous pouvons voir une bonne raison pour laquelle ceux qui encouragent de quelque manière que ce soit les gens à accorder plus de confiance à ces systèmes qu’ils ne le justifient devraient être tenus moralement et légalement responsables.
Les systèmes d’IA sont des outils très puissants – si puissants que même les experts auront de bonnes raisons de ne pas faire confiance à leur propre jugement par rapport aux « jugements » délivrés par leurs outils. Mais alors, si ces utilisateurs d’outils vont bénéficier, financièrement ou autrement, de la conduite de ces outils à travers terra incognita, ils doivent s’assurer qu’ils savent comment le faire de manière responsable, avec un maximum de contrôle et de justification.
L’octroi de licences et le cautionnement des opérateurs de ces systèmes, tout comme nous accordons des licences aux pharmaciens, aux grutiers et à d’autres spécialistes dont les erreurs et les mauvais jugements peuvent avoir des conséquences désastreuses, pourrait, sous la pression des compagnies d’assurance et d’autres souscripteurs, obliger les créateurs de systèmes d’IA à faire des efforts extraordinaires pour rechercher et révéler les faiblesses et les lacunes de leurs produits, et pour former les personnes habilitées à les exploiter à s’en méfier.
On peut imaginer une sorte de test de Turing inversé dans lequel le juge est mis à l’épreuve ; tant qu’il ne pourra pas repérer les faiblesses, les limites dépassées, les lacunes d’un système, aucun permis d’exploitation ne sera délivré. L’entraînement mental nécessaire pour obtenir la certification de juge sera exigeant. L’envie d’attribuer des pouvoirs de pensée semblables à ceux des humains à un objet, notre tactique habituelle dès que nous rencontrons ce qui semble être un agent intelligent, est presque trop forte.
En effet, la capacité de résister à l’attrait de traiter une personne apparente comme une personne est un talent laid, empestant le racisme ou l’espèce-isme. Beaucoup de gens trouveraient moralement répugnante la culture d’une approche aussi impitoyablement sceptique, et nous pouvons prévoir que même les utilisateurs de systèmes les plus compétents succomberaient occasionnellement à la tentation de se » lier d’amitié » avec leurs outils, ne serait-ce que pour apaiser leur malaise dans l’exécution de leurs tâches.
Peu importe le scrupule avec lequel les concepteurs d’IA blanchissent les fausses touches « humaines » de leurs marchandises, nous pouvons nous attendre à une floraison de raccourcis, de contournements et de distorsions tolérées de la « compréhension » réelle tant des systèmes que de leurs opérateurs. Les listes comiquement longues des effets secondaires connus des nouveaux médicaments annoncés à la télévision seront éclipsées par les révélations obligatoires des types de questions auxquelles des systèmes particuliers ne peuvent répondre de manière responsable, avec de lourdes pénalités pour les fabricants qui « oublient » les défauts de leurs produits. (Il est largement noté qu’une partie considérable de l’inégalité économique croissante dans le monde d’aujourd’hui est due à la richesse accumulée par les entrepreneurs numériques ; nous devrions promulguer une législation qui met leurs poches profondes sous séquestre pour le bien public)
.