Watson gagne à Jeopardy! mais répond Toronto avec cinq points d’interrogation

En février 2011, IBM Watson affronte à Jeopardy! deux des meilleurs champions de l’émission, Brad Rutter et Ken Jennings. Le système comprend les indices, classe plusieurs réponses possibles et appuie virtuellement sur le buzzer sans être connecté à Internet. Il finit par gagner. Mais avant de devenir champion, il répond « Toronto????? » à une question de la catégorie des villes américaines. Même une IA bardée de serveurs peut donc avoir un doute très bien ponctué.

Un jeu où la question vient après la réponse

Jeopardy! complique volontairement la tâche : l’animateur donne un indice sous forme d’affirmation et le candidat doit formuler sa réponse comme une question. Les indices utilisent jeux de mots, références culturelles, ambiguïtés et raccourcis. Pour une machine, retrouver des mots dans une base documentaire ne suffit pas. Il faut comprendre ce qui est demandé, proposer des hypothèses et décider assez vite si l’une d’elles mérite le buzzer.

IBM lance le projet en 2006. Une équipe de chercheurs construit DeepQA, une architecture qui analyse chaque indice de plusieurs manières. Le système ne cherche pas une phrase magique dans un seul document : il fait travailler de nombreux algorithmes en parallèle, rassemble des preuves et attribue un score à chaque candidat. La réunion de validation est intégrée au logiciel et, avantage notable, personne n’y demande de repousser la décision à mardi.

Dix racks et 2 880 cœurs sans moteur de recherche

Le Watson original occupe dix racks, réunit 90 serveurs et 2 880 cœurs de processeur. Il a absorbé des encyclopédies, dictionnaires, œuvres littéraires et autres collections. Pendant le match, il fonctionne hors ligne. Cette contrainte l’empêche de transformer chaque indice en recherche Web et l’oblige à exploiter les connaissances préparées à l’avance.

En environ trois secondes, Watson génère des réponses possibles, recherche des éléments favorables ou défavorables, puis calcule sa confiance. Si le score dépasse un seuil, il tente sa chance. La méthode ressemble moins à un oracle qu’à un immense tableau comparatif exécuté à toute vitesse. L’IA ne « sait » pas au sens humain ; elle accumule assez d’indices convergents pour choisir.

Toronto entre dans la mauvaise catégorie

Lors du premier match, l’indice final concerne une ville dont les deux principaux aéroports portent les noms d’un héros de la Seconde Guerre mondiale et d’une bataille de cette guerre. La réponse attendue est Chicago. Watson propose Toronto, accompagné de cinq points d’interrogation qui représentent son faible niveau de confiance.

L’erreur est instructive. Le système trouve des associations plausibles autour des aéroports, mais ne traite pas assez fortement le nom de la catégorie, « U.S. Cities ». Toronto est proche des États-Unis, pas à l’intérieur. La réponse montre qu’une chaîne sophistiquée peut échouer sur une contrainte simple si celle-ci pèse mal dans le classement final. Dans un tableur humain, on appellerait cela la colonne importante laissée tout à droite.

Une victoire, pas une preuve d’infaillibilité

Watson remporte finalement 77 147 dollars, contre 24 000 pour Ken Jennings et 21 600 pour Brad Rutter. Les gains sont reversés à des œuvres caritatives. Le résultat démontre qu’un système peut traiter rapidement des questions ouvertes et rivaliser avec des experts sur un format précis. Il ne démontre pas qu’il comprend chaque indice comme une personne ni qu’il peut transférer automatiquement cette réussite à n’importe quelle décision.

La leçon reste actuelle : une réponse doit voyager avec son niveau de confiance, ses preuves et la possibilité d’être vérifiée. Quand l’enjeu dépasse un plateau de télévision, un score élevé n’efface ni les limites du corpus ni les erreurs de contexte. Quant aux cinq points d’interrogation, ils constituent peut-être l’interface la plus honnête jamais ajoutée à une réponse d’IA.

Source