Het meest beruchte moment van <em>Jeopardy!</em> spookte door de hoofden van de fans, de sterren en zelfs Alex Trebek. Het is nu duidelijk waarom.

Op een ochtend in 2010 liep Alex Trebek de IBM-campus niet ver van New York City op en bereidde zich voor om de meest ongewone speler in de geschiedenis van Jeopardy! te inspecteren.

De reis, dwars door het land vanaf de set van Culver City, was zorgvuldig gepland. David Ferrucci, computerwetenschapper bij IBM, had jarenlang leiding gegeven aan een team dat de eerste en tot nu toe laatste niet-menselijke deelnemer aan Jeopardy! zou worden. De al lang bestaande presentator Trebek zou drie oefenwedstrijden met "Watson", zoals het systeem heette, en twee menselijke deelnemers bijwonen. Daarna zou het Jeopardy! -team in de buurt gaan lunchen, en uiteindelijk zou Trebek zelf het podium betreden om nog twee oefenwedstrijden van Watson te presenteren.

Tegen die tijd waren de voorbereidingen voor een toekomstige Jeopardy! -wedstrijd op televisie met IBM's creatie al in volle gang, maar dit was de eerste keer dat Trebek de technologie in levende lijve zou ervaren, en zijn goedkeuring was cruciaal. Ferrucci wilde graag één element in het bijzonder laten zien: het scherm, dat zo was gemanipuleerd dat Watsons drie beste antwoorden werden weergegeven wanneer het antwoord kwam, samen met het numerieke betrouwbaarheidsniveau dat het bij elk antwoord had. Voor Ferrucci was deze functie cruciaal om de taalverwerkingsmogelijkheden van de computer te demonstreren, omdat het liet zien dat Watson niet zomaar antwoorden uitspuwde – het was redeneren. Als Watson ooit zou worden ingezet in sectoren zoals de gezondheidszorg, zouden de menselijke gebruikers niet alleen maar willen weten wat de beste schatting is. Het zou oneindig veel waardevoller zijn om te weten of Watson 95 procent of slechts 30 procent zekerheid had, en of die betrouwbaarheidsniveaus in lijn waren met de werkelijke nauwkeurigheid.

Het zorgde ook voor een beter zicht. Ferrucci had zijn jonge dochter eerder in het proces meegenomen naar het lab en haar Watson laten zien terwijl het tegen menselijke tegenstanders speelde. Toen Watson weigerde in te bellen, draaide Ferrucci's dochter zich naar hem om en vroeg of de computer was gecrasht. Hij had moeite om uit te leggen dat dat niet het geval was – de computer was gewoon niet zelfverzekerd genoeg om een ​​gok te wagen. Op aandringen van Ferrucci liet het marketingteam van IBM een onderzoek uitvoeren dat bevestigde wat hij vermoedde: als mensen Watsons gewogen gokjes niet konden zien, was de concurrentie saai en moeilijk te begrijpen.

Tegen de tijd dat Trebek bij IBM aankwam, had het Watson-team de Jeopardy! -producers al overtuigd van het idee van het scherm, en het antwoordpaneel verscheen telkens wanneer de computer een antwoord gaf. Ferrucci was aanvankelijk enthousiast toen hij met Trebek in de kleedkamer zat: Trebek was enthousiast over de nieuwe aanwinst. "Hij kijkt naar het antwoordpaneel en zegt: 'Dat is fascinerend'", herinnerde Ferrucci zich.

Vervolgens vertelde hij Trebek dat ze het in de televisie-afleveringen zouden opnemen.

"Hij zegt: 'Oh nee, nee. Nee, dat doen we niet'," zei Ferrucci. "'Want dan is het geen Jeopardy! '"

" Jeopardy! draait om het ontwerp," zei Trebek tegen hem. "Je hebt de headshot, je hebt de vraagshot, je hebt de antwoordshot, je hebt de shot met twee personen, je hebt de shot met drie personen."

"Hij kende elke shot, elke hoek die gebruikt werd om een ​​Jeopardy! -wedstrijd te maken," zei Ferrucci. "En hij wist wat het publiek tijdens dat shot moest doen."

Hij zei tegen me: 'Als dat antwoordpaneel er is, doe ik iets heel anders. Dit is niet Jeopardy! ' En wat hij bedoelde met 'Het is niet Jeopardy! ' is: 'Het publiek heeft nu een heel andere ervaring.'

IBM was sterk gemotiveerd om te laten zien wat de computer daadwerkelijk deed, maar Trebek werkte niet mee. Tijdens de lunch probeerden Ferrucci en anderen van het IBM-team hem te overtuigen. Zelfs Harry Friedman, destijds uitvoerend producent van de serie, bemoeide zich ermee. "Harry legde hem uit waarom het belangrijk was," zei Ferrucci. "En hij zei: 'Nee, ik doe het niet.'"

Het moment was tekenend voor de plechtige rol van beschermer die Trebek, die in 2020 overleed, speelde in Jeopardy! — en ook voor het wijdverbreide ongemak met de computerindringer in een verder heel vertrouwde, heel menselijke omgeving.

Watson kwam in 2011 wel op televisie, waar hij het opnam tegen de huidige presentatoren Ken Jennings en Brad Rutter. De afleveringen waren een kijkcijferkanon en een mediaspektakel, met alles van een cover van New York Times Magazine tot een PBS-documentaire. Het was een baanbrekende gok in de computerwetenschappen en de voorhoede van het moderne tijdperk van kunstmatige intelligentie, een relatief gezonde amuse voor de huidige lichting LLM's en AI-slordigheid. En het is nog steeds iets waar Jeopardy! -fanaten tot op de dag van vandaag nog steeds fel over debatteren.

Sterker nog, in de jaren na de Watson-games is het haten van de computer – of in ieder geval haten van de onzinnige claims van de overwinning – een geliefde zaak geworden onder Jeopardy! -fans. "Natuurlijk heeft Watson de mensen een pak slaag gegeven – het was geen eerlijke strijd", schreef een deelnemer na de uitzending van de games. In 2021 gaf Jordan Boyd-Graber, hoogleraar computerwetenschappen en oud-presentator, een lezing waarin hij beweerde dat de Watson-games gemanipuleerd waren. Het onderwerp is een blijvende favoriet op de Jeopardy! -subreddit, waar de games zijn afgedaan als " teleurstellend ", " oneerlijk " en – mijn favoriet – "een gimmick" die "de enige [deelnemer] introduceerde die ik echt haatte ".

James Holzhauer, de superster van de serie die bijna tien jaar na de knokpartij met Watson zijn Jeopardy! -debuut maakte, is net zo scherp. "De Jeopardy! -wedstrijd met Watson was in feite gemanipuleerd door de bovenmenselijke reactietijd van de computer", zei hij.

De woede is vooral groot bij sommigen die tegenover Watson stonden. "Het was me overduidelijk dat er geen sprake was van een eerlijke strijd", zei David Madden, een 19-daagse Jeopardy! -kampioen die tegen Watson speelde terwijl het systeem werd getest. "Wat het zo frustrerend maakte, was dat dit een goocheltruc werd."

Ondanks zijn komst naar het evenement vertelde Jennings me dat Trebek zelf ook zijn bedenkingen had. "Het publiek vroeg hem vaak naar Watson, en je merkte dat hij er na al die tijd nog steeds een beetje prikkelbaar over was," zei Jennings. "Mensen vroegen hem wie zijn favoriete Jeopardy! -speler was, en daar wilde hij natuurlijk nooit op ingaan. Hij zei gewoon: 'Iedereen behalve Watson. Man, wat had ik een hekel aan die Watson.'"

Nu, in een heel ander tijdperk voor zowel Jeopardy! — het 42e seizoen begint maandag — als de relatie van het publiek met AI, is het de moeite waard om je af te vragen: hoe was de confrontatie met Watson? Het was onder andere een voorproefje op primetime van het angstige, boze moment waarin we ons nu bevinden.

Toen Ferrucci hoorde over een plan om een ​​computer te bouwen die kon concurreren met Jeopardy!, was zijn eerste gedachte: absoluut niet.

In die tijd werkte hij bij de onderzoeksafdeling van IBM, waar hij zich richtte op natuurlijke taalverwerking in AI. Het idee voor Jeopardy! circuleerde bij IBM als een nieuwe variant op Deep Blue, de schaakcomputer van het bedrijf, waarmee Garry Kasparov in 1997 werd verslagen .

Halverwege de jaren nul had een IBM-manager, Paul Horn, de pitch al twee keer aan de onderzoeksafdeling gepresenteerd. Als je probeert te bewijzen dat je technologie krachtig en intelligent is voor een zo groot mogelijk publiek, kun je je nauwelijks een beter podium voorstellen dan Jeopardy!, de quizshow die in de popcultuur al lang synoniem staat voor intelligentie. "Mensen associeerden het met intelligentie", zei Horn destijds, en hij wilde dat platform.

Maar Horn had een afwijzing gekregen. Ferrucci was zich terdege bewust van de beperkingen van de technologie: de beste taalverwerkingsmodellen haalden destijds een nauwkeurigheid van wel 35 procent, vertelde hij me. "Zelfs daar waren de vragen eenvoudiger dan bij Jeopardy!, omdat ze heel rechttoe rechtaan waren," zei hij. "Om bij Jeopardy! te winnen, moest je een nauwkeurigheid van 80 tot 90 procent hebben. Dat komt bij lange na niet in de buurt van wat machines konden."

Dus in 2006, toen Horn voor de derde keer de ronde deed, was Ferrucci geïntrigeerd, maar niet minder dan dat, gezien de extreme uitdagingen. "Een groep kwam bijeen om te bedenken hoe we die arme Paul Horn voor de derde keer nee konden zeggen," zei Ferrucci. Maar terwijl ze met hem praatten, begon Ferrucci zich af te vragen: kon het wel? "Het ging van 'Dit is volkomen onmogelijk' naar 'O mijn god, dit is makkelijk' naar 'Oké, het is mogelijk, maar heel moeilijk.' Ze zeiden tegen me: 'Oké, Dave, nou, het is jouw schuld.'"

Het jaar daarop benaderde IBM Jeopardy! Ferrucci, die officieel was aangesteld als hoofd van het Watson-project, en twee marketingmedewerkers van IBM vlogen naar Los Angeles, waar ze Friedman en Rocky Schmidt, een andere vaste producer, ontmoetten en samen Jeopardy! toerden. Maar voor de computerwetenschapper was het uitleggen van het idee makkelijker gezegd dan gedaan. "Het leek een heel fijne ontmoeting," zei Ferrucci. "Maar wat we later leerden, was dat ze geen idee hadden waar we het over hadden." Uiteindelijk ontdekte Ferrucci dat Jeopardy! een raadsel was: blijkbaar was de show in de veronderstelling dat IBM gewoon probeerde een IT-contract te krijgen met Sony, de producent van het programma.

De top van de show was niet de enige die aanvankelijk in de war raakte door de pitch. Ferrucci herinnert zich een topman bij IBM "met veel invloed" die briljant was, maar geen televisie keek. De directeur ontmoette Ferrucci's team, woedend dat de groep financiering voor het project had gekregen – zijn vrouw, vertelde hij Ferrucci, had hem een ​​paar afleveringen van de show laten kijken, en hij was geschokt dat IBM daar zijn middelen aan zou verspillen. Uiteindelijk kwam het team erachter dat de directeur Jeopardy! niet had gezien. Hij had Name That Tune gekeken.

IBM's eerste pogingen om de computer die Watson zou worden Jeopardy! te laten spelen, waren niet bepaald bemoedigend: de computer begreep slechts 13 procent van de aanwijzingen uit recente series correct. "Dertien – niet 30", zei Ferrucci. Zijn betrouwbaarheidsschatting – een cruciaal onderdeel van de AI, omdat hij de computer zou vertellen of hij moest inbellen – was nog slechter.

Al snel begon IBM met het organiseren van oefenwedstrijden met Watson op de onderzoekscampus in Westchester County, gepresenteerd door acteur Todd Alan Crain. Eerst tegen IBM-medewerkers die tijdens hun lunchpauze werden binnengehaald en uiteindelijk tegen Jeopardy! -kampioenen die door de show waren uitgekozen en die onder strikte vertrouwelijkheid werden binnengeleid. Sommige van de eerste versies waren niet bepaald showbizzklaar: Crain herinnert zich een versie waarin Watson, wiens enorme "lichaam" van servers – "10 koelkastgrote units" in een gekoelde ruimte, volgens Crain – in de ruimte werd vertegenwoordigd door een luidspreker die in de bovenkant van een prullenbak was gepropt en vervolgens met een zwarte doek was bedekt.

"De huur was heel erg laag", zei Crain. Op zo'n tentoonstellingsdag, met zowel de leiding van Jeopardy! als die van IBM aanwezig en de PBS-documentaireploeg aan het filmen, reageerde Watson op een vraag naar het Duitse woord voor "nee" — nein — met een vleugje creativiteit die waarschijnlijk niet in goede aarde zou vallen tijdens de spelshow van je oma om 19.00 uur: "fuck".

"Iedereen in het publiek was helemaal gek," zei Crain. "Het was chaos in de zaal. Er werd zweterig gelachen."

Maar de computer verbeterde voortdurend. Tegen de tijd dat Friedman en Schmidt eind 2007 het hoofdkantoor van IBM bezochten, had Watson een nauwkeurigheid van bijna 50 procent en ging de prestatie steeds verder omhoog. Toen de alumni van Jeopardy! binnenstroomden, gingen de deelnemers de uitdaging aan met de nerdy, defensieve houding die je van de trivia-elite mag verwachten: Ferrucci herinnert zich dat een speler verscheen in een John Henry T-shirt.

"Ik was moeder van twee kleine kinderen, en ze waren bereid me in een hotel te laten logeren, en ik mocht Jeopardy! opnieuw spelen", zei Alison Kolani, een tester die Jeopardy! in 2008 won. "Dus ik dacht: 'Wat jullie ook van me willen, ik doe het.'"

Tot op de dag van vandaag zijn de spelers die erin slaagden een of twee games van Watson te stelen, nog steeds enorm trots op hun prestatie. "Ik begon iets op te merken dat je nooit, nooit, nooit in de show zou zien: de menselijke deelnemers vormden een team tegen Watson", aldus Crain, die in 25 maanden tijd bijna 200 games presenteerde. "Dus als een van de deelnemers een categorie koos die toevallig een Daily Double was, zou de andere menselijke deelnemer ongetwijfeld iets zeggen als: 'Ga ervoor.' Ze moedigden de andere deelnemer aan."

Niet dat dit incidentele pesten veel uithaalde, aangezien Watson geen idee had wat zijn tegenstanders van plan waren. Maar daar ging het niet om. "Het ging er niet om dat hij of zij het zelf wilde winnen," zei Crain. "Ze hoopten dat wij als mensheid die wedstrijden zouden winnen."

Madden, de 19-daagse kampioen, was een van de spelers die de computer wist te verslaan. "Ik wist van tevoren dat ik een heel ander spel moest spelen dan toen ik in de show zat," zei hij. "Ik wist gewoon dat ik er helemaal voor moest gaan."

Dus dat deed hij ook: hij jaagde op Daily Doubles en vond er enorme bedragen op, wat destijds zeer ongebruikelijk zou zijn geweest bij Jeopardy!, bijna tien jaar voordat Holzhauer het spel transformeerde . En hoewel hij met deze strategie twee keer won, kwamen in de oefenwedstrijden de eerste tekenen naar boven van een blijvend pijnpunt voor fans van de quizshow: Watson was extreem goed in het als eerste binnenhalen. "Het werd al snel heel duidelijk dat Watson gewoon een belachelijke timing had," zei Madden.

Kolani – die vanwege de mannelijke stem van de computer mannelijke voornaamwoorden voor Watson ging gebruiken – merkte hetzelfde. "Het ging heel snel en bijna altijd goed", zei ze. "Het was vernederend."

Journalist Stephen Baker werkte bij IBM tijdens de ontwikkeling van Watson en het Jeopardy! -project en publiceerde uiteindelijk een boek over het initiatief, getiteld Final Jeopardy: Man vs. Machine and the Quest to Know Everything . IBM was destijds huiverig voor de term kunstmatige intelligentie en stond erop de computer een "vraag-en-antwoordsysteem" te noemen. "Ze wilden het geen AI noemen, omdat AI een vreselijke reputatie had van valse beloften," vertelde Baker me. "Ze waarschuwden me om het nooit AI te noemen."

In Final Jeopardy beschrijft Baker hoe IBM en Jeopardy! heen en weer gingen over hoe Watson zou inbellen. Een computer kon van nature veel, veel sneller inbellen dan zelfs de meest ervaren buzzerfanaat. "De elektrische reis van hersenen naar vinger duurde voor mensen tweehonderd milliseconden, ongeveer tien keer zo lang als voor Watson", schreef Baker. Maar IBM ontdekte dat menselijke spelers, wetende dat de opening om in te bellen aanstaande was, de anticipatie konden gebruiken om een ​​voorsprong te krijgen met hun relatief trage neuronen; sommige "blies binnen enkele milliseconden van het licht" dat aangeeft dat spelers kunnen inbellen zonder een lockout-straf.

Maar naarmate de ontwikkeling vorderde, begonnen de leidinggevenden van Jeopardy! zich zorgen te maken en eisten uiteindelijk dat het bedrijf een geïmproviseerde vinger zou bouwen die, volgens IBM's schatting, "de reactietijd van Watson met acht milliseconden zou vertragen", aldus Final Jeopardy . Watson had daardoor een zoemersnelheid van ongeveer 28 milliseconden, tegenover 200 milliseconden voor de gemiddelde mens.

Toch had het Madden en andere oud-studenten van de show er niet van weerhouden de computer te verslaan. Sterker nog, Baker zelf had Watson bijna verslagen toen IBM een deelnemer tekortkwam en de schrijver inschakelde. Baker leidde tot Final Jeopardy!, vertelde hij me, maar de computer zette hoger in en won. Toch was hij trots op zijn prestatie en bezorgde Ferrucci kort daarna zijn bijna-overwinning.

"En hij zei: 'O ja, dat moet een oude kopie op iemands laptop zijn geweest'", zei Baker. "Het was totaal verouderde software."

Jennings en Rutter werden in de jaren voorafgaand aan de wedstrijd bewust uit de buurt van Watson en IBM gehouden.

Het had niet veel moeite gekost om een ​​van beide mannen te overtuigen om mee te doen. Jennings herinnert zich dat hij jaren voordat de wedstrijden uiteindelijk zouden worden opgenomen, een telefoontje van de show kreeg met de vraag of hij zich Deep Blue nog herinnerde. "'IBM denkt dat Jeopardy! de volgende stap is na schaken,'" zei Jennings. "'Als ze ooit een algoritme op snelheid zouden krijgen, zou jij dan een van de deelnemers zijn?' En ik zei ja. Ik had informatica gestudeerd. Ik wist dat vraag-en-antwoordalgoritmes nog lang niet in de buurt kwamen van Jeopardy!

Naarmate het tikken dichterbij kwam en Watson hun spelstatistieken niet meer wist, regelde Jeopardy! dat beide kandidaten Blu-ray-opnames kregen van enkele oefenpartijen van de computer tegen andere Jeopardy! -deelnemers.

"Zo kreeg ik mijn eerste Blu-ray," zei Jennings. "Ze stuurden me een Blu-ray zodat ik kon zien hoe Watson Jeopardy! -kampioenen uit de jaren 90 en 2000 versloeg." En dat deed hij, tot zijn grote verbazing: "Hij speelde duidelijk net zo goed of zelfs beter dan Jeopardy! -tegenstanders die ik anders niet had durven spelen," zei hij.

Vooral vervelend voor Jennings was wat er met de opnames van de oefenwedstrijden gebeurde: een vroege versie van een onderzoekspaper van IBM , waarin onder andere een spreidingsdiagram van Watsons prestaties te zien was, die steeds dichter bij kwam wat de onderzoekers – en Ferrucci, de hoofdauteur van de paper – de ‘winnaarswolk’ noemden.

"Waarom zitten er twee kleuren stippen in de scatterwolk?" herinnert Jennings zich, terwijl hij zich afvroeg – en toen deed hij een verrassende ontdekking. Zijn 74 overwinningen in 2004 waren niet alleen de langste reeks in de geschiedenis van Jeopardy!: het waren waardevolle en overvloedige gegevens over wat er nodig was om te winnen, die het IBM-team met een eigen kleur op de grafiek had gescheiden. "Een daarvan is Jeopardy! champs, en de zwarte stippen zijn eigenlijk ik. Ik ben het deel van de wolk dat het probeert te bereiken."

Toch overwogen noch Jennings noch Rutter om samen een strategie te bedenken om hun gedeelde digitale vijand te verslaan. "De rivaliteit was nog steeds groot", zei Rutter. Rutter was destijds ongeslagen in de show, nadat hij Jennings en een hele reeks andere legendarische deelnemers had verslagen in het Ultimate Tournament of Champions van 2005. Toen Jennings hoorde dat Rutter ook mee zou doen aan de Watson Games, herinnert hij zich dat hij dacht: "O, ik moet weer tegen Brad spelen?"

"Niet dat we elkaar nooit hebben gemogen, maar we waren zeker niet zo close als later," zei Rutter. "Ik wilde hem net zo graag verslaan als de computer."

Toch, vertelde Jennings me, was er weinig wat ze hadden kunnen doen om Watson, die niets kon zien of horen, van zijn stuk te brengen. "Zijn tegenstanders hadden niets kunnen doen in de zin dat Garry Kasparov een vreemde opening had kunnen proberen om een ​​computerschaker op het verkeerde been te zetten," zei hij. "Er zit gewoon minder van dat soort strategie in Jeopardy! "

In de jaren sinds hun uitnodiging om tegen een computer te spelen, waren Jennings en Rutter gewoon doorgegaan met hun leven aan de westkust. Ferrucci en zijn team bleven werken aan Watson, naarmate de nauwkeurigheid en betrouwbaarheid ervan verbeterden. Jeopardy! -alumni bleven de campus bezoeken en steeds minder mensen gingen er met de winst vandoor. IBM en Jeopardy! zetten hun PR-machines op scherp, en verslaggevers stonden te popelen om een ​​eerste blik te werpen op de machine die naar verluidt enkele van 's lands meest vooraanstaande nerds zou kunnen verslaan.

En toen was het december 2010. Met de taptoe nog maar een paar weken te gaan, bracht Trebek zijn noodlottige bezoek aan de IBM-campus en schoot hij meteen de display neer die Watsons zelfvertrouwen liet zien. Een cruciaal onderdeel van Ferrucci en IBM's visie was uit – althans voor even.

Verslagen ging de groep terug naar het kantoor van IBM om zich voor te bereiden op de twee Watson-wedstrijden die Trebek zou presenteren. Toen kreeg Ferrucci een idee: ze zouden het antwoordpaneel meteen uitzetten. Terwijl hij vanuit de greenroom naar een video van de eerste wedstrijd keek die Trebek presenteerde, herinnert hij zich dat de presentator, na verschillende aanwijzingen, klaagde dat Watsons paneel verdwenen was.

Toen, net toen de tweede partij begon, klonk Trebeks stem door de intercom van de zaal: "Ferrucci!" riep hij. "Kom binnen!"

Jeopardy! -kandidaten hebben een berisping van Trebek soms vergeleken met het feit dat ze bij de directeur werden geroepen. Dit was niet anders. Ferrucci stak de gang over en kwam de kamer binnen. "Ik wil het antwoordpaneel niet alleen op een televisie," zei Trebek tegen Ferrucci, "ik wil het ook op mijn podium."

Eindelijk was het tijd om te spelen.

De dag voordat de Watson-afleveringen zouden worden opgenomen, reisden Jennings en Rutter naar de IBM-campus voor een oefenronde tegen de computer. Rutter herinnert zich dat hij een traditionele tegenstander tegenkwam, althans qua gameplay. Er werd van boven naar beneden gespeeld en er leek geen interesse te zijn in Daily Doubles. Het meest opvallende is dat noch Jennings noch Rutter zich herinneren dat ze er veel moeite mee hadden om de Watson-wedstrijd op de zoemer te winnen. Ze sloten zich al snel aan bij de Watson-winnaars: ze speelden drie volledige wedstrijden, zei Rutter, en elke deelnemer, inclusief Watson, won één keer.

De volgende dag voerde IBM een wijziging door. In Final Jeopardy beschrijft Baker hoe technici, vlak voordat de wedstrijd op televisie begon, Watson overschakelden naar wat hij de "kampioenschapsmodus" noemde. Dit, schreef Baker, hield twee wijzigingen in. Ten eerste werd Watson erop gewezen dat de wedstrijd (ahem) een tweedaagse wedstrijd was, waarbij het om het totaal aantal punten ging , wat zijn inzetstrategie veranderde. En, vervolgt Baker, "het IBM-team gaf de machine opdracht om te jagen op Daily Doubles."

Toen hij het amfitheater binnenkwam, herinnert Jennings zich, realiseerde hij zich dat het gedeeltelijk gevuld was met bestuursleden van IBM. "Op de een of andere manier was het me nog niet opgevallen dat dit een economische gebeurtenis was," zei hij. "De meeste Jeopardy! -spellen hebben geen invloed op de financiële markten, laten we het zo zeggen."

De eerste ronde van de eerste partij leek erop te wijzen dat het duel over twee wedstrijden wellicht niet zou uitpakken zoals de computer het wilde: terwijl Jennings achterbleef met $2.000, was Rutter erin geslaagd om Watson gelijk te trekken met $5.000. Vanaf dat moment leek geen van beiden echter veel meer te kunnen doen dan toekijken hoe Watson zich een weg naar de overwinning baande. Watson maakte een paar blunders, met name toen hij "Toronto?????" raadde als reactie op een aanwijzing van Final Jeopardy! – de achilleshiel van de computer, zoals Ferrucci's team maar al te goed wist – die luidde: "De grootste luchthaven is vernoemd naar een held uit de Tweede Wereldoorlog; de op één na grootste naar een slag uit de Tweede Wereldoorlog." (Voor Ferrucci, die IBM het jaar daarop zou verlaten, was de misser geen complete ramp: de vraagtekens wezen op een gebrek aan vertrouwen, en als het moeizaam verkregen antwoordpaneel zichtbaar was geweest, zoals het geval was bij aanwijzingen zonder Final Jeopardy!, zou het hebben aangetoond dat Watsons tweede gok Chicago was – het juiste antwoord.)

Maar Watson had het vooral makkelijk. Jennings en Rutter waren keer op keer te zien terwijl ze op hun buzzers drukten, maar de computer kwam er als eerste uit met het juiste antwoord. In een afwijking van hoe hij de dag ervoor in de oefenwedstrijden had gespeeld, schoot Watson over het bord, duidelijk op jacht naar Daily Doubles. Hij vond ze en zette hoog en vreemd genoeg in: hij wist vijf van de zes kansen te benutten, met inzetbedragen van $ 6.435 en $ 1.246, waarmee hij beide zijn totaal optelde en zijn menselijke tegenstanders uitschakelde.

Rutter herinnert zich dat hij tijdens een pauze backstage bij Jennings kwam, en op dat moment was het duidelijk dat Watson de top-down gameplay van vroeger afwees en actief op zoek ging naar Daily Doubles, met name in de lagere regionen van het bord. "Jagen op Daily Doubles – dat is eigenlijk best logisch", zei Rutter toen hij en Jennings het in de coulissen bij IBM hadden.

Veel Jeopardy! -fans zouden de popularisering van die strategie toeschrijven aan James Holzhauer, maar niet aan Rutter. "Hoe geweldig James ook is, hij verdient veel lof voor het feit dat hij zo vaak op het bord springt en jaagt op Daily Doubles," zei Rutter, die de strategie zelf in latere toernooien heeft ingezet. "En daar heb ik het niet vandaan. Dat heb ik van Watson." (Holzhauer maakte het echter wel mainstream: hij verdiende bijna $ 2,5 miljoen tijdens een winstreeks van 32 wedstrijden met de strategie in 2019, en vandaag de dag kun je het bijna elke avond in actie zien bij Jeopardy! ).

Het publiek bij IBM was, niet verrassend, overweldigend pro-Watson, en naarmate de overwinning van de computer steeds zekerder leek, liet het publiek zijn enthousiasme op een wel heel ongewone manier blijken. "Ze kenden de etiquette niet helemaal," zei Jennings. "Het deed me denken aan hoe missverkiezingsmoeders altijd zo vrolijk zijn over hun kleine schatje als ze iets doen. Watson had altijd wel een makkelijke aanwijzing en er klonk geroezemoes in de zaal."

De mensen verloren. Watson eindigde met $77.147, tegenover $24.000 voor Jennings en $21.600 voor Rutter. Jennings voegde er, zoals bekend, aan toe: "Ik verwelkom onze nieuwe robotheersers" als laatste reactie op Final Jeopardy!, terwijl Rutter boog voor de mensloze lezer naast hen. Het was moeilijk om hun interpretatie te betwisten: vrijwel geen enkel moment leek het erop dat een van de mensen een kans op de overwinning had.

Maar op het podium, terwijl het applaus voor een machine zonder oren neerdaalde, leken Jennings en Rutter eerder aangenaam verrast dan teleurgesteld, een toestand die misschien nog werd versterkt door hun respectievelijke troostprijzen van $ 150.000 en $ 100.000. "Nadat alles voorbij was, gingen Ken en ik terug naar de greenroom en ik dacht: 'Nou, ik denk dat het zo is om tegen ons te spelen'", zei Rutter.

Nadat Watson had gewonnen, werd Jennings omringd door IBM-ingenieurs en -managers die hem maar al te graag wilden vertellen hoe waardevol zijn eigen data waren geweest toen ze de computer programmeerden. "Ze zeiden zoiets als: 'Je zou je geweldig moeten voelen. Er zit veel van jou in Watson'", zei Jennings. "Ik voelde me er niet beter door."

Het voortdurende meningsverschil over de eerlijkheid van de Watson-spellen komt tot uiting in de inzet van de kampioenschapsmodus.

Dat het alleen voor de televisiewedstrijden was ingeschakeld, leverde velen kritiek op, waaronder Trebek. Baker sprak twee dagen na de confrontatie met Watson met Trebek, en de presentator was woedend over wat hij zag als een lokkertje. "Ik vind dat verkeerd van IBM," vertelde hij Baker. "Het maakte me echt kwaad.

"IBM had dat niet hoeven doen," vervolgde Trebek. "Ze hadden waarschijnlijk toch wel gewonnen. Maar ze waren bang."

Zowel Jennings als Rutter vertelden dat ze ontroerd waren toen ze lazen wat Trebek vervolgens tegen Baker zei: "Ik had medelijden met de jongens, omdat ik vond dat ze een beetje in de maling waren genomen."

"Hij was zo beschermend naar ons toe, en dat zei genoeg over wat voor type Alex was," zei Rutter. "Hij geloofde echt dat de deelnemers de sterren van de show waren, niet hijzelf" – een gezegde dat Trebek graag herhaalde. "Hoezeer we dat nu ook allemaal mis hebben," voegde hij eraan toe.

Voor Rutter is het moeilijk om het gevoel van zich af te schudden dat IBM Watson opzettelijk slecht liet spelen – of in ieder geval niet zo goed als het kon – tijdens hun oefenwedstrijden. "Het was absoluut sandbagging," zei hij. "Het speelde zich af, vooral op de zoemer, alsof het precies was zoals je zou verwachten van Ken en mij en, laten we zeggen, Jerome [Vered]," zei hij, de derde speler in de finale van het Ultimate Tournament of Champions, over de drie oefenwedstrijden. "Er was niets bijzonders aan. Het leek gewoon weer een goede Jeopardy! -speler."

Volgens IBM waren de trainingssessies de dag voor de wedstrijden op televisie geen gelegenheid voor Jennings en Rutter om Watsons speelstijl te verkennen: ze waren er "om de machine en de zoemer te testen", aldus Baker. En niets in de kampioenschapsmodus had Watsons timing van de zoemer mogen beïnvloeden, aldus Baker – zowel Jennings als Rutter hadden het flitsende signaal van de computer in hun eerste poging al snel verslagen.

Toch is het moeilijk om het zeker te weten. "Vanuit Alex' perspectief leek het erop dat Watson dommer was dan het bleek te zijn," vertelde Baker me over de oefenwedstrijden. "Net als ik speelden ze waarschijnlijk met een oudere versie van de software." Gevraagd of Watsons zoemvermogen, zelfs met de geïmproviseerde vinger, gewoon te snel was, zei Baker: "Ik denk dat dat uiteindelijk wel zo was."

Volgens Rutter was het de timing van de buzzer die hem en Jennings de das omdeed. "Ja, theoretisch gezien, en dat gebeurde soms ook, als Ken en ik er helemaal bovenop zaten, zouden we Watson voor kunnen zijn als Watson de buzzer activeerde," zei Rutter. "Maar het echte buzzer-aspect draait om snelheid plus consistentie, en die was exact consistent. En een mens kan gewoon niet zo consistent zijn in de timing ervan."

"Het was onmogelijk om te verliezen," zei hij.

Wat de zaken nog ingewikkelder maakte, zei Rutter, was dat zowel hij als Jennings – tenminste voor mensen – erg goed waren in het winnen van buzzergevechten. "Als je één buzzermonster en twee andere mensen hebt, dan kannibaliseren die twee elkaar als het ware," zei Rutter. "Het is zoiets van: oké, een mens kan in deze game achter de computer kruipen, maar wie gaat het worden? Als Ken of ik echt niet goed hadden gespeeld, had degene die wel meedeed misschien een kans, maar nu we allebei speelden, tja, dat was gewoon onmogelijk."

Wat zijn kritiek op de zoemer ook is, Rutter kijkt met weemoed terug op de aflevering. "Laten we duidelijk zijn: ik beschuldig ze niet van vals spelen," zei hij. "Ik geef IBM alle lof voor het feit dat ze het zover hebben gebracht, want als de AI niet zo goed had gewerkt als mogelijk was geweest, had Watson niet op bepaalde categorieën of aanwijzingen kunnen inspelen. Dus het is niet zo dat ze hier de eer stalen. Watson deed absoluut wat hij beloofde."

"Het was goed voor IBM, het was goed voor Jeopardy!, het was goed voor mij, het was goed voor Ken," zei hij. "Iedereen is een winnaar."

Niet iedereen is er zo zeker van – Jeopardy! -fans discussiëren hier feller over dan ooit, en zelfs Jennings twijfelt. "Tot op de dag van vandaag weet ik het nog steeds niet – komt dat doordat Watson terughoudend was, omdat ze hem niet in de turbostand hadden gezet?" zei hij over zijn en Rutters overwinningen tijdens de oefenwedstrijden. "Ik weet niet in hoeverre we dachten dat we Watson bijhielden, maar dat hij opzettelijk langzaam zoemde en verkeerd reageerde."

Of misschien was het iets prozaïscher: de gevreesde situatie die menig Jeopardy! -kandidaat de overwinning heeft ontnomen. "Het zou kunnen dat de categorieën gewoon niet goed verdeeld waren," zei hij.

Het argument over de zoemersnelheid heeft de laatste tijd wat van zijn kracht verloren, dankzij, uitgerekend, Jeopardy! zelf. Jarenlang was de heersende opvatting binnen de show dat de zoemersnelheid de elitespelers onderscheidde. De meeste deelnemers kennen de meeste antwoorden wel, zo luidde het standaardrefrein – ik heb het zelf in voorgaande jaren ook geschreven – en dus kwam het erop neer wie als eerste kon zoemen en wie er geld binnenharkte.

Onlangs is die lang gekoesterde waarheid echter aan het wankelen gebracht: de show is begonnen met het publiceren van statistieken over buzzerpogingen , waaruit blijkt dat sommige deelnemers, vooral degenen in de hogere regionen van het spel, veel vaker indrukken dan anderen. Het is niet zo dat de buzzer er niet toe doet – hij doet er gewoon veel minder toe dan voorheen werd gedacht, een verandering die het belang van vakinhoudelijke expertise opnieuw heeft benadrukt.

As host, it now often falls to Jennings to study particularly striking data about buzzer use during games, noting players whose thumb-forwardness seems to point to especially broad trivia knowledge bases. “Now that we keep better stats at Jeopardy! , we know that the buzzer is not always the game changer,” he said.

Jennings is circumspect about the perpetual controversy around Watson. “All the things that bother people about Watson never bothered me, because those advantages are available to a human player as well,” he said. “I could sandbag in a practice match and then try something totally different during the game. That's not forbidden.

“Is it unfair that Watson could buzz faster than any human? No, that's just an advantage we know that computers have,” he said. He has seen the many complaints about Watson's speed, and the frequent suggestion that the computer's timing should have been slowed or perhaps swapped for a randomized selection of human response times.

“Maybe it would have been a better test of question answering, but it would not have been a better test of Jeopardy! play,” Jennings said. “That's just something a computer is good at in the Jeopardy! domain, the same way that a human is better at lateral thinking. I wasn't going to hamstring my lateral thinking to play more like a computer, so it didn't seem unfair to me that Watson had advantages.”

To this day, Jennings' Reddit username is “WatsonsBitch.”

Not long after ChatGPT's 2022 launch, Jennings wondered: How might the new generation of large language models do against Jeopardy! material?

During his reign as Jeopardy! host, Trebek typically arrived at the soundstage bright and early to review the upcoming tape day's clues in his office. Jennings, who has hosted the show since 2021, prefers to look clues over the night before, and thus found himself in a hotel room with a sheaf of fresh game material, prepped and vetted by Jeopardy! 's writers but never posted online or, indeed, seen by anyone except a handful of the show's staff.

Jennings pulled up ChatGPT and first tried entering clues from shows that had already aired. The LLM nailed them effortlessly. Then he put in some of the hot-off-the-presses clues that contestants would face the following day. Once again, ChatGPT was speedy and right every time. Jennings, who has long written his own trivia prompts outside Jeopardy! (including at Slate and, most recently, in a book published this summer), eventually tried submitting his own.

“If I made up a very esoteric, Jeopardy! -style wordplay, lateral-thinking bit of craziness—I could get crazy enough that it could get beat, but hardly ever,” Jennings said. “I had to write the world's most annoying Jeopardy! clues just to try to get it to be wrong. Maybe Watson was buzzing about half the time or slightly more. Today, humans would not have a chance. The equivalent algorithm would be buzzing practically 100 percent of the time.