Umělá inteligence vyprášila elitním profesionálům kožich, na jejím vývoji se podílela i UK

Přelom dubna a května 2015, Rivers Casino v americkém Pittsburghu. Čtveřice pokerových profesionálů a specialistů na NLHE heads-up - špiček ve svém oboru - se utkává s umělou inteligencí stvořenou týmem univerzity Carnegie Mellon pod vedením profesora Tuomase Sandholma.

Dong Kim, Jason Les, Bjorn Li a Doug Polk tehdy odehráli 80.000 headsupových hand (20.000 na hlavu) proti programu jménem Claudico, "limpuji" v překladu z latiny. Čtveřice profesionálů po ukončení pokerového maratonu uhájila čest lidské rasy: zápas proti umělé inteligenci vyhrála v součtu o 732.713 herních žetonů, v mínusu z nich skončil pouze Jason Les. V celkovém součtu potů však lidé získali pouze 1%, které se pohodlně vejde do možnosti statistické odchylky. Takže...

Doug Polk uprostřed heads-up bitvy

O necelé dva roky později se tento souboj pod názvem Brains vs. Artificial Intelligence: Upping the Ante opakuje. Místo konání zůstává stejné, došlo pouze k určitým personálním změnám. K již ostříleným Jasonu Lesovi a Dongu Kimovi se přidává Daniel McAuley a Jimmy Chou, ke střídání došlo i v týmu umělé inteligence.

Místo Claudica totiž do souboje nastoupil zbrusu nový program Libratus, který byl týmem pensylvánské univerzity nově vybudován od nuly. Jehož jméno v překladu znamená „vybalancovaný“. Který má vylepšený algoritmus pro rozvíjení strategie - namísto rozvíjení strategií skutečných pokerových hráčů přistupuje k pravidlům NLHE po svém. A který porazil své lidské soupeře. Na celé čáře.

Štěstí je krásná věc

Pro zvýšení objektivity výsledku byl počet odehraných hand v letošním souboji zvýšen o padesát procent. Každý ze čtveřice lidských hráčů tedy během dvaceti dnů pokerových bojů odehrál hned 30.000 heads-up hand. Viktor 'Isildur1' Blom, nejaktivnější hráč nosebleed scény za loňský rok, nalogoval za celých 12 měsíců přes dvě stě tisíc hand, 30k her odehraných během tří týdnů lze bez pochyb považovat za relevantní vzorek.

Čtveřice lidských hráčů byla navíc rozdělena do dvou týmů - jeden z nich dostával v odděleném prostoru hole cards, které na druhé straně obdržela umělá inteligence. Vliv štěstí na distribuci karet měl být tímto krokem minimalizován. Na začátku každé handy se navíc stack soupeřů vrátil na 20.000 v žetonech při blindech 50/100. Žádné dokupování, žádná pobytem na short-stacku ovlivněná strategie. 200 velkých blindů v každé handě, celkem 120.000 krát. Herního prostoru jak pouští na jižní polokouli, chtělo by se dodat.

Dalším speciálním pravidlem, se kterým se v kamenných kasinech nesetkáte a které mělo zahnat štěstí do kouta, bylo odstranění dalšího rozdávání při all-in v situacích. Což znamená, že v okamžiku dorovnaného shovu dostali hráči podíl z potu, který odpovídal jejich equity v dané chvíli. Byl-li někdo drawing dead, měl smůlu; při coinflipech se pot dělil rovným dílem, případných runner-runner (ne)štěstí se hráči ani fanoušci nedočkali.

Kromě případné lidské únavy během náročného dvacetidenního grindu byla učiněna snad všechna opatření, která měla dodat souboji Brains vs. AI patřičnou váhu (s poklesy napětí v Pittsburgh Supercomputing Center se počítat nedalo); motivací pro čtveřici grinderů mělo být $200.000, které na ně v případě celkové výhry čekaly. Každý z hráčů automaticky obdržel $20.000, zbytek měl být rozdistribuován pouze v případě kladných výsledků.

Vítězem se stává...

Libratus své lidské soupeře porazil hned během prvního dne a v nastoleném tempu i nadále pokračoval. Po odehrání poslední handy obrala umělá inteligence své lidské soupeře o mohutných 1.766.250 virtuálních dolarů, tedy o téměř osmnáct tisíc velkých blindů.

Hranice ztráty jednoho milionu byla protnuta před pár dny a zajímavostí je, že pouhé čtyři tisíce hand před koncem činil profit umělé inteligence 1,56 milionu - totální debakl v posledních handách tedy mohl pramenit z čisté frustrace a únavy lidských hráčů. Možná, že závěr už pokeroví profesionálové vypustili, na celkovém vyznění zápasu to přesto mění pramálo. Na Librata nestačil ani jeden hráč.

Pro srovnání se podívejme, jak si lidští hráči vedli v předchozím souboji proti programu Claudico. I tehdy Jason Les skončil na chvostu výsledkové listiny, celková čísla však byla mnohem optimističtější.

Výsledky souboje z roku 2015

"Během prvních dní byl jsme všichni byli plni energie, ve volnu jsme studovali a diskutovali a pak se nám podařilo dostat se zpět v podstatě na nulu," řekl Jason Dougu Polkovi, který byl po zkušenostech z minulého souboje přeřazen do role 'kouče'. "Říkali jsme si, že to můžeme nakonec vyhrát, že máme šanci. Měli jsme klíčovou strategii, věci, které nás měli před tu umělou inteligenci dostat. Pak se ale cosi zlomilo. Ne, že by se naše hra zhoršila. Začali jsme ale pozorovat jasné zlepšení strategie umělé inteligence. Den za dnem."

Ovlivní výsledek tohoto souboje budoucnost pokeru? Správně bychom tuto otázku měli dát do uvozovek, během session Ask Me Anything na webu reddit.com ji hráčům položil jeden ze čtenářů. "Faktem je, že tato AI existuje a ať už vyhrajeme nebo ne, je extrémně obtížným soupeřem. I kdybychom těsně vyhráli, ta AI by v podstatě dokázala porazit kohokoli. S postupem času to pro internetový poker bude problém," odpověděl na tento dotaz Jason Les, v obou soubojích nejméně úspěšný hráč.

Faktem ale také je, že tolik úspěšný program Libratus potřebuje ke svým výpočtům superpočítač, který normálním smrtelníkům nebude ještě dlouhou dobu dostupný. Přítomnost botů v online hernách je nyní i do budoucna velkým problémem, inteligence podobné Libratu se však hráči bát nemusí.

Cílem tvůrců ostatně nebylo stvořit nástroj výdělku pro podvodníky, ale hranice vědy opět o kus dále. Stejně jako se to před dvaceti lety podařilo firmě IBM a jejímu superpočítači Deep Blue, který v ostře sledovaném souboji v květnu 1997 jako první zástupce umělé inteligence dokázal porazit úřadujícího velmistra šachu Garriho Kasparova. Shodou okolností stál v roce 1985 u začátku vývoje Deep Blue, tehdy ještě pod jménem ChipTest, tým ze stejné univerzity, která zrodila i pokerovou umělou inteligenci.

O století později

Karel Čapek (po vyslechnutí rady svého bratra Josefa) představil ve své divadelní hře R.U.R. z roku 1920 dnes samozřejmé slovo robot. Tvorové s umělou inteligencí se, neznalí Asimovových tří zákonů robotiky, vzepřeli svým tvůrcům a vyhlásili lidstvu válku, na jejímž konci lidské pokolení vyhubili.

Po levici Jasona Lese sedí jeden z tvůrců Librata, Tuomas Sundholm

Určitou českou stopu nese i právě ukončený souboj lidstva s umělou inteligencí. Na vývoji Librata, resp. systému umělé inteligence zvaného DeepStack, totiž s pensylvánskou univerzitou spolupracovala podle informací webu czechcrunch.cz i Univerzita Karlova a České Vysoké Učení Technické. DeepStack dokáže dlouhodobě porážet své soupeře ve variantě Limit Hold'em, ve které je počet strategických možností dramaticky menší oproti No Limit variantě. Z DeepStacku se zrodil Libratus, aktuální světová jednička v heads-up NLHE. Turnajoví hráči se bát nemusí, s více než jedním oponentem u stolu zatím Libratus nepočítá.

"Toho bota vnímáme jako silného lidského hráče, který na nás ale dokáže vyvinout tlak mnohem větší, než jakého by byl schopen skutečný lidský hráč," popsal Jason Les styl hry svého počítačového oponenta. I pro český tým vědců musí být tato věta obrovským zadostiučiněním. Jejich letitá práce nepřišla vniveč, jimi stvořený systém dokázal rozklíčovat i tak složitou hru, jakou je NLHE. Bez dodržování předem existujících strategií, tak říkajíc za běhu. I když byli živí hráči poraženi, lidstvo může vlastně začít slavit. A je nám ctí, že poker hrál v překonání tohoto milníku důležitou roli.