Toto je první ze série článků, které nastíní základní teorii neúplných informačních her (Poker je jen jedním příkladem) a herních teoretických a výpočetních nástrojů k řešení těchto her nebo, co je pro nás důležitější, stavět AI, které mohou porazit nejlepší lidské hráče.
Všimněte si, že zatímco v poslední době bylo dosaženo velkého pokroku v oblasti dokonalých informačních her, jako jsou šachy a jít pomocí technik hlubokého učení, tyto se přímo nepromítají do nedokonalého nastavení informací. Do podrobností o tom půjdeme o něco později.
navzdory absenci pokerových AIs s nadlidským výkonem založeným na technikách hlubokého učení byl pokrok v oblasti počítačového pokeru nebo pokerových AIs v posledních letech rychlý. Každá sada přírůstkových algoritmických vylepšení umožnila AIs porazit lidi ve stále složitějších verzích Pokeru. První průlom, který byl široce známý, přišel v roce 2015, kdy byl Cepheus propuštěn. To vyřešilo hru heads-up Limit Texas Hold ‚ em, populární pokerové varianty s více než 101 informačními sadami (informační sadu lze považovat za řadu různých herních stavů, které nelze rozlišit mezi dostupnými informacemi). Následoval Libratus, který v roce 2017 rázně porazil čtyři nejlepší profesionální pokerové hráče v heads-up No-Limit Texas Hold ‚ em, který má 101 setů. Konečně, v létě 2019, Pluribus byl propuštěn a zaznamenal rozhodující vítězství proti lidským profesionálům v Šestruční No-Limit Texas Hold ‚ em. Jedná se o jednu z nejhranějších pokerových variant, zejména v cash games. Překvapivě se jim podařilo vycvičit Pluribus pomocí zdrojů AWS, které stály jen několik set dolarů a živé hraní bylo provedeno na komoditním hardwaru. Proto by alespoň teoreticky mělo být možné vytvořit bot blížící se schopnostem Pluribusu doma.
ale dost s historií pro tuto chvíli. V dalších článcích v této sérii se budu zabývat následujícími tématy:
- modelování nedokonalých informačních her
- lítost odpovídající
- Python implementace lítost odpovídající
- Kuhn Poker a Counterfactual lítost minimalizace (CFR)
- implementace CFR v Pythonu
- využitelnost, Multiplayer CFR a 3-Player Kuhn Poker
- Leduc Hold ‚em a obecnější CFR rutina v Pythonu
- Hold‘ em pravidla, a problémy s použitím CFR pro poker
- …TBD
následujte mě na Twitteru Získat aktualizace, když nové díly jít žít.