kroky k budování Poker AI-Část 1: obrys a historie

Thomas Trenner
1. Dubna 2020 * 2 min čtení

Toto je první ze série článků, které nastíní základní teorii neúplných informačních her (Poker je jen jedním příkladem) a herních teoretických a výpočetních nástrojů k řešení těchto her nebo, co je pro nás důležitější, stavět AI, které mohou porazit nejlepší lidské hráče.

Všimněte si, že zatímco v poslední době bylo dosaženo velkého pokroku v oblasti dokonalých informačních her, jako jsou šachy a jít pomocí technik hlubokého učení, tyto se přímo nepromítají do nedokonalého nastavení informací. Do podrobností o tom půjdeme o něco později.

Foto Michał Parzuchowski na Unsplash

navzdory absenci pokerových AIs s nadlidským výkonem založeným na technikách hlubokého učení byl pokrok v oblasti počítačového pokeru nebo pokerových AIs v posledních letech rychlý. Každá sada přírůstkových algoritmických vylepšení umožnila AIs porazit lidi ve stále složitějších verzích Pokeru. První průlom, který byl široce známý, přišel v roce 2015, kdy byl Cepheus propuštěn. To vyřešilo hru heads-up Limit Texas Hold ‚ em, populární pokerové varianty s více než 101 informačními sadami (informační sadu lze považovat za řadu různých herních stavů, které nelze rozlišit mezi dostupnými informacemi). Následoval Libratus, který v roce 2017 rázně porazil čtyři nejlepší profesionální pokerové hráče v heads-up No-Limit Texas Hold ‚ em, který má 101 setů. Konečně, v létě 2019, Pluribus byl propuštěn a zaznamenal rozhodující vítězství proti lidským profesionálům v Šestruční No-Limit Texas Hold ‚ em. Jedná se o jednu z nejhranějších pokerových variant, zejména v cash games. Překvapivě se jim podařilo vycvičit Pluribus pomocí zdrojů AWS, které stály jen několik set dolarů a živé hraní bylo provedeno na komoditním hardwaru. Proto by alespoň teoreticky mělo být možné vytvořit bot blížící se schopnostem Pluribusu doma.

ale dost s historií pro tuto chvíli. V dalších článcích v této sérii se budu zabývat následujícími tématy:

  • modelování nedokonalých informačních her
  • lítost odpovídající
  • Python implementace lítost odpovídající
  • Kuhn Poker a Counterfactual lítost minimalizace (CFR)
  • implementace CFR v Pythonu
  • využitelnost, Multiplayer CFR a 3-Player Kuhn Poker
  • Leduc Hold ‚em a obecnější CFR rutina v Pythonu
  • Hold‘ em pravidla, a problémy s použitím CFR pro poker
  • …TBD

následujte mě na Twitteru Získat aktualizace, když nové díly jít žít.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.