Stappen voor het bouwen van een Poker-AI – Deel 1: Overzicht en Geschiedenis

Thomas Trenner
Apr 1, 2020 · 2 min lezen

Dit is de eerste in een serie van artikelen zal een overzicht van de basistheorie achter onvolledige informatie spellen (Poker is slechts een voorbeeld) en de spel-theoretische en computationele hulpmiddelen voor het oplossen van deze games, of belangrijker nog voor ons, het bouwen van AIs dat het verslaan van de beste menselijke spelers.

merk op dat hoewel er veel recente vooruitgang is geboekt in de ruimte van perfecte informatiespelen zoals schaken en Go door het toepassen van Deep Learning Technieken, deze niet direct vertalen naar de onvolmaakte informatie instelling. We zullen hier later op ingaan.

foto door Michał Parzuchowski op Unsplash

ondanks de afwezigheid van Poker AIs met bovenmenselijke prestaties op basis van Deep Learning-Technieken, is de vooruitgang op het gebied van Computer Poker of Poker AIs de afgelopen jaren toch snel geweest. Elke set van incrementele algoritmische verbeteringen konden de AIs om mensen te verslaan op steeds meer gecompliceerde versies van Poker. De eerste doorbraak die algemeen werd opgemerkt kwam in 2015 toen Cepheus werd uitgebracht. Dit loste het spel van heads-up Limit Texas Hold ‘ em, een populaire poker variant met meer dan 101 information informatie sets (een informatie set kan worden beschouwd als een aantal verschillende spel Staten dat men geen onderscheid kan maken tussen met de beschikbare informatie samengevoegd). Dit werd gevolgd door Libratus die in 2017 beslissend verslaan vier van de beste professionele pokerspelers in heads-up No-Limit Texas Hold ‘ em, die 10111 informatie sets heeft. Tot slot, in de zomer van 2019, Pluribus werd uitgebracht en scoorde een beslissende overwinning tegen menselijke professionals in Six-handed No-Limit Texas Hold ‘ em. Dit is een van de meest gespeelde poker varianten die er zijn, vooral in cash games. Verbazingwekkend, ze erin geslaagd om Pluribus trainen met behulp van AWS middelen die slechts een paar honderd dollar kosten en live spelen werd gedaan op commodity hardware. Daarom zou het, althans in theorie, mogelijk moeten zijn om thuis een bot te creëren die de mogelijkheden van Pluribus benadert.

maar genoeg met de geschiedenis voor nu. In de volgende artikelen in deze serie zal ik de volgende onderwerpen behandelen:

  • Modelleren van imperfecte informatie spellen
  • Spijt bijpassende
  • Python-implementatie van spijt-matching
  • Kuhn Poker en Counterfactual Spijt Minimalisatie (CFR)
  • de Uitvoering van de CFR in Python
  • Exploiteerbaarheid, Multiplayer CFR en 3-Speler Kuhn Poker
  • Leduc Hold ‘em en een meer generieke CFR routine in Python
  • Hold’ em regels, en problemen met het gebruik van CFR voor Poker
  • …tbd

Volg mij op Twitter voor updates wanneer er nieuwe delen gaan wonen.

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.