askeleet Pokeriälyn rakentamiseen-Osa 1: ääriviivat ja historia

Thomas Trenner
huhti 1, 2020 * 2 min lukea

tämä on ensimmäinen sarja artikkeleita, jotka hahmottelevat perusteoria takana epätäydellinen-tietopelit (pokeri on vain yksi esimerkki) ja peli-teoreettinen ja laskennallisia työkaluja ratkaista näitä pelejä tai, mikä tärkeintä meille, rakentaa AIs, joka voi voittaa paras ihmisen pelaajia.

huomaa, että vaikka shakin kaltaisten täydellisten informaatiopelien alalla on viime aikoina edistytty paljon, Syväoppimistekniikoita soveltaen, nämä eivät suoraan johda epätäydelliseen informaatioympäristöön. Käsittelemme asian yksityiskohtia hieman myöhemmin.

Michał Parzuchowskin Kuva Unsplash-sivustolla

huolimatta siitä, ettei Pokerin AIs: ää ole käytetty yli-inhimillisiin syväoppimistekniikoihin perustuviin suoritustasoihin, edistyminen Tietokonepokerin tai Pokerin AIs: n alalla on kuitenkin ollut nopeaa viime vuosina. Jokainen joukko inkrementaalisia algoritmisia parannuksia mahdollisti AIs voittaa ihmisiä yhä monimutkaisempia versioita pokeria. Ensimmäinen laajasti huomioitu läpimurto tapahtui vuonna 2015, kun Cepheus julkaistiin. Tämä ratkaisi heads-up Limit Texas Hold ’ em-pelin, joka on suosittu pokerimuunnelma, jossa on yli 101⁴⁴ informaatiosarjaa (informaatiosarjaa voidaan pitää useana eri pelinä, jota ei voi erottaa käytettävissä olevien tietojen yhdistämänä). Tätä seurasi Libratus joka vuonna 2017 ratkaisevasti voittaa neljä parasta pokerin pelaajat heads-up No-Limit Texas Hold ’ em, joka on 101⁶1 tiedot. Lopulta kesällä 2019 Pluribus pääsi vapaaksi ja otti ratkaisevan voiton ihmisammattilaisia vastaan kuuden käden No-Limit Texas Hold ’ emissa. Tämä on yksi eniten pelatuista pokerimuunnelmista, erityisesti käteispeleissä. Hämmästyttävää, he onnistuivat kouluttaa Pluribus käyttäen AWS resursseja, jotka maksavat vain muutamia satoja dollareita ja live-pelata tehtiin hyödyke laitteisto. Siksi ainakin teoriassa pitäisi olla mahdollista luoda kotona pluribusin kykyjä lähestyvä botti.

mutta nyt riittää historia. Kirjoitussarjan seuraavissa kirjoituksissa käsittelen seuraavia aiheita::

  • epätäydellisen tietopelin mallinnus
  • pahoittelun sovitus
  • Python pahoittelun toteutus-sovitus
  • Kuhn-pokeri ja Kontrafaktuaalinen pahoittelun minimointi (CFR)
  • CFR: n toteuttaminen Pythonissa
  • hyödynnettävyys, moninpelin CFR ja 3-pelaajan Kuhn-pokeri
  • Leduc Hold ’em ja yleisempi CFR-rutiini Pythonissa
  • Hold’ em säännöt, ja ongelmat CFR: n käytössä pokerissa
  • …TBD

seuraa minua Twitterissä saadaksesi päivityksiä, kun uudet osat menevät livenä.

Vastaa

Sähköpostiosoitettasi ei julkaista.