Passos para a construção de um Poker AI – Parte 1: Estrutura e História

Thomas Trenner
Apr 1, 2020 · 2 min de leitura

Este é o primeiro de uma série de artigos que irá delinear a teoria básica por trás incompleto-informações de jogos de Poker sendo apenas um exemplo), e o jogo-teóricos e ferramentas computacionais para resolver estes jogos ou, mais importante para nós, construir AIs que pode bater os melhores jogadores humanos.

observe que, embora muito progresso recente tenha sido feito no espaço de jogos de informação perfeitos como o xadrez e a aplicação de técnicas de aprendizagem profunda, eles não se traduzem diretamente na configuração de informações imperfeitas. Vamos entrar nos detalhes para isso um pouco mais tarde.

Foto por Michał Parzuchowski no Unsplash

Apesar da ausência de Poker AIs com sobre-humanas de desempenho com base no Profundo de técnicas de Aprendizagem, o progresso no campo do Poker ou Poker AIs tem, contudo, sido rápida nos últimos anos. Cada conjunto de melhorias algorítmicas incrementais permitiu que o AIs vencesse humanos em versões cada vez mais complicadas do Poker. O primeiro avanço que foi amplamente observado veio em 2015, quando Cepheus foi lançado. Isso resolveu o jogo de heads-up Limit Texas Hold’em, uma variante de poker popular com mais de 101 sets Conjuntos de Informações (um conjunto de informações pode ser pensado como uma série de estados de jogo diferentes que não se pode distinguir entre com as informações disponíveis juntas). Isso foi seguido por Libratus que em 2017 derrotou decisivamente quatro dos melhores jogadores profissionais de poker no heads-Up No-Limit Texas Hold’em, que tem conjuntos de informações 101⁶1. Finalmente, no verão de 2019, Pluribus foi lançado e marcou uma vitória decisiva contra profissionais humanos no Texas Hold’em de seis mãos. Esta é uma das variantes de poker Mais jogadas lá fora, especialmente em jogos a dinheiro. Surpreendentemente, eles conseguiram treinar Pluribus usando recursos da AWS que custam apenas algumas centenas de dólares e a reprodução ao vivo foi feita em Hardware de commodities. Portanto, pelo menos em teoria, deve ser possível criar um bot que se aproxime das capacidades do Pluribus em casa.

mas o suficiente com a história por enquanto. Nos próximos artigos desta série, abordarei os seguintes tópicos:

  • Modelagem de informação imperfeita jogos
  • Arrependo de correspondência
  • Python implementação de arrepender-correspondência
  • Kuhn Poker e Contrafactual se Arrepender de Minimização (CFR)
  • Implementação de CFR em Python
  • de Exploração, Multiplayer CFR e 3-Jogador Kuhn Poker
  • Leduc hold’em e uma mais genérica CFR rotina em Python
  • regras hold’em, e problemas com o uso do CFR para o Poker
  • …tbd

Siga-me no Twitter para receber atualizações quando novas peças vão viver.

Deixe uma resposta

O seu endereço de email não será publicado.