Tutkimus: Lähes täydellinen tekoäly voi silti hävitä pokerissa

Tekoälyn kehitys on ottanut viime vuosina valtavia harppauksia, ja myös pokerissa sitä hyödynnetään yhä enemmän niin strategian opiskelussa kuin pelianalyysissä. Tuore tutkimus kuitenkin osoittaa, että lähes täydelliseltä vaikuttava tekoäly voi tehdä virheitä juuri niissä tilanteissa, jotka ratkaisevat pelin lopputuloksen.

Tutkimuksen tehnyt Javier Aguilar Martín tarkastelee työssään sitä, kuinka luotettavasti suuret kielimallit pystyvät rakentamaan pelien maailmamalleja. Samalla hän osoittaa, ettei korkea ennustetarkkuus välttämättä tarkoita hyvää pelisuorituskykyä.

Tutkijan mukaan ongelmana on, että tekoälyn toimintaa arvioidaan usein väärällä mittarilla.

99 prosenttia oikein ei aina riitä

Tutkimuksessa tarkasteltiin niin sanottuja Code World Model -malleja, joissa suuri kielimalli rakentaa pelin säännöt ohjelmakoodiksi ja tämän jälkeen erillinen hakualgoritmi käyttää mallia päätöksenteossa.

Perinteisesti tällaisen mallin onnistumista arvioidaan sillä, kuinka tarkasti se ennustaa pelin tapahtumia testiaineistossa. Jos ennusteet ovat lähes virheettömiä, mallin oletetaan olevan valmis käytettäväksi.

Tutkimuksen mukaan tämä oletus voi kuitenkin olla väärä.

Tutkija havaitsi, että tekoäly saattoi saavuttaa 100 prosentin tarkkuuden testiaineistossa ja tehdä oikeita ratkaisuja yli 98 prosentissa päätöstilanteista. Silti se hävisi järjestelmällisesti oikeissa peleissä, koska sen ainoa virhe osui juuri harvinaiseen mutta ratkaisevaan pelitilanteeseen.

Pokeri paljastaa harvinaiset virheet

Pokeri sopii tutkimuskohteeksi erityisen hyvin, sillä monet ratkaisevat päätökset syntyvät tilanteissa, joita esiintyy vain harvoin.

Käytännön pokerissa tällaisia tilanteita voivat olla esimerkiksi turnausten ICM-ratkaisut, bubble-vaihe, suuret all-in-potit tai monimutkaiset river-päätökset. Juuri näissä tilanteissa yksittäinen virhe voi kuitenkin maksaa koko turnauksen.

Tutkimuksessa havaittiin, että jos tekoälyn virhe liittyy tällaiseen harvinaiseen sääntöön tai pelitilanteeseen, tavalliset testit eivät välttämättä koskaan paljasta ongelmaa. Kun tekoäly sitten kohtaa tilanteen oikeassa pelissä, seurauksena voi olla merkittävä suorituskyvyn heikkeneminen.

Tutkija nimesi ilmiön

Tutkimuksessa ilmiölle annetaan nimi ”verified vs. correct gap”.

Käsitteellä tarkoitetaan tilannetta, jossa tekoäly näyttää läpäisevän kaikki testit ja vaikuttaa toimivan oikein, vaikka se tekee ratkaisevan virheen juuri niissä tilanteissa, joilla on suurin vaikutus pelin lopputulokseen.

Tutkijan mukaan kaikkein vaarallisimpia ovat virheet, jotka liittyvät harvinaisiin pelitilanteisiin. Ne voivat jäädä kokonaan piiloon testausvaiheessa, koska vastaavia tilanteita ei yksinkertaisesti esiinny riittävän usein. Tutkimuksessa tätä ilmiötä havainnollistetaan niin kutsutulla Danger Law -mallilla.

Tutkimuksessa käytettiin testipeleinä myös Kuhn Pokeria ja Leduc Pokeria, jotka ovat tekoälytutkimuksessa yleisesti käytettyjä pokerimalleja. Niiden avulla tutkijat osoittivat, että sama ongelma voi ilmetä myös peleissä, joissa kaikki tieto ei ole pelaajien saatavilla.

Mitä tämä tarkoittaa pelaajille?

Tutkimus ei tarkoita, että nykyiset pokerisolverit tai tekoälypohjaiset analyysityökalut olisivat epäluotettavia.

Sen sijaan se muistuttaa siitä, että korkea tarkkuus ei yksin kerro koko totuutta. Pokerissa juuri harvinaiset ja vaikeat tilanteet ratkaisevat usein suurimmat voitot ja tappiot, joten tekoälyn arviointiin tarvitaan tutkijoiden mukaan uusia mittareita, jotka huomioivat myös päätösten laadun todellisissa pelitilanteissa, eivät pelkästään testiaineiston ennustetarkkuutta.

Tutkimuksen tärkein johtopäätös on selkeä. Tekoälyn onnistumista ei pitäisi arvioida vain sen perusteella, kuinka tarkasti se ennustaa pelitilanteita, vaan ennen kaikkea sen perusteella, kuinka hyvin se pärjää itse pelissä.

👉Lue myös: Tutkija ratkaisi uuden pokerimallin – mitä rajatut panostuskoot opettavat oikeasta pokerista?

🎯 UUSI TARJOUS!