Rss

  • linkedin

Archives for : hypoteesi

Kimblen noppa ei ole täysin satunnainen

Dices sign icon. Casino game symbolSyksyllä jyväskyläläisessä nuorisokodissa pelatuissa Kimble-peleissä tuli huomiota herättävän usein nopan heitolla, tai Kimblen tapauksessa kuvun sisällä olevan nopan poksautuksella, kuutosen jälkeen ykkönen. Tämän toistuessa peliseurueessa alettiin sadatella jatkuvaa heitto-onnen kääntymistä aallonharjalta pohjamutiin. Eräs nuorisokodin ohjaajista yritti puhua kanssapelaajilleen järkeä: noppa on aina satunnainen ja kuutosta seuraaviin ykkösiin oli vain alettu kiinnittää liiaksi huomiota. Koko ilmiön täytyi olla vain seurueen puheilla itselleen rakentama psykologinen harha.

Asian selvitys tutkimuksella

Orastava debatti kantautui tilastotieteilijä Tuomas Kukon korviin.  Ammattilaisen korvaan tutkimusongelma kuulosti äkkiseltään naiivilta: onhan arpakuution klassiset todennäköisyydet laskettu läpi jo pimeällä keskiajalla. Toisaalta Kimblen noppakupu on sen verran pieni, että voi olla pieni mahdollisuus sille, ettei satunnaisuus pääse sen sisällä täysin toteutumaan (nopan satunnaisuuden toteutumista käsiteltiin tässä postauksessa). Niinpä tutkimusryhmä pystytettiin, ja joululoman 2014 pimeinä iltoina, osin lapsityövoimaa hyödyntäen, tahkottiin kolme tiukkaa Kimble-matsia ja kirjattiin ylös kaikki 508 nopanheittoa.

Tutkimusongelma asetettiin analyysin tehostamiseksi siten, että kaikki vastakkaiselle puolelle tapahtuneet siirtymät (1 <–> 6, 2<–>5 ja 3<–>4) oletettiin yhtä todennäköisiksi. Kuvun sisällä olevan nopan symmetrisyyttä siis ei kyseenalaistettu vaan mahdollisten epäsatunnaisuuksien oletettiin tulevan kuvun takia lähtötilanteesta riippuen.  Lähtökohtaisesti paikkansa pitävä vanha totuus, eli nollahypoteesi, oli seuraava: ”Nopan vastapäinen luku tulee yhtä todennäköisesti kuin mikä tahansa muukin luku (n. 16.7%)”.

 Mullistava tulos

Jo otteluiden aikana alkoi lukuisia aineistoja pyöritelleen kirjurin silmään vaikuttaa siltä, että kyseessä saattaa sittenkin olla todellinen ilmiö, mutta vasta aineiston analyysivaihe toi julki varsinaisen jytkyn. Nopan vastapuoli heitettiin peräti 23.9% todennäköisyydellä, eli lähes puolitoista kertaa todennäköisemmin kuin ennakolta oletettiin. Osuuksien testin perusteella laskettiin tuloksen tilastollinen merkitsevyys. P-arvo tippui prosentin sadasosiin, kun yleisesti nollahypoteesin kumotuksi toteamiseen riittävät viittä prosenttia pienemmät arvot.

Koeasetelma (otteluiden heittojen lukumäärä) oli räätälöity paljastamaan nopan vastapuolen saamisen todennäköisyyden poikkeamia odotetusta siten, että noin kolmen prosenttiyksikön heilahdus 16.7% :sta oli löydettävissä. Tässä tutkimusryhmän suureksi yllätykseksi onnistuttiin, sillä ponnautusmekanismi Kimble-kuvun sisällä on mitä ilmeisimmin roimasti oikeaa nopanheittoa vähemmän satunnainen.

 Hyödyt pelaajille

Onko tästä löydöstä mitään konkreettista hyötyä Kimblen pelaajalle? Varmasti tulee vastaan tilanteita, joissa tätä tutkimustietoa voi hyödyntää. Mietitään esimerkiksi seuraavaa tilannetta:

Idea for gameHeität noppaluvun 5 ja sinulla on kaksi mahdollista siirtoa:

  1. Siirto, jossa nappisi siirtyy KOLME askelta seuraavana heittävän napin eteen
  2. Siirto, jossa nappisi siirtyy KAKSI askelta seuraavana heittävän napin eteen

Et tietenkään halua tulla syödyksi ja tiedät, että seuraavaksi nopasta tulee todennäköisimmin luku 2. Ensimmäinen valinta on tutkimuksen tiedon ansiosta nyt parempi ratkaisu. Lisäksi joskus, lähinnä aikuisten peli-illoissa, käytetään myös sääntövariaatiota, jossa mitään nappuloista ei ole pakko liikuttaa. Tällöin tämän tutkimuksen tarjoamien valistuneiden valintojen avulla voidaan kohottaa huomattavasti omaa voittotodennäköisyyttä.

 Sivutulos

Kerätty aineisto antoi varsinaisen tuloksen lisäksi mielenkiintoisen johtolangan. Siinä missä nopan vastapuoli ponnahti esiin n. 24-prosenttisesti, niin sama luku heti perään ilmaantui vain 10.8% todennäköisyydellä. Neljälle muulle nopan kantille jäi yhteensä 65.3% (eli keskimäärin 16.3%)  todennäköisyys. Käytännössä vastakkaisen luvun lisääntyminen selittyi pelkästään saman luvun toistumisen vähentymisenä ja kuution vierekkäiset sivut noudattelivat suurin piirtein ”rehellisiä” todennäköisyyksiä. Tätä ilmiötä ei alkuperäisen tutkimushypoteesin valossa tarkkailtu, joten olisi syytä kerätä vielä uusi aineisto, jotta minimoidaan yksittäisen aineiston satunnaisoikun mahdollisuus. Näin ei langeta aiemmin käsiteltyyn vanhaan miinaan.

Jatkotutkimukset

Tutkimukseen toteuttamiseen liittyy vielä pari kyseenalaistavaa kysymystä:

  • Kaikki heitot tehtiin samalla Kimble-laudalla. Voiko tulokset selittyä viallisella laudalla?
  • Nopan ”poksautuksia” suoritti kolme eri henkilöä. Voiko heillä joku systematiikka poksautus-tyylissä, mikä selittää tutkimuksen tulokset?

Näiden epäilyjen kumoamiseksi ja sivutuloksen oikeellisuuden varmistamiseksi haastan blogin lukijat keräämään talteen heittosarjan seuraavasta Kimble-pelistä. Kirjatkaa sarjat sitten tämän postauksen kommentti-osioon. Kunhan dataa on riittävästi kertynyt, suoritetaan eeppinen jatkotutkimus.

Kimblestä järjestettiin SM-kisat viimeksi vuonna 2012. Blogin lukijoiden onkin nyt hyvä aika aloittaa harjoittelu seuraavia kisoja varten. Ja kirjata luonnollisesti samalla heittosarjat ylös jatkotutkimuksiin.

Statistickon steesit:

  1. Kimblessä kannattaa minimoida ne riskit mitkä toteutuvat pelivuorossa seuraavan vastustajan heittäessä nopasta vastakkaisen luvun
  2. Lautapelin ollessa kilpaurheilun sijaan perheen leppoisaa ajanvietettä, sitä ei kannata pilata liian syvällisellä taktikoinnilla [ terveiset tähän väliin siskolle :) ]

Teksti on kirjoitettu yhdessä analyyseista vastanneen kollega Tuomas Kukon kanssa.

 

 

 

Facebooktwittergoogle_plusredditpinterestlinkedinmail

Tutkimushypoteesit ja pokerimenestys

Virheelliset tutkimukset

Tutkimusaineistoista löytyy aina jotain merkillisyyksiä pelkästään sattumalta, kun datoja tarpeeksi paljon pyöritellään ja kaivellaan. Jos testaamme juuri niitä hypoteeseja, mitkä tulivat mieleen aineiston erikoisuuksia kaivelemalla, niin tottakai saamme tilastollisesti merkitseviä tuloksia. Tulokset eivät vaan ole päteviä, koska riippumattomuusoletukset eivät täyty. Tämä onkin ehkä yleisin tilastojen väärinkäyttötapa, jonka takia maailmassa on julkaistu hurja määrä tutkimustuloksia, mitä ei ole enää seuraavassa saman alan tutkimuksessa pystytty toistamaan (viite). Itse olin lähellä sortua vastaavaan tutkimuskentällä yleiseen virheeseen, kun olin turhautunut omasta heikosta menestyksestäni pokeripöydissä.

Tuuri pokerissa

Pokerimenestyksen tutkiminen

Pokeri on peli, joka on olemukseltaa jossain shakin (pelissä ei tuurielementtiä, parempi pelaaja voittaa) ja ruletin (puhdas tuuripeli) välimaastossa. Matemaattisilla ja psykologisilla taidoilla voi saada edun muita pelaajia vastaan, mutta sattumalla on suuri vaikutus siihen, kuinka yksittäisessä pelissä käy. Itse olen harrastanut pokeria pääasiassa ”texas hold’em sit and go”-turnauksina, joissa matemattiset taidot korostuvat. Nettipokerissa menestyminen oli pari vuotta sitten vielä merkittäväkin tulonlähde, mutta viime vuosi 2013 oli tappiollinen, eikä menneillä oleva alkuvuosikaan ole tuonut vielä suurta parannusta. Nyt mieltä vaivaava kysymys kuuluu: ”Onko lähimenneisyyden huono tulos selitettävissä sattumalla vai pelaavatko vastustajat nykyään paremmin (tai minä huonommin) kuin aikaisemmin?”.

Tilastot turnauksista

Oman nettipokerituurin (ja vastustajien pelityylien) selvittämiseksi olen onneksi vuosi sitten hankkinut apuohjelman, joka kerää aineistoa pelaamistani turnauksista jälkianalyysejä varten. Tilastot paljastavat, että tappiot selittyvät yhden pokerifirman, kutsutaan sitä vaikka nimellä ”Täystöötti”, peleillä. Tällä pokerisivustolla olen pelannut valtaosan peleistäni.

Graafissa punainen käyrä kertoo, mikä todennäköisyyksien mukaan tulokseni pitäisi olla, jos ”all-in” tilanteissa tuurini olisi ollut keskimääräinen. Vihreä käyrä kertoo, mikä todellinen tulokseni on ollut turnausmaksuina. Karkeasti voisi yksinkertaistaa seuraavasti: Mikäli punainen käyrä on nollan yläpuolella, on pelaaja ollut turnausmenestyksen kannalta hyvissä tilanteissa kun kaikki rahat menevät pottiin ja piilokortit käännetään esiin. Jos vihreä käyrä on punaisen käyrän yläpuolella, niin pakasta tulleet viimeiset ratkaisukortit ovat olleet keskimääräistä suotuisampia (ja vastaavasti heikompia, kun ollaan punaisen käyrän alapuolella).

meh_graafi_cannon_180714

Menestys ja ”pakkatuuri”-korjattu menestys Täystöötin peleissä.

hem_graafi_pspp_18072014

Menestys ja ”pakkatuuri”-korjattu menestys muissa kun Täystöötin peleissä.

Täystöötin peleissä vaikuttaisi olleen järkyttävän huonoa tuuria, koska toteutunut käyrä (vihreä) on n. 140 turnausmaksua ”pakkatuuri”-korjatun (punaisen) käyrän alapuolella. Muiden firmojen peleissä taas käyrät käyttäytyvät niinkuin pitkässä juoksussa pitäisikin, eli seurailevat toisiaan. Tässä vaiheessa useimmilla tappion lyömillä pelaajilla herää epäilyksiä, että  Täystöötti huijaa minun vastustajieni eduksi tai vähintäänkin heidän satunnaisgeneraattoriin on lipsahtanut koodausvirhe. Tämän jos voisi tilastollisesti todistaa, niin voisi alkaa vaatimaan heiltä korvauksia tai vähintään boikotoimaan sekä mollaamaan foorumeilla. Jos näillä aineistoilla lähtisin asiaa tilastollisesti testaamaan niin epäilemättä saisin erittäin merkitseviä tilastollisia todistuksia vinoutuneesta satunnaisgeneraattorista. Laajasta menetelmä-työkalupakistani huolimatta en näin kuitenkaan tee.

Tutkimushypoteesi

Meillä olisi nyt seuraava tutkimushypoteesi, mitä lähdettäisiin todistamaan vääräksi:

H0: ”Täystöötin pokeripelien satunnaisgeneraattori on rehellinen”

Testien lopputulokset ovat usein muotoa ”On alle 5% mahdollisuus, että aineistossa ilmenevä poikkeama hypoteesista johtuisi sattumasta. Näinollen hypoteesi ei pidä paikkaansa ja tulos on tilastollisesti merkitsevä”. Huono uutinen tutkimuksellemme on se, että keksimme hypoteesin aineistomme avulla. Tilastolliset testit taas vaativat, että käytössä on hypoteesista riippumaton satunnaisotos.

Tutkimuksen jatko

Parasta mitä tässä tilanteessa voimme tehdä, on alkaa keräämään uutta aineistoa, jolla voimme testata, pitääkö havaitsemamme poikkema todella paikkansa. Tutkimussuunnitelma on nyt seuraava: pelaan 3000 uutta turnausta. Näistä hyväksyn tutkimukseen joka kolmannen aloittaen kolmannesta. Tällä pyrin ehkäisemään peräkkäisten turnausten mahdollista korrelaatiota, mikä on seurausta samoista vastustajista tai edellisen turnauksen lopputuloksesta johtuvasta tunnetilasta. Tämän jälkeen meillä on käytössä myös hypoteesista riippumaton satunnaisotos validin tutkimuksen tekemiseksi.

Entäs silloin kun meillä on vain yksi aineisto, eikä sitä ole tulossa lisää lähitulevaisuudessa? Tutkimushypoteeseja ei ole voitu asettaa etukäteen tai niitä on paljon. Toteammeko, että aineisto on hyödytön ja heitämme kirveen kaivoon? Toki datan antama singnaali on aina jonkunlainen vihje todellisuuden tilasta. Meillä vaan tulee ongelmia todennäköisyyslaskelmissa kun halausimme arvioida kuinka suurella varmuudella voimme yleistää signaalin koskemaan todellisuutta aineiston ulkopuolella. Tapauksesta riippuen voimme joko tehdä korjauksia menetelmien todennäköisyyslaskelmiin tai erottaa ja säästää osa aineistosta tuloksien varmentamiseen. Näistä tekniikoista sekä Täystöötin satunnaisgeneraattorin testaamisen tuloksista lisää myöhemmissä blogipostauksissa.

Statistickon steesit:

  1. Tutkimushypoteesi pitää asettaa ennen tutkimusaineiston tarkastelua
  2. Dataa tutkiskelemalla löytynyt yllättävä seikka on enemmän hypoteesi uudelle tutkimukselle (uudella datalla) kuin yleistettävissä oleva tulos
Facebooktwittergoogle_plusredditpinterestlinkedinmail