{"id":475,"date":"2015-03-27T14:21:11","date_gmt":"2015-03-27T12:21:11","guid":{"rendered":"http:\/\/statistition.com\/?p=475"},"modified":"2015-09-08T12:35:24","modified_gmt":"2015-09-08T09:35:24","slug":"totuuden-jaljilla","status":"publish","type":"post","link":"https:\/\/statistition.com\/?p=475","title":{"rendered":"Totuuden j\u00e4ljill\u00e4"},"content":{"rendered":"

Otetaan heti alkuun pieni p\u00e4hkin\u00e4, joka on hieman muokaten kopioitu Nassim Talebin kirjasta ”Fooled by randomness”.<\/p>\n

Kuvitellaan tauti, jota sairastaa yksi tuhannesta suomalaisesta 40 vuotiaasta miehest\u00e4. Jarkko menee 40-vuotisp\u00e4iv\u00e4n kunniaksi l\u00e4\u00e4k\u00e4rille rutiininomaiseen terveystarkastukseen ja l\u00e4\u00e4k\u00e4ri suorittaa verikokeen taudin testaamiseksi. Kokeesta tiedet\u00e4\u00e4n, ett\u00e4 oikeasti sairaiden lis\u00e4ksi se antaa positiivisen tuloksen 5% todenn\u00e4k\u00f6isyydell\u00e4 silloin kun potilas on terve.<\/em><\/p>\n

Jarkko sai kokeesta positiivisen tuloksen. Mik\u00e4 on todenn\u00e4k\u00f6isyys, ett\u00e4 Jarkolla on kyseinen tauti? <\/em><\/p>\n

Mieti hetki vastausta, ennen kuin jatkat eteenp\u00e4in.<\/p>\n

\"sairaus_graafi2\"<\/a>Vastasitko 95%? Ei se mit\u00e4\u00e4n, niin vastaa moni muukin p\u00e4tev\u00e4 kaveri. Mutta oikea vastaus on n. 2%. Pieleen menee yleens\u00e4 siin\u00e4, ett\u00e4 ennakkotieto ”yleinen sairastuneisuus 1\/1000” j\u00e4\u00e4 huomiotta. Asian hahmottamiseksi vieress\u00e4 on laatikko, jossa pallerot kuvaavat tyypillist\u00e4 1000 hengen otosta 40-vuotiaista miehist\u00e4. Punaisella v\u00e4rj\u00e4tty alanurkan pallero on se ep\u00e4onninen, joka sairastaa tautia. J\u00e4ljelle j\u00e4\u00e4vist\u00e4 999 terveest\u00e4 henkil\u00f6st\u00e4 0.05 * 999, eli noin 50 henke\u00e4 taas ovat sellaisia, jotka saavat verikokeesta virheellisen positiivisen tuloksen. N\u00e4it\u00e4 ovat mustat pallerot ylh\u00e4\u00e4ll\u00e4. P\u00e4hkin\u00e4n oikea vastaus tulee jakolaskusta 1\/(1 + 50).<\/p>\n

Edellinen verikoe on esimerkki tilanteesta, jossa totuuden etsimiseksi on kehitetty testi, jonka lopputulokseen liittyy ep\u00e4varmuutta. My\u00f6s tieteen tekeminen on jatkuvaa painimista l\u00f6yd\u00f6ksiin liittyvien ep\u00e4varmuuksien kanssa. Esittelen seuraavaksi kolme mittaria, jotka auttavat tieteellisen l\u00f6yd\u00f6ksen totuusarvon mittaamisessa.<\/p>\n

Tilastollinen merkitsevyys (P-arvo)<\/h3>\n

P-arvo on t\u00e4rkein ja tunnetuin mittari sille, kuinka uskottava tutkimustuloksemme on. Kyseess\u00e4 on ehdollinen todenn\u00e4k\u00f6isyys: Todenn\u00e4k\u00f6isyys, ett\u00e4 l\u00f6yd\u00f6s ilmenee aineistossa sattumalta JOS se ei oikeasti pid\u00e4 paikkaansa<\/strong>.\u00a0 Akateemisessa tutkimuksessa l\u00f6yd\u00f6st\u00e4 yleens\u00e4 pidet\u00e4\u00e4n tilastollisesti merkitsev\u00e4n\u00e4, jos P-arvo on pienempi kuin 0.05. P-arvoa kuitenkin ylitulkitaan jatkuvasti samoin kuin ”Jarkon sairausdiagnoosi” -esimerkiss\u00e4. P-arvo 0.05 EI nimitt\u00e4in tarkoita v\u00e4ltt\u00e4m\u00e4tt\u00e4, ett\u00e4 tutkimusl\u00f6yd\u00f6s olisi 95% todenn\u00e4k\u00f6isyydell\u00e4 tosi.<\/p>\n

Tilastollinen voimakkuus (Power)<\/h3>\n

Voimakkuus on ”Todenn\u00e4k\u00f6isyys, ett\u00e4 tutkimusaineisto paljastaa etsim\u00e4mme ilmi\u00f6n JOS ilmi\u00f6 on oikeasti olemassa.” <\/strong>Mediahuomiotakin saaneen Kimble-tutkimuksen<\/a> tapauksessa: ”Todenn\u00e4k\u00f6isyys, ett\u00e4 vastakkaisia silm\u00e4lukuja tulee tilastollisesti merkitsev\u00e4sti enemm\u00e4n tutkimuksessamme, jos nopassa on oikeasti systematiikkaa.” Voimakkuuslaskelmia k\u00e4ytet\u00e4\u00e4n p\u00e4\u00e4asiassa ennen tutkimusta selvitt\u00e4m\u00e4\u00e4n sopivaa otoskokoa tutkimukselle, mutta se on hy\u00f6dyllinen tieto my\u00f6s my\u00f6hemmin l\u00f6yd\u00f6ksen totuusarvoa laskiessa.<\/p>\n

Ennakkok\u00e4sitys ilmi\u00f6st\u00e4 (Prioritieto)<\/h3>\n

P-arvo ja Power ovat siis ilmi\u00f6n paljastumistodenn\u00e4k\u00f6isyyksi\u00e4 tietyill\u00e4 ehdoilla ja me haluaisime p\u00e4\u00e4st\u00e4 k\u00e4siksi ilmi\u00f6n olemassaolon todenn\u00e4k\u00f6isyyteen. T\u00e4m\u00e4 onnistuu ottamalla huomioon ennakkok\u00e4sitys ilmi\u00f6st\u00e4 ennen tutkimusaineiston ker\u00e4\u00e4mist\u00e4.<\/p>\n

Esimerkiksi Kimble-tutkimuksessa<\/a> ennakkok\u00e4sityksemme oli suurinpiirtein seuraavanlainen: ”Nuorisokodin peleiss\u00e4 ykk\u00f6nen on tullut kuutosen j\u00e4lkeeen silmiinpist\u00e4v\u00e4n usein. Kyse voi kuitenkin olla sattumasta ja siit\u00e4 seuraavasta psykologisesta harhasta. Toisaalta systematiikat ovat mahdollisia, koska noppakupu on sen verran pieni. Noppa voisi olla kyseisell\u00e4 tavalla ep\u00e4satunnainen ehk\u00e4 20% toden\u00e4k\u00f6isyydell\u00e4, eli kerran viidest\u00e4.”<\/p>\n

T\u00e4ss\u00e4 kohti huomataan, ett\u00e4 peli\u00e4 vuosikymmeni\u00e4 hakanneella konkarilla ennakkok\u00e4sitys olla t\u00e4ysin erilainen. Joku aktiivipelaaja olisi saattanut n\u00e4hd\u00e4 asian seuraavasti: ”Vuosikymmenten kokemuksella olen hyvin varma ilmi\u00f6n olemassaolosta.\u00a0 V\u00e4itt\u00e4isin olevan sen tosi 90% todenn\u00e4k\u00f6isyydell\u00e4.” Ennakkok\u00e4sitys on usein hyvin subjektiivinen n\u00e4kemys.<\/p>\n

\"Professor\"<\/a>Subjektiivisten n\u00e4kemyksien suhteen ollaan ymm\u00e4rrett\u00e4vist\u00e4 syist\u00e4 varovaisia akateemisen tutkimuksen tilastoanalyysiss\u00e4. Emme halua, ett\u00e4 tieteen tulokset ovat liian riippuvaisia yksitt\u00e4isen tutkijan subjektiivisesta n\u00e4kemyksest\u00e4. Ainahan on olemassa riski, ett\u00e4 ideologiset n\u00e4kemykset tai henkil\u00f6kohtaiset haaveet ohjaavat yksitt\u00e4isen henkil\u00f6n ennakkok\u00e4sityst\u00e4 tiettyyn suuntaan.<\/p>\n

Sen sijaan esim. yrityksen tehdess\u00e4 tutkimusta vain oman liiketoimintansa p\u00e4\u00e4t\u00f6ksenteon tueksi prioritietoa kannattaa hy\u00f6dynt\u00e4\u00e4, mik\u00e4li palkkalistoilta l\u00f6ytyy asiantuntija, joka osaa muuttaa n\u00e4kemyksens\u00e4 numeeriseen muotoon. Liiketoiminnassa taloudelliset intressit kannustavat kohti objektiivisuutta. Virheelliset johtop\u00e4\u00e4t\u00f6kset kun tuppaavat n\u00e4kym\u00e4\u00e4n yrityksen tuloksessa.<\/p>\n

Prioritodenn\u00e4k\u00f6isyyden ongelma on sen vaikea m\u00e4\u00e4ritt\u00e4minen yksiselitteisen objektiivisesti.\u00a0John Ioannidis k\u00e4ytt\u00e4\u00e4 artikkelissaan<\/a> er\u00e4st\u00e4 objektiivista l\u00e4hestymistapaa: selvitet\u00e4\u00e4n kaikki viimeaikojen oman tutkimusalan tutkimukset ja k\u00e4ytet\u00e4\u00e4n prioritodenn\u00e4k\u00f6isyyten\u00e4 suhdetta, jolla aloitetut tutkimukset ovat lopulta johtaneet oikeaan uuteen l\u00f6yd\u00f6kseen. T\u00e4m\u00e4n asian selvitt\u00e4minen ei kuitenkaan k\u00e4y ihan sormia napsauttamalla.<\/p>\n

Tutkimusl\u00f6yd\u00f6sten totuusarvot<\/h2>\n

Nyt meill\u00e4 alkaa olla riitt\u00e4v\u00e4sti ty\u00f6kaluja k\u00e4yd\u00e4 k\u00e4siksi tutkittavan ilmi\u00f6n olemassaolon todenn\u00e4k\u00f6isyyteen. Mietit\u00e4\u00e4n tyypillist\u00e4 standardien mukaan suunniteltua tutkimusta. Mik\u00e4li matematiikka ei ole l\u00e4hell\u00e4 syd\u00e4nt\u00e4si voit j\u00e4tt\u00e4\u00e4 kaavat ja kreikkalaiset kirjaimet omaan arvoonsa. Tutkimuksen tilastollinen voimakkuus \" (1-\beta ) \" on standardi 0.8 ja tilastollinen merkitsevyyskriteeri \" (\alpha ) \" on 0.05. Olkoon testattava hypoteesi\u00a0\" (H_1 ) \" aiemman Kimble-esimerkin tapainen, mik\u00e4 voidaan olettaa ennakkok\u00e4sityksen mukaan todeksi 20% varmuudella. Nyt jos data kriteereill\u00e4mme paljastaa ilmi\u00f6n, sen todenn\u00e4k\u00f6isyys olemassaololle on 80%<\/strong>. T\u00e4m\u00e4 saadaan laskettua Bayesin s\u00e4\u00e4nn\u00f6st\u00e4 johdetulla kaavalla (johdin sen t\u00e4h\u00e4n h\u00e4t\u00e4\u00e4n itse, joten suhtautuminen varauksella):<\/p>\n

\" \mathbb{P}(H_1 | Data) = \frac{(1-\beta ) \mathbb{P}(H_1)}{ \alpha (1-\mathbb{P}(H_1))+(1-\beta ) \mathbb{P}(H_1)} \"<\/p>\n

 <\/p>\n

Mietit\u00e4\u00e4n sitten vertailun vuoksi tutkimusta, jossa voimakkuus ja merkitsevyyskriteeri ovat edelleen samoja, mutta tarkoitus on testailla v\u00e4h\u00e4n kaikkea, jos satuttaisiin l\u00f6yt\u00e4m\u00e4\u00e4n joitain tilastollisesti merkitsevi\u00e4 yhteyksi\u00e4. Meill\u00e4 voisi olla vaikka pitk\u00e4 lista erilaisista Kimble-pelaajien ominaisuuksista k\u00e4tisyydest\u00e4 hapenottokykyyn ja tutkimme, sattuisiko jollain niist\u00e4 olemaan yhteytt\u00e4 peliss\u00e4 p\u00e4rj\u00e4\u00e4miseen. T\u00e4ll\u00f6in yksitt\u00e4iseen testiin liittyv\u00e4 prioritodenn\u00e4k\u00f6isyys ilmi\u00f6n olemassaololle voisi olla luokkaa 1%. Nyt yll\u00e4olevalla kaavalla laskettu totuusarvo kyseiselle l\u00f6yd\u00f6kselle romahtaa niinkin alas kuin 14%:iin. <\/strong><\/p>\n

Pieni prioritodenn\u00e4k\u00f6isyys romauttaa l\u00f6yd\u00f6ksen totuusarvon, koska sattumalta tulevat l\u00f6yd\u00f6kset dominoivat tilastollisesta merkitsevyydest\u00e4 huolimatta. N\u00e4in k\u00e4vi alun sairausdiagnoosip\u00e4hkin\u00e4ss\u00e4kin. Lis\u00e4p\u00e4hkin\u00e4 pohdittavaksi: Matias saa saman diagnoosin kuin Jarkko, mutta h\u00e4n tiet\u00e4\u00e4 jo ennalta omaavansa geenit, jotka nostavat kyseisen sairauden puhkeamisen riski\u00e4.<\/em><\/p>\n

K\u00e4yt\u00e4nn\u00f6n prosessit<\/h2>\n

\"Searching\"<\/a>Ennakkon\u00e4kemyksen kunnollinen hy\u00f6dynt\u00e4minen on todellisuudessa vaikeaa, mutta t\u00e4rkeint\u00e4 t\u00e4ss\u00e4 on huomata ero huolellisesti valitun hypoteesin tutkimisen ja ”v\u00e4h\u00e4n kaiken kokeilun”, (exploratiivisen tutkimuksen) v\u00e4lill\u00e4. T\u00e4ss\u00e4 vaiheessa moni voi huomata, ett\u00e4 omiin tutkimuksiin\/tietol\u00e4hteisiin liittyy enemm\u00e4n ep\u00e4varmuutta, mit\u00e4 on tullut ajatelleeksi. Niin k\u00e4vi itsellenikin t\u00e4t\u00e4 kirjoittaessa. Tutkimuksen huolellisella suunnittelulla voi kuitenkin luottaa olevansa useammin oikeassa kuin v\u00e4\u00e4r\u00e4ss\u00e4, vaikkei tarkkoja prioritodenn\u00e4k\u00f6isyyksi\u00e4 pystyisik\u00e4\u00e4n hahmottamaan.<\/p>\n

Tutkimustiedon jatkok\u00e4sittelij\u00e4n taas tulee muistaa olla kriittinen uuden mullistavan tiedon l\u00f6ytyess\u00e4. Oleellinen kysymys kuuluu: Kuinka t\u00e4h\u00e4n tulokseen p\u00e4\u00e4dyttiin? Onko kyseess\u00e4 hakuammunnan tulos vai oliko alla jo muuta samaa ilmi\u00f6t\u00e4 tukevaa tutkimustietoa, jolle nyt haettiin varmistus?<\/p>\n

 <\/p>\n

Statistickon steesit:<\/strong><\/p>\n

    \n
  1. Tutkimusl\u00f6yd\u00f6ksen todenper\u00e4isyyden arviointiin tarvitaan tilastollisten mittareiden lis\u00e4ksi prioritiedon hy\u00f6dynt\u00e4mist\u00e4<\/li>\n
  2. Prioritiedon muuttaminen numeroiksi on usein hankalaa, mutta huolellisella tutkimussuunnittelulla voidaan kiert\u00e4\u00e4 t\u00e4t\u00e4 ongelmaa<\/li>\n
  3. Kokeileva, exploratiivinen, tutkimus on t\u00e4rke\u00e4\u00e4 uusien tutkimussuuntien l\u00f6yt\u00e4miseen, mutta siit\u00e4 on viel\u00e4 pitk\u00e4 matka totuudeksi julistamiseen<\/li>\n<\/ol>\n\"Facebook\"<\/a>\"twitter\"<\/a>\"reddit\"<\/a>\"pinterest\"<\/a>\"linkedin\"<\/a>\"mail\"<\/a>","protected":false},"excerpt":{"rendered":"

    Otetaan heti alkuun pieni p\u00e4hkin\u00e4, joka on hieman muokaten kopioitu Nassim Talebin kirjasta ”Fooled by randomness”. Kuvitellaan tauti, jota sairastaa yksi tuhannesta suomalaisesta 40 vuotiaasta miehest\u00e4. Jarkko menee 40-vuotisp\u00e4iv\u00e4n kunniaksi l\u00e4\u00e4k\u00e4rille rutiininomaiseen terveystarkastukseen ja l\u00e4\u00e4k\u00e4ri suorittaa verikokeen taudin testaamiseksi. Kokeesta tiedet\u00e4\u00e4n, ett\u00e4 oikeasti sairaiden lis\u00e4ksi se antaa positiivisen tuloksen 5% todenn\u00e4k\u00f6isyydell\u00e4 silloin kun potilas on […]<\/p>\n","protected":false},"author":1,"featured_media":506,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[13,24],"tags":[65,66,67,68,63,64],"class_list":["post-475","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-todennakoisyydet","category-tutkimukset","tag-hypoteesit","tag-johtopaatos","tag-merkitsevyys","tag-power","tag-totuus","tag-tutkimukset-2"],"_links":{"self":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/475"}],"collection":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=475"}],"version-history":[{"count":39,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/475\/revisions"}],"predecessor-version":[{"id":592,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/475\/revisions\/592"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/media\/506"}],"wp:attachment":[{"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=475"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=475"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=475"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}