Rss

  • linkedin

Archives for : tutkimukset

Kärjistyvät näkemykset

Ihmisen aivot on ohjelmoitu vetämään härskisti muutaman havainnon perusteella syy-seuraus yhteyksiä. Itse työskentelen päivittäin satunnaisvaihtelun ymmärtämisen parissa. Mutta annas olla kun vaihdan vapaalle ja vähän rentoudun niin muutaman tuopillisen jälkeen alkaa jutuissani näkymään riippuvuussuhteita siellä sun täällä yksittäisiin esimerkkeihin nojaten: ”Alkulämmittely urheilussa on vaan haitaksi. Itsekin pelasin urani parhaan futsal-pelin silloin Ristiinassa kun huonon ajokelin takia ei keretty lämmittelemään ollenkaan.” Eikä siinä mitään, näin syntyy tarinoita ja legendoja. Elämä ympärivuorokautisena satunnaisvaihteluintoilijana olisi todella tylsää.

angryVaarallisemmaksi tilanne muuttuu, kun mukaan astuvat vahvat poliittiset ideologiat. Olet ehkä jo saavuttanut ajatuksillesi jonkinlaista kannatusta, etkä halua kannattajiesi silmissä leimautua ”takin kääntäjäksi”. Alitajuntasi alkaa rekisteröimään vain aiempia näkemyksiä tukevia havaintoja ja vastakkaista näkemystä tukevat havainnot humahtavat ohi niin että tukka hulmuaa. Ehkä SoMe:ssakin kaveripiiri alkaa koostumaan vaan saman ideologian jakajista ja toisenlaiset näkemykset blokataan sekopäisten hourailuna. Sinulla on kansantalouden tutkimuksista löytynyt oma suosikkisi, johon voit viitata kohdatessasi vasta-argumentteja. Mutta hetkinen, vastapuolellakin on viittaus tieteelliseen artikkeliin, jolla hän perustelee omaa näkemystään. Mitä ihmettä, onko koko tiedemaailmakin sekaisin?

Totuus hahmottuu vähitelleen

Vaikka maailmassa on paljon tutkijoita, joilla on vaikeuksia käsitellä todennäköisyyksiä ja joissain tiedelehdissä on kehnoja julkaisukriteerejä, niin suuressa mittakaavassa tiede tekee oikeita asioita. Taistelu totuuden löytämiseksi sattuman sekoittamassa maailmassa on vaan kovaa hommaa.

Matematiikassa tai fysiikassa voi olla mahdollista todistaa uusi tutkimuslöydös yhdellä tutkimuksella aukottomasti todeksi. Suurimmalle osalle ihmisistä olennaisempia ovat kuitenkin ”pehmeämmät” tieteet kuten yhteiskuntatieteet ja niissä on pakko turvautua havaintoihin. Tilastotiede kehittää tutkimusmenetelmiä eri soveltavien tieteiden tarpeisiin, mutta monet perinteiset menetelmät toimivat täydellisesti vain satunnaistettujen kokeiden (satunnaisesti valittu koeryhmä ja vertailuryhmä) yhteydessä. Hienostuneemmat menetelmät ovat taas useille tutkijoille matemaattisesti liian monimutkaisia.

Poliittisesti herkässä kansantaloustieteessä satunnaistetut kokeet ovat harvoin mahdollisia. Vai miltä kuulostaa seuraava koe: Rakennetaan Suomeen kolme uutta samankaltaista asuinaluetta ja arvotaan tuhansia ihmisiä (tarvittaessa pakkosiirretään) asumaan kuhunkin kymmeneksi vuodeksi. Yhdessä alueessa käytetään nykyistä sosiaaliturvajärjestelmää, toisessa perustuloa ja kolmannessa ei ole sosiaaliturvaa ollenkaan. Näin voitaisiin saada helposti tieteellistä näyttöä eri tulonsiirtomekanismien toimivuudesta, mutta lienee selvää miksei tällaisia kokeita voida järjestää. Satunnaiskokeiden puutteen takia taloustieteen tutkimukset ovat herkkiä sille, kuinka kaikki oleelliset taustatekijät on huomioitu. Tästä hyvä esimerkki on edellinen kirjoitukseni tuloeroista.

Kun soppaan lisätään vielä muu totuuden etsimiseen liittyvä hankalasti kontrolloitava satunnaisuus (aiemassa kirjoituksessani tätä on yritetty avata) niin ei ole mikään ihme että yksittäiset tutkimukset voivat saada toisistaan vastakkaisia tuloksia. Tiede onkin jatkuvasti kehittyvä prosessi. Vasta kun vuosien varrella useimmat toisistaan riippumattomat tutkimukset alkavat saada samankaltaisia tuloksia, voidaan alkaa puhumaan yleisestä totuudesta.

Radikalisoituminen

radikaali_graafi2Ikävä puoli tässä kaikessa on, että erilaiset ideologiset ryhmittymät vahvistavat valikoiden omia näkemyksiään ja alkavat sitten käymään täysin tarpeetonta vihanpitoa toisiaan kohtaan. Loppupelissä kyse on vain satunnaisvaihtelusta, josta ryhmittymät ovat ajautuneet näkemään vain toisen puolen. Jottei tämäkään kirjoitus jäisi ilman jotain tilastollista käppyrää, piirsin kuvaajan hahmottamaan ilmiötä. Totuus kiistanalaisesta asiasta on jakauman keskellä, mutta sen havaitsemiseen liittyy satunnaisuutta ja ryhmät rekisteröivät vain toista puolta ja etsivät sitä tukevia yksittäisiä tutkimuksia.

Esimerkiksi keskellä voisi olla totuus ”Virkamiehet ovat keskimäärin yhtä fiksuja ja rehellisiä kuin muutkin ihmiset” (en tiedä, pitääkö oikeasti paikkansa). Musta käyrä kuvaa, yksittäisiin virkamiehiin liittyvää vaihtelua todellisuudessa ja pallerot kansalaisten havaintoja heistä. Mitä oikeammalla vaakasuunnassa pallero sijaitsee, sitä pätevämpi havaittu virkamies on. Nyt siniseeen porukkaan kuuluvat ovat kohdanneet tai muuten vaan mielikuviin rekisteröineet esimerkkejä korruptoituneista ja epäpätevistä tapauksista. Punainen porukka on taas rekistenöinyt havaintoja lähinnä fiksuimmista ja rehdimmistä kavereista. Punaisilla ja sinisillä saattaa olla tämän jälkeen pientä erimielisyyttä siitä, kuinka paljon virkamiehillä pitää olla valtaa.

Asiaa ei helpota yhtään, että nykypäivänä netin keskustelukanavat vilisevät trolleja, joiden päämääränä on lisätä hämmennystä ja media kilpailee klikkauksista ylidramatisoivilla sekä harhaanjohtavilla otsikoilla. Otsikon harhaanjohtavuus on helppo huomata, kun kyse on itselle ennalta tutusta aiheesta. Vieraasta aiheesta taas harhaa emme tunnista vaan muodostamme omaa todellisuutta näiden ”havaintojen” perusteella.

Mennyt vuosi on ollut kriisipitoinen ja kotimaan poliittisessa keskusteluissa ovat olleet tunteet pinnassa. Ainakin julkinen keskustelu menee liian helposti asia-argumentoinnin sijaan henkilökohtaisuuksiin ja vastapuolen syyttelyyn ”kuplassa elämisestä”. Kannustan kaikkia ensisijaisesti pohtimaan, mistä oma kupla muodostuu. Kaikilla meillä sellainen on.

Esimerkkiä pelkkään toisen osapuolen vääriin näkemyksiin keskittymiseen tarjoavat eduskunnan televisioitavat istunnot. Näitä katsoessa on kuitenkin hyvä muistaa, että vaikka edustajat TV-kameroiden ollessa päällä vetävät tunteenpalossa roolejaan, eduskunnan käytäviltä kantautuvien huhujen perusteella useimmat näistä ”ammattiräyhääjistä” pystyvät ihan asiallisesti kahvipöydissä keskustelemaan kameroiden ollessa kiinni. Istuntosalissakin on ainakin näin joulun aikaan merkkejä vähemmän kiihkeästä suhtautumisesta omiin rooleihin ainakin tämän pätkän perusteella.

Yhteistyöllä eteenpäin

Maailman muuttuessa talouteen tulee ajoittain shokkeja ja vaikeita aikoja, mutta yhteistyöllä varmasti pääsemme niistä yli. Me tarvitsemme toisiamme:

  • Ilman riskiä kantavia yritysten omistajia ei duunareilla ole töitä ja ilman ahkeria duunareita ei yrityksissä tapahdu mitään.
  • Ilman liiketoiminnan (ALV, palkat ja voitot) generoimia verorahoja sekä yrittämällä rikastuneiden säätiöitä ei tutkimukselle löytyisi rahoitusta. Toisaalta ilman laadukasta tutkimusta kuluttajat jäisivät paitsi monien innovaatioiden hyödyistä, eivät tietäisi mikä on terveydelle hyväksi ja yrityksillä ei olisi kaikkea tehostavaa teknologiaa käytössään.
  • Ilman yksityisen sektorin generoimia verorahoja ei julkisen sektorin työntekijöille voisi maksaa palkkoja, mutta ilman julkisen sektorin tarjoamaa turvallisuutta ja koulutusta olisi yhteiskunta aika kehno paikka yrittää ja etsiä päteviä työntekijöitä.

Haloo Helsingin säkeiden myötä haluan toivottaa lukijoille rauhaisaa joulua ja avarakatseista uutta vuotta!

Facebooktwitterredditpinterestlinkedinmail

Totuuden jäljillä

Otetaan heti alkuun pieni pähkinä, joka on hieman muokaten kopioitu Nassim Talebin kirjasta ”Fooled by randomness”.

Kuvitellaan tauti, jota sairastaa yksi tuhannesta suomalaisesta 40 vuotiaasta miehestä. Jarkko menee 40-vuotispäivän kunniaksi lääkärille rutiininomaiseen terveystarkastukseen ja lääkäri suorittaa verikokeen taudin testaamiseksi. Kokeesta tiedetään, että oikeasti sairaiden lisäksi se antaa positiivisen tuloksen 5% todennäköisyydellä silloin kun potilas on terve.

Jarkko sai kokeesta positiivisen tuloksen. Mikä on todennäköisyys, että Jarkolla on kyseinen tauti?

Mieti hetki vastausta, ennen kuin jatkat eteenpäin.

sairaus_graafi2Vastasitko 95%? Ei se mitään, niin vastaa moni muukin pätevä kaveri. Mutta oikea vastaus on n. 2%. Pieleen menee yleensä siinä, että ennakkotieto ”yleinen sairastuneisuus 1/1000” jää huomiotta. Asian hahmottamiseksi vieressä on laatikko, jossa pallerot kuvaavat tyypillistä 1000 hengen otosta 40-vuotiaista miehistä. Punaisella värjätty alanurkan pallero on se epäonninen, joka sairastaa tautia. Jäljelle jäävistä 999 terveestä henkilöstä 0.05 * 999, eli noin 50 henkeä taas ovat sellaisia, jotka saavat verikokeesta virheellisen positiivisen tuloksen. Näitä ovat mustat pallerot ylhäällä. Pähkinän oikea vastaus tulee jakolaskusta 1/(1 + 50).

Edellinen verikoe on esimerkki tilanteesta, jossa totuuden etsimiseksi on kehitetty testi, jonka lopputulokseen liittyy epävarmuutta. Myös tieteen tekeminen on jatkuvaa painimista löydöksiin liittyvien epävarmuuksien kanssa. Esittelen seuraavaksi kolme mittaria, jotka auttavat tieteellisen löydöksen totuusarvon mittaamisessa.

Tilastollinen merkitsevyys (P-arvo)

P-arvo on tärkein ja tunnetuin mittari sille, kuinka uskottava tutkimustuloksemme on. Kyseessä on ehdollinen todennäköisyys: Todennäköisyys, että löydös ilmenee aineistossa sattumalta JOS se ei oikeasti pidä paikkaansa.  Akateemisessa tutkimuksessa löydöstä yleensä pidetään tilastollisesti merkitsevänä, jos P-arvo on pienempi kuin 0.05. P-arvoa kuitenkin ylitulkitaan jatkuvasti samoin kuin ”Jarkon sairausdiagnoosi” -esimerkissä. P-arvo 0.05 EI nimittäin tarkoita välttämättä, että tutkimuslöydös olisi 95% todennäköisyydellä tosi.

Tilastollinen voimakkuus (Power)

Voimakkuus on ”Todennäköisyys, että tutkimusaineisto paljastaa etsimämme ilmiön JOS ilmiö on oikeasti olemassa.” Mediahuomiotakin saaneen Kimble-tutkimuksen tapauksessa: ”Todennäköisyys, että vastakkaisia silmälukuja tulee tilastollisesti merkitsevästi enemmän tutkimuksessamme, jos nopassa on oikeasti systematiikkaa.” Voimakkuuslaskelmia käytetään pääasiassa ennen tutkimusta selvittämään sopivaa otoskokoa tutkimukselle, mutta se on hyödyllinen tieto myös myöhemmin löydöksen totuusarvoa laskiessa.

Ennakkokäsitys ilmiöstä (Prioritieto)

P-arvo ja Power ovat siis ilmiön paljastumistodennäköisyyksiä tietyillä ehdoilla ja me haluaisime päästä käsiksi ilmiön olemassaolon todennäköisyyteen. Tämä onnistuu ottamalla huomioon ennakkokäsitys ilmiöstä ennen tutkimusaineiston keräämistä.

Esimerkiksi Kimble-tutkimuksessa ennakkokäsityksemme oli suurinpiirtein seuraavanlainen: ”Nuorisokodin peleissä ykkönen on tullut kuutosen jälkeeen silmiinpistävän usein. Kyse voi kuitenkin olla sattumasta ja siitä seuraavasta psykologisesta harhasta. Toisaalta systematiikat ovat mahdollisia, koska noppakupu on sen verran pieni. Noppa voisi olla kyseisellä tavalla epäsatunnainen ehkä 20% todenäköisyydellä, eli kerran viidestä.”

Tässä kohti huomataan, että peliä vuosikymmeniä hakanneella konkarilla ennakkokäsitys olla täysin erilainen. Joku aktiivipelaaja olisi saattanut nähdä asian seuraavasti: ”Vuosikymmenten kokemuksella olen hyvin varma ilmiön olemassaolosta.  Väittäisin olevan sen tosi 90% todennäköisyydellä.” Ennakkokäsitys on usein hyvin subjektiivinen näkemys.

ProfessorSubjektiivisten näkemyksien suhteen ollaan ymmärrettävistä syistä varovaisia akateemisen tutkimuksen tilastoanalyysissä. Emme halua, että tieteen tulokset ovat liian riippuvaisia yksittäisen tutkijan subjektiivisesta näkemyksestä. Ainahan on olemassa riski, että ideologiset näkemykset tai henkilökohtaiset haaveet ohjaavat yksittäisen henkilön ennakkokäsitystä tiettyyn suuntaan.

Sen sijaan esim. yrityksen tehdessä tutkimusta vain oman liiketoimintansa päätöksenteon tueksi prioritietoa kannattaa hyödyntää, mikäli palkkalistoilta löytyy asiantuntija, joka osaa muuttaa näkemyksensä numeeriseen muotoon. Liiketoiminnassa taloudelliset intressit kannustavat kohti objektiivisuutta. Virheelliset johtopäätökset kun tuppaavat näkymään yrityksen tuloksessa.

Prioritodennäköisyyden ongelma on sen vaikea määrittäminen yksiselitteisen objektiivisesti. John Ioannidis käyttää artikkelissaan erästä objektiivista lähestymistapaa: selvitetään kaikki viimeaikojen oman tutkimusalan tutkimukset ja käytetään prioritodennäköisyytenä suhdetta, jolla aloitetut tutkimukset ovat lopulta johtaneet oikeaan uuteen löydökseen. Tämän asian selvittäminen ei kuitenkaan käy ihan sormia napsauttamalla.

Tutkimuslöydösten totuusarvot

Nyt meillä alkaa olla riittävästi työkaluja käydä käsiksi tutkittavan ilmiön olemassaolon todennäköisyyteen. Mietitään tyypillistä standardien mukaan suunniteltua tutkimusta. Mikäli matematiikka ei ole lähellä sydäntäsi voit jättää kaavat ja kreikkalaiset kirjaimet omaan arvoonsa. Tutkimuksen tilastollinen voimakkuus  (1-\beta ) on standardi 0.8 ja tilastollinen merkitsevyyskriteeri  (\alpha ) on 0.05. Olkoon testattava hypoteesi  (H_1 ) aiemman Kimble-esimerkin tapainen, mikä voidaan olettaa ennakkokäsityksen mukaan todeksi 20% varmuudella. Nyt jos data kriteereillämme paljastaa ilmiön, sen todennäköisyys olemassaololle on 80%. Tämä saadaan laskettua Bayesin säännöstä johdetulla kaavalla (johdin sen tähän hätään itse, joten suhtautuminen varauksella):

  \mathbb{P}(H_1 | Data) = \frac{(1-\beta ) \mathbb{P}(H_1)}{ \alpha (1-\mathbb{P}(H_1))+(1-\beta ) \mathbb{P}(H_1)}

 

Mietitään sitten vertailun vuoksi tutkimusta, jossa voimakkuus ja merkitsevyyskriteeri ovat edelleen samoja, mutta tarkoitus on testailla vähän kaikkea, jos satuttaisiin löytämään joitain tilastollisesti merkitseviä yhteyksiä. Meillä voisi olla vaikka pitkä lista erilaisista Kimble-pelaajien ominaisuuksista kätisyydestä hapenottokykyyn ja tutkimme, sattuisiko jollain niistä olemaan yhteyttä pelissä pärjäämiseen. Tällöin yksittäiseen testiin liittyvä prioritodennäköisyys ilmiön olemassaololle voisi olla luokkaa 1%. Nyt ylläolevalla kaavalla laskettu totuusarvo kyseiselle löydökselle romahtaa niinkin alas kuin 14%:iin.

Pieni prioritodennäköisyys romauttaa löydöksen totuusarvon, koska sattumalta tulevat löydökset dominoivat tilastollisesta merkitsevyydestä huolimatta. Näin kävi alun sairausdiagnoosipähkinässäkin. Lisäpähkinä pohdittavaksi: Matias saa saman diagnoosin kuin Jarkko, mutta hän tietää jo ennalta omaavansa geenit, jotka nostavat kyseisen sairauden puhkeamisen riskiä.

Käytännön prosessit

SearchingEnnakkonäkemyksen kunnollinen hyödyntäminen on todellisuudessa vaikeaa, mutta tärkeintä tässä on huomata ero huolellisesti valitun hypoteesin tutkimisen ja ”vähän kaiken kokeilun”, (exploratiivisen tutkimuksen) välillä. Tässä vaiheessa moni voi huomata, että omiin tutkimuksiin/tietolähteisiin liittyy enemmän epävarmuutta, mitä on tullut ajatelleeksi. Niin kävi itsellenikin tätä kirjoittaessa. Tutkimuksen huolellisella suunnittelulla voi kuitenkin luottaa olevansa useammin oikeassa kuin väärässä, vaikkei tarkkoja prioritodennäköisyyksiä pystyisikään hahmottamaan.

Tutkimustiedon jatkokäsittelijän taas tulee muistaa olla kriittinen uuden mullistavan tiedon löytyessä. Oleellinen kysymys kuuluu: Kuinka tähän tulokseen päädyttiin? Onko kyseessä hakuammunnan tulos vai oliko alla jo muuta samaa ilmiötä tukevaa tutkimustietoa, jolle nyt haettiin varmistus?

 

Statistickon steesit:

  1. Tutkimuslöydöksen todenperäisyyden arviointiin tarvitaan tilastollisten mittareiden lisäksi prioritiedon hyödyntämistä
  2. Prioritiedon muuttaminen numeroiksi on usein hankalaa, mutta huolellisella tutkimussuunnittelulla voidaan kiertää tätä ongelmaa
  3. Kokeileva, exploratiivinen, tutkimus on tärkeää uusien tutkimussuuntien löytämiseen, mutta siitä on vielä pitkä matka totuudeksi julistamiseen
Facebooktwitterredditpinterestlinkedinmail