Luottamusväli taitaa olla heti keskihajonnan jälkeen yleisimmin käytetty epävarmuutta kuvaava tilastollinen mittari. Siihen liittyy kuitenkin hyvin paljon hämmennystä. Olen monta kertaa päässyt apukirjoittajan tai tilastokonsultin roolissa seuraamaan vierestä tutkijan ja tiedelehden arvioitsijan välistä keskustelua, missä toinen puhuu aidasta ja toinen aidan seipäästä kun kyse on luottamusväleistä. Niinpä arvelen että blogosfäärissä olisi tilaa pienelle tietoiskulle aiheesta.

Varusmiesten paino

Lehdissä näkyy aina välillä huolestuneita kirjoituksia (esim. Yle) koskien muutoksia varusmiesten keskipainossa. Tämä sopii havainnollistavaksi esimerkiksi meidän kuvitteelliseen tutkimukseen.

Sovitaan, että olemme laskeneet keskiarvoksi (kilogrammoina) 77.5 ja keskihajonnaksi 8. Katsotaan millaiseksi luottamusväli muodostuu riippuen siitä, kuinka monta varusmiestä on aineistossa tutkittu. Kaikenkaikkiaan varusmiehiä on 25000 ja heihin tutkimustulokset halutaan yleistää. Tätä koko joukkoa kutsutaan perusjoukoksi. Kaikissa esimerkeissä käytetään 95% luottamusväliä.

1. Otoskoko 100

Voimme laskea luottamusvälin mekaanisesti tilastotieteen oppikirjan kaavalla:

2. Otoskoko 25000, kaikki sen vuoden varusmiehet

Nyt kun kaikki varusmiehet on tutkittu, pitääkin hetki pysähtyä. Mitä luottamusvälillä oikein haetaankaan? Sen avullahan tavoitellaan ymmärrystä laskelmiin liittyvästä epävarmuudesta. Yleensä nimenomaan otannasta johtuvaa epävarmuutta. Nyt kun kaikki varusmiehet on tukittu, ei ole mitään otannasta johtuvaa epävarmuutta, joten siinä mielessä koko luottamusvälin laskemisessa ei ole tolkkua. Toki meillä vielä voi olla muitakin mielenkiintoisia epävarmuuden lähteitä kuten esim. mittausvirhe, mutta se on eri tarina ja vaatii oman tutkimuksensa mittalaitteen tarkkuudesta.

3. Otoskoko 15000

Jos kaksi edellistä kohtaa oli tuttua tavaraa niin tässä kohtaa saattaa tulla jotain yllättävää. Se mitä useimmista tilastotieteen perusteiden oppikirjoista unohtuu mainita, on se että kohdassa 1. käytettyyn kaavaan liittyy oletus: ”Tutkittava perusjoukko on kooltaan ääretön”. Nyt meidän perusjoukon koko N = 25000. Usein käytetty nyrkkisääntö kuuluu, että mikäli otoskoko on korkeintaan 5% perusjoukon koosta, kohdassa 1. käytettyä kaavaa voidaan käyttää. Otoskoko 15000 on nyt kuitenkin 60% perusjoukosta, joten peruskaava antaa virheellisiä tuloksia. Kaava, jolla luottamusväli lasketaan on nyt (laskukaavasta lisää täällä):

Tässä tapauksessa ero luottamusvälin leveydessä on vain suuruusluokkaa 0.1 verrattuna kohdassa 1. käytettyyn kaavaan, joten suurta munausta ei olisi tullut vaikka oltaisiin menty peruskaavalla.

Lopuksi vielä graafi, josta näkee kuinka luottamusvälin leveys riippuu otoskoosta. Punainen käyrä kuvaa luottamusvälin leveyttä kohdan 1. Peruskaavalla ja musta käyrä kohdan 3. Tarkkaa kaavaa. Pystyviiva kertoo, missä kohti tulee täyteen nyrkkisääntömme ”5% perusjoukon koosta”. Perusjoukkoon kuuluu kaikki 25000 varusmiestä.

Nähdään, että nyrkkisääntö vaikuttaisi pitävän tässäkin hyvin kutinsa. Äärettöman perusjoukon olettava ”peruskaava” menee käsi kädessä tarkan välin pituuden kanssa, mutta alkaa sen jälkeen hiljalleen erkaantua. Huomataan myös, että tutkittavan joukon kasvattaminen 5000:sta ylöspäin ei enää kovin tehokkaasti kasvata tutkimuksen tarkkuutta luottamusvälin suhteen.

Kun paino jää sivuruuliin

Tahdon vielä nostaa esiin asian liittyen joidenkin tiedejulkaisujen intoon vaatia luottamusvälejä kehiin joka ikisen raportoidun luvun perään. Otetaanpa esimerkiksi tutkimuskysymys: ”Mikä on palvelusaikana syötyjen munkkien määrän vaikutus Cooperin testin tulokseen varusmiehillä?”. Lisäksi mitataan kontrollointitarkoituksessa pituus, paino ja monia terveysmuuttujia.

Näiden sivuroolissa olevin muuttujien keskiarvon ja keskihajonnan raportointi on asiallista toimintaa, jotta tutkimuksen lukija saa kuvan siitä minkä tyyppistä porukkaa taustatiedoiltaan on tällä kertaa otokseen sattunut. Ainoa ilmiö, mitä tutkimuksessa kuitenkin on tarkoitus yleistää, on munkkien ja juoksukunnon yhteys. Mikäli kaikille taustamuuttujillekin vaaditaan vielä lisäksi raportoitavaksi luottamusvälit, ainakin itselläni herää kysymys: Miksi?

Tämä varmaan lopulta on mielipidekysymys, mutta omasta mielestäni tutkimusartikkelit tuppaavat olemaan riittävän raskasta luettavaa ilmankin että tekstin sekaan tungetaan kaikkea mieleen juolahtavaa epäolennaista numeropuuroa.

Tulkinta

Viimeisimpinä, muttei helpoimpana asiana lienee syytä käydä vielä läpi vähän luottamusvälin tulkintaa. Silloin kun harrastin vielä tilastotieteen perusteiden luennointia, paniikkioireet kasvoivat aina kun läheni se hetki, että piti alkaa puhumaan luottamusväleistä. Tuntui mahdottomalta tehtävältä selittää luottamusvälit niin, että se olisi totta ja ettei opiskelijoiden+omat aivot menisi lopullisesti solmuun.

Luottamusvälin kaavat perustuvat frekventistiseen tieteenfilosofiaan. Tässä katsomuksessa mielenkiinnon kohteena oleva ”tutkimusparametri” (esim. Kaikkien varusmiesten keskipaino tai kaikkien varusmiesten keskuudessa vallitseva munkin syönnin sekä juoksukunnon välinen regressiokerroin) on kiinteä luku ja kaikki epävarmuus liittyy vain otanta-aineistoon liittyvään sattumaan. Niinpä puhuminen ”tutkimusparametrin” todennäköisyysjakaumasta on mieletöntä. 95% luottamusväli tulkitaankin otantajakauman avulla: ”Kun saman suuruista otantaa toistetaan ja toistetaan niin 95 prosentissa toistoista todellinen tutkimusparametri osuu luottamusvälille.”

Bayesläinen tieteenfilosofia

Tutkijalle kinkkistä tässä on, että hänen näkökulmastaan nimenomaan tutkimusparametriin liittyy mielenkiintoisin epävarmuus. Eihän koko tutkimusta tarvittaisi, mikäli tutkimuksen kohde olisi jo täsmällisesti tiedossa. Olisi siten luontevampaa kysyä tutkimusparametrin todennäköisyyksiin pohjautuvia kysymyksiä, esim. ”Mikä on otanta-aineistomme perusteella todennäköisyys, että kaikkien varusmiesten keskipaino on suurempi kuin 75 kg?” Vastaus tähän löytyy Bayesläisen tieteenfilosofian avulla. Siihen liittyvät menetelmät ovat välillä laskennallisesti raskaampia, mutta nykyisellä tietokoneiden laskentatehoilla se ei enää ole niin suuri ongelma. Jännityksellä odottelen, milloin Bayesläisyys alkaa lyömään kunnolla läpi akateemisessa maailmassa ja tiedejulkaisut alkavat pärjätä ilman hallitsematonta luottamusvälien ja p-arvojen sarjatulta.

Lisää frekventistisistä luottamusväleistä ja Bayesläisistä todennäköisyysväleistä simulointikokeilla havainnollistettuna voi lukea esimerkiksi täältä.

Statistickon steesit:

• Kun raportoit (tai vaadit raportoimaan) luottamusvälin, mieti mistä epävarmuudesta olet oikeasti kiinnostunut
• Kun tutkimuksen otoksena on suuri osuus perusjoukosta, luottamusvälin peruskaava antavat liian leveitä välejä
• Yleensä luottamusväli määritellään mittatikkuna, jonne tutkimusparametri osuu halutulla varmuudella kun otetaan toistuvasti erilaisia satunnaisotoksia
• Kun halutaan tehdä todennäköisyyspäätelmiä itse tutkimusparametrista, pitää käyttää Bayesläisiä analyysimenetelmiä
• Liiallisen epäolennaisen numeerisen informaation viljely raporteissa ja artikkeleissa hankaloittaa lukijan ymmärrystä itse pääviestistiä