Kun opiskelin tilastotiedettä, luennolla professori kerran antoi eväitä tulevaan työelämään kutakuinkin seuraavasti: ”Yleisin kysymys, mitä teiltä kysytään työelämässä kuuluu ’Mikä on tutkimuksessani sopiva otoskoko?’ Näihin kysymyksiin te sitten vastaatte: ’En tiedä’ ”

Proffan profetia kuulosti alkuun hämmentävältä, koska oltiinhan me opiskeltu voimakkuuslaskelmien tekoa sopivan otoskoon määrittelemiseksi tutkimukseen. Taustalla lienee sekä kokeneelle tilastotieteilijälle asian kuuluvaa nöyryyttä epävarmuuden edessä, mutta myös skeptisyyttä vastaamiseen tarvittavien tietojen saatavuudesta. Ilmeisesti hänelle tämän kysymyksen esittäneillä henkilöillä on ollut harvoin tarpeeksi lisätietoja kysymykseen vastaamiseksi tai hän odottaa asian ratkeavan yhdellä pikaisella puhelinsoitolla, vaikkei tilastotieteilijäparalla ole siinä tilanteessa tarvittavia työkaluja käsillä.

Viime vuosina en ole juurikaan työskennellyt kyselyjen tai koesuunnitelmien kanssa vaan pohtinut enemmänkin päätöksenteko-ongelmia tilanteissa, joissa dataa on mitä on eikä tule lisää. Viime keväänä päätin kuitenkin kohdata tämän kysymyksen pitkästä aikaa silmästä silmään kun Surveypalilta kutsuttiin keskustelemaan aiheesta heidän webinaarissaan. Käyn seuraavassa tiivisti pohdintojen ydinkohdat esimerkin avulla läpi.

Iso yritys, jolla on kymmeniä tuhansia asiakkaita järjestää
asiakaskyselyn, jossa se kysyy

1. Perinteisen NPS – kysymyksen: Asteikolla 0-10, kuinka todennäköisesti
   suosittelisit yritystämme ystävillesi?

2. Mikä seuraavista neljästä osa-alueesta kaipaa eniten
   yrityksessämme kehittämistä?

Tutkimusongelmat

Tutkimusongelma 1: Minkä ongelman korjaamiseen pitäisi ensisijaisesti
laittaa resurssit?

Seuraavassa on simuloitu kyselytutkimuksen tuloksia tilanteessa, jossa ongelma A koskee 10% asiakkaista, ongelma B 20% asiakkaista, ongelma C 30% asiakkaista ja ongelma D 40% asiakkaista. Kuvaajassa ongelmaa on väritetty sitä punaisemmaksi, mitä vakavampi se on. Tavoitteena olisi siis löytää kyselyn avulla tulipunainen ongelma D.

Kuvaajassa on todennäköisyys kullekin ongelmalle päätyä kyselyn vastauksissa eniten kannatusta saaneeksi ongelmaksi erilaisilla kyselyn otoskoilla.

Ongelmien todennäköisyydet päätyä eniten raportoiduksi erilaisilla palautteiden määrillä. 

Kuvaajasta nähdään mm. että jo 50 otoskoolla ongelma D spotataan yleisimpänä vastauksena noin 80% todennäköisyydellä ja lähes aina kun mennään pieleen päädytään toiseksi vakavampaan ongelmaan C. Näemme myös että otoskoosta 100 tarkkuus kasvaa vain marginaalisesti otoskoon tuplaamisella 200:aan. Tämä havainnollistaa nyrkkisääntöä, että datan määrän kasvaessa informaatio ei kasva lineaarisesti vaan hidastuvasti: mitä enemmän dataa jo on, sitä vähemmän uusi data hyödyttää.

Tutkimusongelma 2: Mikä on koko asiakaskunnan todellinen NPS-luku 5 yksikön virhemarginaalin tarkkuudella?

Seuraavassa on simuloitu kyselytutkimuksen tuloksia tilanteessa, jossa 40% koko asiakaskunnasta on suosittelijoita (arvosana 9-10) ja 20% arvostelijoita (arvosanat 0-6). Todellinen NPS-luku on 40 – 20 = 20. Kuvaajassa on esitetty eri otoskoilla kyselyn tuloksen mediaani yhtenäisellä mustalla viivalla ja 95% varmuuteen pohjautuva virhemarginaali mustalla katkoviivalla. Punaiset viivat kuvaavat toivottua virhemarginaalia 5.

Toivottu virhemarginaali toteutuu vasta kun katkoviiva leikkaa punaisen viivan jossain 800 vastaajan otoskoon tienoilla. Kun ensimmäiseen tutkimusongelmaan saadaan vastaus riittävällä varmuudella jo 50 palautteella, tähän toiseen vaaditaankin 16 kertainen määrä vastauksia.

Otantaharha

Tutkimusongelman kaksi tutkiskelussa oletettiin, että vastaukset muodostavat harhattoman satunnaisotoksen koko asiakaskunnasta. Tämä voi olla joskus realismia tieteellisessä kontrolloidussa ympäristössä, mutta harvemmin asiakaskyselyissä. Muutetaanpa aiempaa simuloitua todellisuutta sen verran, että kriittiset arvostelijat vastaavat kaksi kertaa todennäköisemmin kyselyyn kuin suosittelijat. Nyt 800 otoskoko mittaa riittävällä tarkkuudella harhaista NPS-lukua 0 eikä todellista lukua 20. Vastaus alkuperäiseen kysymykseen voikin olla ettei tämä tutkimusongelma ratkea lainkaan käytettävissä olevilla resursseilla, jos harhan suuruudesta ja suunnasta ei ole mitään tietoa.

Hyvä uutinen yritykselle tässä kohtaa on, ettei yritykselle sen todellisen NPS-luvun arviointi ole kuitenkaan välttämättä oleellista. Kunhan kyselyprosessi pidetään vaan samanlaisena kuukaudesta toiseen, pysyy harhakin samanlaisena ja kysely antaa hyödyllistä tietoa omasta ajallisesta kehityksestä.

Perusjoukon koko

Se joukko, mistä aineisto kerätään ja mihin tutkimuksen tuloksia pyritään yleistämään on nimeltään perusjoukko. Yrityksellä se voisi olla koko asiakaskunta. Myös tämän joukon koko voi vaikuttaa järkevän otoskoon valintaa. 20 vastausta ei välttämättä anna vielä kovin kattavaa kuvaa asiakaskunnasta, mikäli iso yritys palvelee kuluttajia. Mutta mikäli se operoi B2B-markkinalla ja asiakasrekisteristä löytyy vain 30 asiakasyritystä, 20 onkin jo ihan kattava otos.

No tietääkö se tilastonikkari mitään?

Tässä tuli käytyä kolme päällimäistä asiaa, mitä tulee pohtia tutkimuksen kokoa suunnitellessa: tutkimusongelma, otantaharha ja persujoukon koko. Hyvä uutinen on se, että kun tietää mitä on tekemässä, vastaus saattaa löytyä hyvinkin helposti. Yksinkertaisiin tapauksiin netistä löytyy ilmaisia laskureita. Jos esim. halutaan suorittaa vaaligallupin tyyppinen tutkimus kannatusosuudesta ja tiedetään että pystytään keräämään harhaton satunnaisotos, riittävän otoskoon voi laskea vaikka täällä. Hankalampienkin tutkimusasetelmien otoskoko-ongelmia on mahdollista ratkaista simulointikokeilla, niin kun olen tässä kirjoituksessa tehnyt.

Näiden pohdiskelujen jälkeen ei varmaankaan enää ole yllätys, jos soittaa tilastonikkarille tyyliin: ”Teen asiakaskyselyn. Kerropas riittävä otoskoko, aikaa 30 sekuntia”, rehellinen vastaus kuuluu ”En tiedä”. Mutta kun rauhassa istuu alas yhdessä pohtimaan asiaa ja maksaa asiankuuluvan korvauksen ajasta, vastaus kyllä löytyy. Joskus se voi tosin vaatia hieman iterointia. Itse tein tilastotieteen graduni ohjelmiston/verkkosivun käytettävyystestissä käytettävien testaajien optimaalisesta lukumäärästä. Johtopäätös oli, että kannattaa aloittaa alkuun pienellä joukolla, ”kartoitustestillä”, ja siitä kerätyn datan pohjalta vasta optimoida lopullinen testauksen laajuus.

Kysymyksen vaikeudesta huolimatta, suosittelen ehdottomasti kysymään sen ammattilaiselta mahdollisimman aikaisin. Harmittavimpia tapauksia ovat ne tapaukset, joissa minuun on otettu yhteyttä aineiston keräämisen jälkeen analyysiavun merkeissä. Siinä vaiheessa tekee pahaa kertoa, että mikäli oikeasti haluttaisiin kyseiseen tutkimusongelmaan vastata, aineiston kokoon saisi laittaa nyt ainakin nollan perään.