{"id":1238,"date":"2020-07-31T11:41:54","date_gmt":"2020-07-31T08:41:54","guid":{"rendered":"http:\/\/statistition.com\/?p=1238"},"modified":"2020-07-31T11:41:54","modified_gmt":"2020-07-31T08:41:54","slug":"kuinkas-paljon-aineistoa-saisi-olla","status":"publish","type":"post","link":"https:\/\/statistition.com\/?p=1238","title":{"rendered":"Kuinkas paljon aineistoa saisi olla?"},"content":{"rendered":"\n

Kun opiskelin tilastotiedett\u00e4, luennolla professori kerran antoi ev\u00e4it\u00e4 tulevaan ty\u00f6el\u00e4m\u00e4\u00e4n kutakuinkin seuraavasti: ”Yleisin kysymys, mit\u00e4 teilt\u00e4 kysyt\u00e4\u00e4n ty\u00f6el\u00e4m\u00e4ss\u00e4 kuuluu ’Mik\u00e4 on tutkimuksessani sopiva otoskoko?’ N\u00e4ihin kysymyksiin te sitten vastaatte: ’En tied\u00e4’ ”<\/em><\/p>\n\n\n\n

Proffan profetia kuulosti alkuun h\u00e4mment\u00e4v\u00e4lt\u00e4, koska oltiinhan me opiskeltu voimakkuuslaskelmien tekoa sopivan otoskoon m\u00e4\u00e4rittelemiseksi tutkimukseen. Taustalla lienee sek\u00e4 kokeneelle tilastotieteilij\u00e4lle asian kuuluvaa n\u00f6yryytt\u00e4 ep\u00e4varmuuden edess\u00e4, mutta my\u00f6s skeptisyytt\u00e4 vastaamiseen tarvittavien tietojen saatavuudesta. Ilmeisesti h\u00e4nelle t\u00e4m\u00e4n kysymyksen esitt\u00e4neill\u00e4 henkil\u00f6ill\u00e4 on ollut harvoin tarpeeksi lis\u00e4tietoja kysymykseen vastaamiseksi tai h\u00e4n odottaa asian ratkeavan yhdell\u00e4 pikaisella puhelinsoitolla, vaikkei tilastotieteilij\u00e4paralla ole siin\u00e4 tilanteessa tarvittavia ty\u00f6kaluja k\u00e4sill\u00e4.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Viime vuosina en ole juurikaan ty\u00f6skennellyt kyselyjen tai koesuunnitelmien kanssa vaan pohtinut enemm\u00e4nkin p\u00e4\u00e4t\u00f6ksenteko-ongelmia tilanteissa, joissa dataa on mit\u00e4 on eik\u00e4 tule lis\u00e4\u00e4. Viime kev\u00e4\u00e4n\u00e4 p\u00e4\u00e4tin kuitenkin kohdata t\u00e4m\u00e4n kysymyksen pitk\u00e4st\u00e4 aikaa silm\u00e4st\u00e4 silm\u00e4\u00e4n kun Surveypalilta kutsuttiin keskustelemaan aiheesta heid\u00e4n webinaarissaan. K\u00e4yn seuraavassa tiivisti pohdintojen ydinkohdat esimerkin avulla l\u00e4pi.<\/p>\n\n\n

Iso yritys, jolla on kymmeni\u00e4 tuhansia asiakkaita j\u00e4rjest\u00e4\u00e4
asiakaskyselyn, jossa se kysyy<\/p>\n

    \n
  1. \n

    Perinteisen NPS – kysymyksen: Asteikolla 0-10, kuinka todenn\u00e4k\u00f6isesti
    suosittelisit yrityst\u00e4mme yst\u00e4villesi?<\/p>\n<\/li>\n

  2. \n

    Mik\u00e4 seuraavista nelj\u00e4st\u00e4 osa-alueesta kaipaa eniten
    yrityksess\u00e4mme kehitt\u00e4mist\u00e4?<\/p>\n<\/li>\n<\/ol>\n

    <\/p>\n

    Tutkimusongelmat<\/h2>\n

    <\/p>\n

    <\/p>\n

    Tutkimusongelma 1<\/strong>: Mink\u00e4 ongelman korjaamiseen pit\u00e4isi ensisijaisesti
    laittaa resurssit?<\/p>\n

    <\/p>\n

    Seuraavassa on simuloitu kyselytutkimuksen tuloksia tilanteessa, jossa ongelma A koskee 10% asiakkaista, ongelma B 20% asiakkaista, ongelma C 30% asiakkaista ja ongelma D 40% asiakkaista. Kuvaajassa ongelmaa on v\u00e4ritetty sit\u00e4 punaisemmaksi, mit\u00e4 vakavampi se on. Tavoitteena olisi siis l\u00f6yt\u00e4\u00e4 kyselyn avulla tulipunainen ongelma D.<\/p>\n

    Kuvaajassa on todenn\u00e4k\u00f6isyys kullekin ongelmalle p\u00e4\u00e4ty\u00e4 kyselyn vastauksissa eniten kannatusta saaneeksi ongelmaksi erilaisilla kyselyn otoskoilla.<\/p>\n

    <\/p>\n

    \"\"Ongelmien todenn\u00e4k\u00f6isyydet p\u00e4\u00e4ty\u00e4 eniten raportoiduksi erilaisilla palautteiden m\u00e4\u00e4rill\u00e4.\u00a0<\/span>\n
    Ongelma A = vihre\u00e4
    Ongelma B = keltainen
    Ongelma C = pinkki
    Ongelma D = punainen<\/figcaption>\n<\/figure>\n

    <\/p>\n

    <\/p>\n

    Kuvaajasta n\u00e4hd\u00e4\u00e4n mm. ett\u00e4 jo 50 otoskoolla ongelma D spotataan yleisimp\u00e4n\u00e4 vastauksena noin 80% todenn\u00e4k\u00f6isyydell\u00e4 ja l\u00e4hes aina kun menn\u00e4\u00e4n pieleen p\u00e4\u00e4dyt\u00e4\u00e4n toiseksi vakavampaan ongelmaan C. N\u00e4emme my\u00f6s ett\u00e4 otoskoosta 100 tarkkuus kasvaa vain marginaalisesti otoskoon tuplaamisella 200:aan. T\u00e4m\u00e4 havainnollistaa nyrkkis\u00e4\u00e4nt\u00f6\u00e4, ett\u00e4 datan m\u00e4\u00e4r\u00e4n kasvaessa informaatio ei kasva lineaarisesti vaan hidastuvasti: mit\u00e4 enemm\u00e4n dataa jo on, sit\u00e4 v\u00e4hemm\u00e4n uusi data hy\u00f6dytt\u00e4\u00e4.<\/p>\n

    <\/p>\n

    <\/p>\n

    Tutkimusongelma 2<\/strong>: Mik\u00e4 on koko asiakaskunnan todellinen NPS-luku 5 yksik\u00f6n virhemarginaalin tarkkuudella?<\/p>\n

    <\/p>\n

    <\/p>\n

    Seuraavassa on simuloitu kyselytutkimuksen tuloksia tilanteessa, jossa 40% koko asiakaskunnasta on suosittelijoita (arvosana 9-10) ja 20% arvostelijoita (arvosanat 0-6). Todellinen NPS-luku on 40 – 20 = 20. Kuvaajassa on esitetty eri otoskoilla kyselyn tuloksen mediaani yhten\u00e4isell\u00e4 mustalla viivalla ja 95% varmuuteen pohjautuva virhemarginaali mustalla katkoviivalla. Punaiset viivat kuvaavat toivottua virhemarginaalia 5.<\/p>\n

    <\/p>\n

    <\/p>\n

    \"\"\n
    Kyselyn lopputuloksen virhemarginaali eri otoskoilla katkoviivana ja toivottu virhemarginaali punaisena viivana.<\/figcaption>\n<\/figure>\n

    <\/p>\n

    <\/p>\n

    Toivottu virhemarginaali toteutuu vasta kun katkoviiva leikkaa punaisen viivan jossain 800 vastaajan otoskoon tienoilla. Kun ensimm\u00e4iseen tutkimusongelmaan saadaan vastaus riitt\u00e4v\u00e4ll\u00e4 varmuudella jo 50 palautteella, t\u00e4h\u00e4n toiseen vaaditaankin 16 kertainen m\u00e4\u00e4r\u00e4 vastauksia.<\/p>\n

    <\/p>\n

    <\/p>\n

    Otantaharha<\/h2>\n

    <\/p>\n

    Tutkimusongelman kaksi tutkiskelussa oletettiin, ett\u00e4 vastaukset muodostavat harhattoman satunnaisotoksen koko asiakaskunnasta. T\u00e4m\u00e4 voi olla joskus realismia tieteellisess\u00e4 kontrolloidussa ymp\u00e4rist\u00f6ss\u00e4, mutta harvemmin asiakaskyselyiss\u00e4. Muutetaanpa aiempaa simuloitua todellisuutta sen verran, ett\u00e4 kriittiset arvostelijat vastaavat kaksi kertaa todenn\u00e4k\u00f6isemmin kyselyyn kuin suosittelijat. Nyt 800 otoskoko mittaa riitt\u00e4v\u00e4ll\u00e4 tarkkuudella harhaista NPS-lukua 0 eik\u00e4 todellista lukua 20. Vastaus alkuper\u00e4iseen kysymykseen voikin olla ettei t\u00e4m\u00e4 tutkimusongelma ratkea lainkaan k\u00e4ytett\u00e4viss\u00e4 olevilla resursseilla, jos harhan suuruudesta ja suunnasta ei ole mit\u00e4\u00e4n tietoa.<\/p>\n

    <\/p>\n

    Hyv\u00e4 uutinen yritykselle t\u00e4ss\u00e4 kohtaa on, ettei yritykselle sen todellisen NPS-luvun arviointi ole kuitenkaan v\u00e4ltt\u00e4m\u00e4tt\u00e4 oleellista. Kunhan kyselyprosessi pidet\u00e4\u00e4n vaan samanlaisena kuukaudesta toiseen, pysyy harhakin samanlaisena ja kysely antaa hy\u00f6dyllist\u00e4 tietoa omasta ajallisesta kehityksest\u00e4.<\/p>\n

    <\/p>\n

    <\/p>\n

    Perusjoukon koko<\/h2>\n

    <\/p>\n

    <\/p>\n

    Se joukko, mist\u00e4 aineisto ker\u00e4t\u00e4\u00e4n ja mihin tutkimuksen tuloksia pyrit\u00e4\u00e4n yleist\u00e4m\u00e4\u00e4n on nimelt\u00e4\u00e4n perusjoukko. Yrityksell\u00e4 se voisi olla koko asiakaskunta. My\u00f6s t\u00e4m\u00e4n joukon koko voi vaikuttaa j\u00e4rkev\u00e4n otoskoon valintaa. 20 vastausta ei v\u00e4ltt\u00e4m\u00e4tt\u00e4 anna viel\u00e4 kovin kattavaa kuvaa asiakaskunnasta, mik\u00e4li iso yritys palvelee kuluttajia. Mutta mik\u00e4li se operoi B2B-markkinalla ja asiakasrekisterist\u00e4 l\u00f6ytyy vain 30 asiakasyrityst\u00e4, 20 onkin jo ihan kattava otos.<\/p>\n

    <\/p>\n

    <\/p>\n

    No tiet\u00e4\u00e4k\u00f6 se tilastonikkari mit\u00e4\u00e4n?<\/h2>\n

    <\/p>\n

    <\/p>\n

    T\u00e4ss\u00e4 tuli k\u00e4yty\u00e4 kolme p\u00e4\u00e4llim\u00e4ist\u00e4 asiaa, mit\u00e4 tulee pohtia tutkimuksen kokoa suunnitellessa: tutkimusongelma<\/strong>, otantaharha<\/strong> ja persujoukon koko<\/strong>. Hyv\u00e4 uutinen on se, ett\u00e4 kun tiet\u00e4\u00e4 mit\u00e4 on tekem\u00e4ss\u00e4, vastaus saattaa l\u00f6yty\u00e4 hyvinkin helposti. Yksinkertaisiin tapauksiin netist\u00e4 l\u00f6ytyy ilmaisia laskureita. Jos esim. halutaan suorittaa vaaligallupin tyyppinen tutkimus kannatusosuudesta ja tiedet\u00e4\u00e4n ett\u00e4 pystyt\u00e4\u00e4n ker\u00e4\u00e4m\u00e4\u00e4n harhaton satunnaisotos, riitt\u00e4v\u00e4n otoskoon voi laskea vaikka t\u00e4\u00e4ll\u00e4.<\/a>\u00a0Hankalampienkin tutkimusasetelmien otoskoko-ongelmia on mahdollista ratkaista simulointikokeilla, niin kun olen t\u00e4ss\u00e4 kirjoituksessa tehnyt.<\/p>\n

    <\/p>\n

    <\/p>\n

    N\u00e4iden pohdiskelujen j\u00e4lkeen ei varmaankaan en\u00e4\u00e4 ole yll\u00e4tys, jos soittaa tilastonikkarille tyyliin: ”Teen asiakaskyselyn. Kerropas riitt\u00e4v\u00e4 otoskoko, aikaa 30 sekuntia”<\/em>, rehellinen vastaus kuuluu ”En tied\u00e4”<\/em>. Mutta kun rauhassa istuu alas yhdess\u00e4 pohtimaan asiaa ja maksaa asiankuuluvan korvauksen ajasta, vastaus kyll\u00e4 l\u00f6ytyy. Joskus se voi tosin vaatia hieman iterointia. Itse tein tilastotieteen graduni ohjelmiston\/verkkosivun k\u00e4ytett\u00e4vyystestiss\u00e4 k\u00e4ytett\u00e4vien testaajien optimaalisesta lukum\u00e4\u00e4r\u00e4st\u00e4. Johtop\u00e4\u00e4t\u00f6s oli, ett\u00e4 kannattaa aloittaa alkuun pienell\u00e4 joukolla, ”kartoitustestill\u00e4”, ja siit\u00e4 ker\u00e4tyn datan pohjalta vasta optimoida lopullinen testauksen laajuus.<\/p>\n

    <\/p>\n

    <\/p>\n

    Kysymyksen vaikeudesta huolimatta, suosittelen ehdottomasti kysym\u00e4\u00e4n sen ammattilaiselta mahdollisimman aikaisin. Harmittavimpia tapauksia ovat ne tapaukset, joissa minuun on otettu yhteytt\u00e4 aineiston ker\u00e4\u00e4misen j\u00e4lkeen analyysiavun merkeiss\u00e4. Siin\u00e4 vaiheessa tekee pahaa kertoa, ett\u00e4 mik\u00e4li oikeasti haluttaisiin kyseiseen tutkimusongelmaan vastata, aineiston kokoon saisi laittaa nyt ainakin nollan per\u00e4\u00e4n.<\/p>\n

    <\/p>\"Facebook\"<\/a>\"twitter\"<\/a>\"reddit\"<\/a>\"pinterest\"<\/a>\"linkedin\"<\/a>\"mail\"<\/a>","protected":false},"excerpt":{"rendered":"

    Kun opiskelin tilastotiedett\u00e4, luennolla professori kerran antoi ev\u00e4it\u00e4 tulevaan ty\u00f6el\u00e4m\u00e4\u00e4n kutakuinkin seuraavasti: ”Yleisin kysymys, mit\u00e4 teilt\u00e4 kysyt\u00e4\u00e4n ty\u00f6el\u00e4m\u00e4ss\u00e4 kuuluu ’Mik\u00e4 on tutkimuksessani sopiva otoskoko?’ N\u00e4ihin kysymyksiin te sitten vastaatte: ’En tied\u00e4’ ” Proffan profetia kuulosti alkuun h\u00e4mment\u00e4v\u00e4lt\u00e4, koska oltiinhan me opiskeltu voimakkuuslaskelmien tekoa sopivan otoskoon m\u00e4\u00e4rittelemiseksi tutkimukseen. Taustalla lienee sek\u00e4 kokeneelle tilastotieteilij\u00e4lle asian kuuluvaa n\u00f6yryytt\u00e4 […]<\/p>\n","protected":false},"author":1,"featured_media":1227,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[90,24],"tags":[264,263,259,262,260],"class_list":["post-1238","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-paatoksenteko","category-tutkimukset","tag-asiakaskyselyt","tag-otantaharha","tag-otoskoko","tag-perusjoukko","tag-tutkimusongelma"],"_links":{"self":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1238"}],"collection":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1238"}],"version-history":[{"count":15,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1238\/revisions"}],"predecessor-version":[{"id":1253,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1238\/revisions\/1253"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/media\/1227"}],"wp:attachment":[{"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1238"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1238"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1238"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}