![\"\"](\"https:\/\/statistition.com\/wp-content\/uploads\/2018\/02\/vinyl_apartment.jpg\")
<\/a>\u201dViikon suositukset\u201d -listaa tulee kuunneltua usein taustamusiikkina ilman, ett\u00e4 skippailisin yli biisej\u00e4, vaikka ne eiv\u00e4t maistu eli ovat ns. vikasuosituksia. En tied\u00e4, k\u00e4sitteleek\u00f6 Spotifyn algoritmi loppuunkuunneltuja biisej\u00e4 todellisina musiikkimakuani kuvaavana havaintona, vaikka ne tulisi soittoon sen oman suosituksen kautta. T\u00e4m\u00e4n takia olen hieman vainoharhaisesti pit\u00e4nyt taukoja huonosti osuneiden viikkojen j\u00e4lkeen ja kuunnellut vain itse valitsemaa musiikkia, ettei algoritmi vaan alkaisi opettaman itse\u00e4\u00e4n omilla virheill\u00e4\u00e4n.<\/p>\nMit\u00e4 haittaa siit\u00e4 sitten oikeasti olisi, mik\u00e4li joku algoritmi ei tunnista itsens\u00e4 sy\u00f6tt\u00e4mi\u00e4 havaintoja? T\u00e4t\u00e4 l\u00e4hdet\u00e4\u00e4n nyt selvitt\u00e4m\u00e4\u00e4n asuntohinta-aineiston avulla.<\/p>\n
Hinta-arviot algoritmilla<\/h2>\n
Siin\u00e4 ei varmaan ole mit\u00e4\u00e4n yll\u00e4tt\u00e4v\u00e4\u00e4 ett\u00e4 iso osa p\u00f6rssiss\u00e4 teht\u00e4v\u00e4st\u00e4 kaupank\u00e4ynnist\u00e4 tulee automaattisesti hinnoittelua suorittavien algoritmien toimesta. Sama ajatus asuntokaupassa tuntuu hieman et\u00e4isemm\u00e4lt\u00e4, mutta leikitell\u00e4\u00e4n v\u00e4h\u00e4n ajatuksella.<\/p>\n
Olen ollut kehitt\u00e4m\u00e4ss\u00e4 muutama vuosi sitten ASLA -asuntolaskuria<\/a>, joka pyrkii antamaan kerrostaloasunnoille markkinahinta-arvioita julkisen datan perusteella. Asuntojen hinnat m\u00e4\u00e4r\u00e4ytyv\u00e4t lukuisten ihmisten mieltymysten ja preferenssien perusteella. ASLAn taustalla oleva algoritmi pyrkii k\u00e4ytett\u00e4viss\u00e4 olevan datan avulla muuttamaan kaupank\u00e4vij\u00f6iden keskim\u00e4\u00e4r\u00e4isi\u00e4 mieltymyksi\u00e4 matemaattisiksi kaavoiksi. Mit\u00e4 tapahtuisi, jos osassa kaupoista normaali tinkimisprosessi j\u00e4isi pois ja sek\u00e4 myyj\u00e4 ett\u00e4 ostaja luottavat ASLAn arvioon tehden kauppansa mukisematta kyseisill\u00e4 arvioilla?<\/p>\n Seuraavassa olen simuloinut t\u00e4llaista prosessia niin ett\u00e4 vuodesta 2014 alkaen osassa todellisista asuntokaupoista hinta korvataankin ASLAn k\u00e4ytt\u00e4m\u00e4n algoritmin arviolla (korvattavat valitaan satunnaisesti) ja joka vuoden p\u00e4\u00e4tteeksi algoritmi kouluttaa itse\u00e4\u00e4n lis\u00e4\u00e4 uudella kertyneell\u00e4 datalla. Aineistona k\u00e4ytet\u00e4\u00e4n Helsingin yksi\u00f6it\u00e4 ja otoskoko-ongelmien v\u00e4ltt\u00e4miseksi mukana on vain kymmenen kaupank\u00e4yntim\u00e4\u00e4r\u00e4lt\u00e4\u00e4n suosituinta postinumeroaluetta.<\/p>\n Ensimm\u00e4isess\u00e4 kuvaajassa (ylh\u00e4\u00e4ll\u00e4) kukaan kaupank\u00e4vij\u00e4 ei k\u00e4yt\u00e4 ASLAa vaan kaikki myyntihinnat ovat aitoja ihmisten preferensseihin perustuvia hintoja. Sek\u00e4 ennalta arvioidut ett\u00e4 todellisuudessa kohdatut virheprosentit py\u00f6riv\u00e4t l\u00e4hell\u00e4 toisiaan 8% – 9% v\u00e4limaastossa.<\/p>\n Kun asuntoja hinnoitellaan suoraan algoritmin perusteella, alkaa algoritmin satunnaiset virheet toistumaan ja erityisesti se ei osaa sopeutua ajan tuomiin muutoksiin. Esimerkiksi algoritmi ei ymm\u00e4rr\u00e4, ett\u00e4 asuntojen hintoihin kohdistuu laskupainetta, mik\u00e4li korot tai kiinteist\u00f6verot nousevat \u00e4killisesti. Nyt jos n\u00e4it\u00e4 muutoksia ei korjata aidolla uudella datalla, algoritmi alkaa irtaantumaan todellisista ihmisten preferensseist\u00e4.<\/p>\n ASLAa ei ole miss\u00e4\u00e4n nimess\u00e4 tarkoitettu automaattiseksi hinnoittelijaksi korvaamaan t\u00e4ysin kiinteist\u00f6v\u00e4litt\u00e4ji\u00e4 vaan kauppaa k\u00e4yv\u00e4n ihmis-olion apuv\u00e4lineeksi. Se antaa tukea erityisesti kokemattomalle kaupank\u00e4vij\u00e4lle uudella paikkakunnalla, mutta j\u00e4tt\u00e4\u00e4 huomioimatta monia t\u00e4rkeit\u00e4 asioita, kuten tehdyt taloyhti\u00f6remontit ja tonttien omistusoikeudet. Algoritmi tehostaa ja tarkentaa ihmisen ty\u00f6t\u00e4 tiivist\u00e4m\u00e4ll\u00e4 kaiken datassa olevan tiedon sekunnissa ilman ett\u00e4 tarvitsee manuaalisesti (silmin selaimella tai Exceli\u00e4 y\u00f6t\u00e4 my\u00f6den hakkaamalla) yritt\u00e4\u00e4 datasta ottaa tolkkua. Ihminen voi k\u00e4ytt\u00e4\u00e4 omat resurssinsa siihen, mit\u00e4 kone ei osaa eli t\u00e4ss\u00e4 tapauksessa esimerkiksi arvioida tulevia remontteja ja havainnoida esteettisi\u00e4 kokemuksia paikan p\u00e4\u00e4ll\u00e4.<\/p>\n Palaten alkuper\u00e4iseen pohdintaan algoritmien omien havaintojen k\u00e4ytt\u00e4misess\u00e4 sen opettamisessa, meill\u00e4 on k\u00e4dess\u00e4 ongelma. Kuten asuntohintojen tapauksessa huomattiin, sit\u00e4 mukaa kun itse luotua dataa kertyy lis\u00e4\u00e4, algoritmin \u201ditseluottamus\u201d kasvaa samalla kun todellinen performanssi heikkenee.<\/p>\n Spotifyn algoritmin on mahdollista (ja omasta vainoharhaisuudesta huolimatta n\u00e4in mahdollisesti tekeekin) keh\u00e4p\u00e4\u00e4telm\u00e4t v\u00e4ltt\u00e4\u00e4, koska jossain heid\u00e4n tietokannassaan luulisi olevan tieto, valitsiko k\u00e4ytt\u00e4j\u00e4 jonkin kappaleen soimaan omatoimisesti vai tuliko se suosituksen kautta automaattisesti. J\u00e4lkimm\u00e4iset tulee putsata pois datasta, jolla algoritmia jatkokoulutetaan. Asuntohinta-esimerkki on kinkkisempi, koska emme tied\u00e4, onko joku tietty kaupank\u00e4vij\u00e4 k\u00e4ytt\u00e4nyt algoritmia vai ei.<\/p>\n Mit\u00e4 tulee ASLAn<\/a> tulevaisuuteen, her\u00e4\u00e4 kysymys: \u201dKannattaako laskurin n\u00e4kyvyytt\u00e4 yritt\u00e4\u00e4 lis\u00e4t\u00e4, jos riskin\u00e4 on, ett\u00e4 siit\u00e4 tulee sit\u00e4 ep\u00e4tarkempi, mit\u00e4 useampi sit\u00e4 k\u00e4ytt\u00e4\u00e4?\u201d Kaupallinen k\u00e4ytt\u00f6kin on kielletty taustalla k\u00e4ytett\u00e4v\u00e4n datan<\/a> k\u00e4ytt\u00f6ehtojen takia.<\/p>\n Statistickon steesit:<\/strong><\/p>\n Ik\u00e4\u00e4ntymisen my\u00f6t\u00e4 olen tullut koko ajan laiskemmaksi etsim\u00e4ll\u00e4 etsim\u00e4\u00e4n uusia b\u00e4ndej\u00e4 kuuneltavaksi. Er\u00e4s syy, miksi tykk\u00e4\u00e4n Spotifyn musiikkipalvelusta on heid\u00e4n \u201dViikon suositukset\u201d listansa.\u00a0 T\u00e4lle listalle valikoituu biisej\u00e4, joista saattaisin heid\u00e4n algoritmiensa mukaan tyk\u00e4t\u00e4 viime aikojen musiikinkuuntelun perusteella. T\u00e4m\u00e4 on eritt\u00e4in k\u00e4tev\u00e4 tapa l\u00f6yt\u00e4\u00e4 uusia itselleen iskevi\u00e4 b\u00e4ndej\u00e4. T\u00e4ll\u00e4kin hetkell\u00e4 luukutan lupaavan kuuloista metalliorkesteria \u201dFight the […]<\/p>\n","protected":false},"author":1,"featured_media":1033,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[205,30],"tags":[222,223,225,226,224],"class_list":["post-1031","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-algoritmit","category-asuntokaupat","tag-algoritmit","tag-asuntojen-hinnat","tag-ennustevirhe","tag-kehapaatelma","tag-musiikkisuositukset"],"_links":{"self":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1031"}],"collection":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1031"}],"version-history":[{"count":16,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1031\/revisions"}],"predecessor-version":[{"id":1051,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/posts\/1031\/revisions\/1051"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=\/wp\/v2\/media\/1033"}],"wp:attachment":[{"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1031"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1031"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statistition.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1031"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}<\/a>Kuvaajassa olevat viivat kuvaavat kolmea eri virheprosenttia vuosina 2014-2017:<\/p>\n\n
<\/a>Seuraavissa kuvissa aina tietyn vuoden vuoden oikeita kauppahintoja korvataan ASLAn ennusteilla. Ensin satunnaisesti 25%, sitten puolet, sitten 75% ja viimeisess\u00e4 kuvaajassa kaikki. Huomataan ett\u00e4 ajan kuluessa algoritmin itsevarmuus kasvaa, eli punainen ristiinvalidointiin perustuvat virhearvioennusteet pienenev\u00e4t. Mutta todellinen kyky arvioida ihmisten preferenssej\u00e4 kuitenkin laskee, koska vihre\u00e4 k\u00e4yr\u00e4 kasvaa kohti suurempia lukemia. Efekti on sit\u00e4 selvempi, mit\u00e4 isompi osuus kauppahinnoista tulee algoritmin perusteella. \u00c4\u00e4ritapauksessa oikealla, miss\u00e4 kaikki kauppahinnat tulevat suoraan algoritmista, havaitut ennustevirheet ovat nollassa (sininen k\u00e4yr\u00e4), mutta kyky arvioida ihmisten preferenssej\u00e4 (vihre\u00e4 k\u00e4yr\u00e4) on aivan jotain muuta.<\/p>\nOmat ennusteet eiv\u00e4t ole aitoja havaintoja<\/h2>\n
Itse luotujen havaintojen siivoaminen<\/h2>\n
\n
<\/a><\/a><\/a><\/a><\/a><\/a>","protected":false},"excerpt":{"rendered":"