{"id":810,"date":"2016-10-31T22:50:14","date_gmt":"2016-10-31T20:50:14","guid":{"rendered":"http:\/\/statistition.com\/?p=810"},"modified":"2016-10-31T22:50:14","modified_gmt":"2016-10-31T20:50:14","slug":"ylisovittaminen-case-jalkapallojoukkueiden-budjetit","status":"publish","type":"post","link":"https:\/\/statistition.com\/?p=810","title":{"rendered":"Ylisovittaminen, case jalkapallojoukkueiden budjetit"},"content":{"rendered":"

\"football_stadium\"<\/a>Kun numeroaineiston perusteella tehd\u00e4\u00e4n tutkimusta, helppo vaihe on oppia ymm\u00e4rt\u00e4m\u00e4\u00e4n, mink\u00e4lainen ilmi\u00f6 on ollut kyseisess\u00e4 aineistossa. Usein varsinainen mielenkiinnon kohde kuitenkin ymm\u00e4rt\u00e4\u00e4, mit\u00e4 voisi tapahtua samassa ilmi\u00f6ss\u00e4 aineiston ulkopuolella ja ehk\u00e4 jopa ennustaa tulevaisuutta. T\u00e4ss\u00e4 vaiheessa on helppo langeta syntiin nimelt\u00e4 \u201dylisovittaminen\u201d.<\/p>\n

Valioliigaseurojen pelaajabudjetit<\/h2>\n

Tutkitaan edellist\u00e4 Englannin Valioliigan jalkapallokautta 2015\/2016. Meit\u00e4 kiinnostaa, kuinka joukkueen pelaajabudjetti selitt\u00e4\u00e4 joukkueen saavuttamaa pistem\u00e4\u00e4r\u00e4\u00e4 sarjataulukossa. T\u00e4ss\u00e4 minitutkimuksessa olemme p\u00e4\u00e4tyneet tilanteeseen, jossa meill\u00e4 on k\u00e4ytett\u00e4viss\u00e4 budjettitiedot ja sarjapisteet vain kymmenelt\u00e4 satunnaiselta joukkueelta. Aineisto (l\u00e4hde<\/a>) n\u00e4ytt\u00e4\u00e4 seuraavalta:<\/p>\n

\"budjetit_otos_suora\"<\/a><\/p>\n

Vaikuttaisi, ett\u00e4 rahalla on odotettua vaikutusta, eli pisteet keskim\u00e4\u00e4rin kasvavat kun budjettikin kasvaa. Mutta mink\u00e4 muotoinen \u201dkasvuk\u00e4yr\u00e4\u201d on? Vaikka mahdollisesti muitakin hyvi\u00e4 malleja voisi l\u00f6yty\u00e4, pysyt\u00e4\u00e4n yksinkertaisuuden vuoksi polynomifunktioissa ja esitell\u00e4\u00e4n niist\u00e4 ensin kaksi tapausta.<\/p>\n

Ensimm\u00e4inen ajatus voisi olla kokeilla ensimm\u00e4isen asteen funktiota, mik\u00e4 on tilastotieteen \/ ekonometrian peruskurssilta tuttu lineaarinen regressiomalli: \" Points = a + b \cdot Salary \" .<\/p>\n

Ajatuksena, on ett\u00e4 pistem\u00e4\u00e4r\u00e4 kasvaa keskim\u00e4\u00e4rin tasaisesti sit\u00e4 mukaa kun budjettikin kasvaa. Kuvaan olikin jo piirretty sellainen regressiosuora.<\/p>\n

Huomattavaa on, ett\u00e4 jotkut pisteet j\u00e4\u00e4v\u00e4t hyvinkin kauaksi suorasta. Me kuitenkin tiedet\u00e4\u00e4n, ett\u00e4 osumatarkkuutta voidaan kasvattaa kun lis\u00e4t\u00e4\u00e4n selitt\u00e4ji\u00e4, t\u00e4ss\u00e4 tapauksessa budjetin korkeampia potensseja, malliin. Mik\u00e4li ty\u00f6vuorossa sattuu olemaan t\u00e4ydellisyyteen pyrkiv\u00e4 insin\u00f6\u00f6ri, h\u00e4n saattaisi innostua k\u00e4ytt\u00e4m\u00e4\u00e4n hyvinkin korkean asteen, sanotaan vaikka viidennen asteen, polynomia, \" Points = a + b_1 \cdot Salary + b_2 \cdot Salary ^2 + b_3 \cdot Salary ^3 + b_4\cdot Salary ^4 + b_5 \cdot Salary ^5 \".<\/p>\n

T\u00e4llaisen mallin k\u00e4yr\u00e4 kulkee paljon paremmin eri havaintopisteiden kautta, mink\u00e4 voi havaita alla olevasta kuvaajasta.<\/p>\n

\"budjet_otos_kayra\"<\/a><\/p>\n

Selitysasteet<\/h2>\n

Tilastollisen mallin osumatarkkuutta kyseisess\u00e4 aineistossa mittaa ns. selitysaste ja alla olevassa taulukossa on ratkaistu mallit 1-5 asteisille polynomifunktioille ja laskettu niiden selitysasteet.<\/p>\n\n\n\n\n\n\n\n\n
Polynomifunktion aste<\/th>\nMallin selitysaste (isompi parempi, max 100%)<\/th>\n<\/tr>\n
1. aste (lineaarinen)<\/td>\n20%<\/td>\n<\/tr>\n
2. aste (paraabeli)<\/td>\n22%<\/td>\n<\/tr>\n
3. aste<\/td>\n25%<\/td>\n<\/tr>\n
4. aste<\/td>\n59%<\/td>\n<\/tr>\n
5. aste<\/td>\n59%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Selitysasteen perusteella paras (suurin arvo) malli olisi 5. asteen malli ja se viel\u00e4 paranisi, mik\u00e4li kuudes tai seitsem\u00e4s termi lis\u00e4tt\u00e4isiin. Maalaisj\u00e4rkikin kuitenkin alkaa jo kolkutella, ett\u00e4 n\u00e4ink\u00f6h\u00e4n kyseinen poukkoilevasti kiemurteleva k\u00e4yr\u00e4 kuvaisi ilmi\u00f6t\u00e4 oikeasti. Ensimm\u00e4inen korkea nyppyl\u00e4 n. 50 miljoonan punnan kohdalla selittyy varmaankin vain sill\u00e4, ett\u00e4 kyseisell\u00e4 kaudella poikkeuksellisen hyvin pienell\u00e4 budjetilla menestynyt Leicester sattui omaaman sen suuruusluokan budjetin. Tuskin on mit\u00e4\u00e4n syyt\u00e4, miksi jatkossa havainnot noudattelisivat juuri tuolla tavalla poukkoilevaa k\u00e4yr\u00e4\u00e4.<\/p>\n

Havaitun aineiston ulkopuolelle<\/h3>\n

Kun halutaan tiet\u00e4\u00e4, kuinka hyvin joku tilastollinen malli toimisi aineiston ulkopuolella, niin selitysasteen sijaan mittarina pit\u00e4\u00e4 k\u00e4ytt\u00e4\u00e4 informaatiokriteerej\u00e4. Tunnetun t\u00e4llainen on Akaiken informaatiokriteeri, AIC. AIC pyrkii arvioimaan sit\u00e4, kuinka hyvin mallimme toimii aineiston ulkopuolella. Se palkitsee kyll\u00e4 hyv\u00e4st\u00e4 selitysasteesta, mutta rankaisee mallissa k\u00e4ytett\u00e4vien tuntemattomien tekij\u00f6iden (t\u00e4ss\u00e4 tapauksessa b-kertoimet) lukum\u00e4\u00e4r\u00e4st\u00e4 ajatuksella \u201dYksinkertaisella mallilla on pienempi riski ylisovittamiselle\u201d. Ylisovittamisella tarkoitetaan, sit\u00e4 ett\u00e4 yritet\u00e4\u00e4n l\u00f6yt\u00e4\u00e4 matemaattinen selitys havaintoaineiston satunnaisvaihtelulle, mik\u00e4 ei toistu samalla logiikalla aineiston ulkopuolella. Viidennen asteen polynomifunktion on malliesimerkki ylisovittamisesta. Seuraavassa taulukossa on laskettu kaikille viidelle mallillemme AIC:<\/p>\n\n\n\n\n\n\n\n\n
Polynomifunktion aste<\/th>\nAIC (pienempi parempi)<\/th>\n<\/tr>\n
1. aste (lineaarinen)<\/td>\n82.6<\/td>\n<\/tr>\n
2. aste (paraabeli)<\/td>\n84.4<\/td>\n<\/tr>\n
3. aste<\/td>\n86.0<\/td>\n<\/tr>\n
4. aste<\/td>\n82.0<\/td>\n<\/tr>\n
5. aste<\/td>\n84.0<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Koska AIC:ss\u00e4 pyrit\u00e4\u00e4n mahdollisimman pieneen lukuun, suositeltu malli on 4. asteen funktio ja heti alkuun kokeiltu lineaarinen 1. asteen funktio j\u00e4\u00e4 niukasti hopealle.<\/p>\n

(Sivuhuomautuksena kerrottakoon, ett\u00e4 AIC :n k\u00e4ytt\u00f6\u00f6n liittyy tiettyj\u00e4 oletuksia ja sen toiminta on ep\u00e4varmaa silloin kuin oletukset eiv\u00e4t ole voimassa. Mik\u00e4li k\u00e4ytt\u00e4isimme Bayesl\u00e4isi\u00e4 analyysimenetelmi\u00e4, ty\u00f6kalupakista l\u00f6ytyisi esim. WAIC (widely applicaple information criterion), joka toimii yleisemmin.<\/em>)<\/p>\n

Havaittu ennustustarkkuus<\/h2>\n

Katsotaan viel\u00e4 lopuksi kuinka sitten ennustamisessa k\u00e4vik\u00e4\u00e4n. Alla olevassa kuvaajassa on alkuper\u00e4isten havaintojen p\u00e4\u00e4lle sovitettu AIC :n suosittelemat 4. asteen k\u00e4yr\u00e4 sek\u00e4 lineaarinen suora ja lis\u00e4ksi punaisella v\u00e4rill\u00e4 loput kymmenen joukkuetta viime kaudelta, mitk\u00e4 eiv\u00e4t viel\u00e4 olleet mukana tilastollisessa mallinnuksessa.<\/p>\n

<\/a><\/p>\n

Lasketaan, mik\u00e4 polynomifunktioistamme olisi parhaiten ennustanut n\u00e4it\u00e4 punaisia uusia havaintoja. Mittarina k\u00e4ytet\u00e4\u00e4n keskineli\u00f6virhemittaria, RMSE, mik\u00e4 on sit\u00e4 parempi, mit\u00e4 pienempi.<\/p>\n\n\n\n\n\n\n\n\n
Polynomifunktion aste<\/th>\nRMSE (pienempi parempi)<\/th>\n<\/tr>\n
1. aste (lineaarinen)<\/td>\n66.7<\/td>\n<\/tr>\n
2. aste (paraabeli)<\/td>\n65.8<\/td>\n<\/tr>\n
3. aste<\/td>\n62.2<\/td>\n<\/tr>\n
4. aste<\/td>\n98.2<\/td>\n<\/tr>\n
5. aste<\/td>\n79.1<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Huomaamme, ett\u00e4 yksinkertaiset 1.-3. asteen funktiot ennustivat paremmin kuin monimutkaiset 4.-5. asteen funktiot, koska niill\u00e4 on selv\u00e4sti pienemm\u00e4t RMSE-luvut. Ennustuskisan voiton vie lopulta kolmannen asteen funktio.<\/p>\n

Ilmi\u00f6n kuvaaminen<\/h2>\n

Ne ketk\u00e4 ovat selvinneet t\u00e4nne asti, saattavat olla kiinnostuneita siit\u00e4, mik\u00e4 pelaajabudjetin vaikutus nyt olikaan menestykseen. T\u00e4ss\u00e4 kirjoituksessa p\u00e4\u00e4huomio on uusien havaintojen ennustamisessa, jolloin ilmi\u00f6n j\u00e4rjellinen selitt\u00e4minen ei ole v\u00e4ltt\u00e4m\u00e4tt\u00e4 edes mielenkiintoista. Nyt kun tuli kuitenkin aloitettua, niin\u2026<\/p>\n

Edell\u00e4 esiteltyjen tunnuslukujen perusteella ei ole t\u00e4ll\u00e4 pienell\u00e4 aineistolla selv\u00e4\u00e4, mit\u00e4 mallia kannattaisi k\u00e4ytt\u00e4\u00e4 ilmi\u00f6n selitt\u00e4miseen. \u201dKeep it simple, stupid\u201d -periaatteella vaaka kuitenkin kallistuu tasaisessa tilanteessa yksinkertaisempaan suuntaan. Niinp\u00e4 sovitetaan lineaarinen regressiomalli nyt koko aineistolle ja se sanoo, ett\u00e4 25 miljoonan punnan budjetin j\u00e4lkeen yhden miljoonan kasvatus pelaajabudjetissa lis\u00e4si keskim\u00e4rin 0.11 pistett\u00e4 sarjan aikana. Toisin sanoen yksi lis\u00e4sarjapiste maksoi n. 9 miljoonaa puntaa.<\/p>\n

Kuten nyt kaikki tied\u00e4mme, esim. Leicester ei paljoa lineaarista mallia kunnioittanut vaan paineli mestaruuteen h\u00e4nt\u00e4p\u00e4\u00e4n budjetilla. Ei l\u00e4hdet\u00e4 kuitenkaan ylisovittamaan mit\u00e4\u00e4n maagista 48 miljoonan euron optimibudjettia, vaikka selitysaste mittarina sit\u00e4 tarjoaisikin.<\/p>\n

Statistickon steesit<\/strong><\/p>\n