Oma valokuva
Tarkoitukseni on saada lukija pohtimaan ja kysymään kysymyksiä. Tämän takia esitän tarkoituksella yleiselle ymmärrykselle vastakkaisia argumentteja. Teemat valitsen sen mukaan, missä valtavirralle vastakkaiset argumentit ovat mielestäni perusteltuja ja yhteiskunnallisesti tärkeitä. Konsensus on mielestäni usein sekä harhaanjohtavaa että vaarallista. Vaarana on ”yksimielisyyden illuusio”, joka on valitettavan yleinen älyllisen epärehellisyyden muoto: ollaan samaa mieltä, mutta kukaan ei oikein kykene perustelemaan miksi, saati sitten että perusteluista oltaisiin yhtä mieltä. Blogikirjoitukseni kumpuavat omasta päivätyöstäni tutkijana ja opettajana. Toiset käsittelevät yritysten toimintaan liittyviä kysymyksiä liiketaloustieteellisen tutkimuksen näkökulmasta. Toisissa taas käsittelen tieteen roolia yhteiskunnassa, jota pohdin ensisijaisesti tieteen käytäntöjen näkökulmasta -- siis siitä, millaista tiede on ihmisen harjoittamana toimintana. Monet teksteistäni heijastavat taustaani tilastotieteen soveltajana -- tilastollinen päättely on tärkein tutkimustyökaluni. Muokkaan toisinaan julkaistuja tekstejäkin uusien havaintojen tai saamani palautteen perusteella.

tiistai 14. joulukuuta 2010

3-6-3-2-5-4-3-3-5-3

Olen päättänyt aloittaa kaikki ilmastonmuutosta käsittelevät kannanottoni varmuuden vuoksi toteamalla, että minulla ei oikeastaan ole mielipidettä, olen ainoastaan utelias. Tai oikeammin: kun minulta kysytään, että uskonko ilmastonmuutokseen, niin en valitettavasti voi vastata muuten kuin sanomalla, että en ymmärrä kysymystä. Kysymystä täytyy ensin tarkentaa aika lailla ennenkuin siitä tulee ymmärrettävä. Lisäksi en halua että kysyjä pakottaa minut vastaamaan joko kyllä tai ei.

Joka tapauksessa, kaipaan julkiseen keskusteluun enemmän todellisia asiantuntijoita -- siis ilmastoa oikeasti empiirisillä aineistoilla tutkivia -- esittämään arvioitaan ja keskustelemaan. Monet julkisuudessa esiintyvät asiantuntijat esittävät tuskallisen alkeellisia ja yksinkertaistettuja argumentteja. Ilmasto ja erityisesti sen muuttuminen ovat kaikista kuviteltavissa olevista ilmiöistä yksi monimutkaisimpia, siitä ei voi puhua yksinkertaisesti olematta harhaanjohtava. Ja ainakin Suomessa äänessä tuntuvat olevan lähinnä ilmastopolitiikan asiantuntijat.

Kuuntelen erittäin mielelläni perusteltuja tieteellisiä argumentteja, oli niissä esitetty väite mikä tahansa. Minua kiinnostaa erityisesti se, miten argumentit yhdistetään tieteellisiin aineistoihin. Arvostan erityisesti sellaisia tutkijoita ja sellaisia mielipiteitä, jotka perustuvat autenttiseen empiiriseen tutkimukseen. Esimerkiksi tietokonesimuloinnin avulla sadan vuoden päähän tehtäviä ”ennusteita” en arvosta, koska mallit eivät perustu empiiriseen aineistoon. Mallit eivät sitä paitsi edes ennusta yhtään mitään: sadan vuoden päähän simuloinnilla (simulation) ja sadan vuoden päähän ennustamisella (forecasting, prediction) ei ole mitään tekemistä toistensa kanssa. Lyhyellä aikavälillä tehty simulointi tuottaa käyttökelpoisia ennusteita (esim. sääennusteet), mutta ainoastaan sen takia, että ennuste tehdään empiiriseen dataan eikä oletuksiin nojaamalla.

Yksi minua erityisesti tilastotieteilijänä askarruttava kysymys on erilaisten ääri-ilmiöiden lisääntymisen empiirinen todentaminen: mistä tiedämme, että ääri-ilmiöt ovat lisääntyneet? Kysymys ei tietenkään rajoitu ilmastonmuutostutkimukseen -- kyseessä on laajempikin empiirisen tutkimuksen haaste: mikä on satunnaisvaihtelua ja mikä ei? Juuri tämän kysymyksen kohdalla asiantuntijoiden mielipiteet ovat kuitenkin ymmärtääkseni ristiriitaisia.

Lukuisista yrityksistä huolimatta en ole löytänyt yhtään uskottavaa tilastolliseen evidenssiin perustuvaa johtopäätöstä ääri-ilmiöiden lisääntymisestä -- ääri-ilmiö kun nyt kuitenkin on ensisijaisesti tilastollinen käsite. Tämä voi tietysti olla merkki omasta kyvyttömyydestäkin, mutta jos kerran ääri-ilmiöiden lisääntyminen on kiistaton fakta, niin ei kai evidenssin löytäminen näin hankalaa pitäisi olla? Mikseivät ääri-ilmiöiden lisääntymisestä julkisuudessa puhuvat juuri koskaan viittaa vertaisarvioituihin tutkimuksiin? Olen ilmeisesti täysin eri linjoilla julkisuudessa esiintyvien kanssa, koska minusta kyseessä on niin vakava asia, että väitteet pitäisi ilman eri pyyntöä linkittää aina puolueettomiin ja vertaisarvioituihin tutkimustuloksiin -- ainakin niin kauan kun väitteen esittäjä vetoaa argumentissaan tieteelliseen evidenssiin.

Jos satut olemaan empiirisen klimatologian asiantuntija, olisin erittäin kiitollinen lukuvinkistä, siis vertaisarvioidusta tieteellisestä käsikirjoituksesta, jossa ääri-ilmiöiden lisääntyminen on empiirisesti osoitettu. Minä tunnen ainoastaan tutkimuksia, joissa ääri-ilmiöiden lisääntymistä ei ole havaittu.

Tilastotieteen näkökulmasta ääri-ilmiöistä keskustelua hankaloittaa se, että ääri-ilmiöihin kiinnitetään huomiota vasta jälkikäteen, ja erilaisia todennäköisyyksiä ja frekvenssejä lasketaan vasta tehtyjen havaintojen jälkeen. Ongelman ydin on siinä, että satunnaisvaihtelu tuottaa aina omanlaisiaan ääri-ilmiöitä.

Esimerkki lienee paikallaan. Tämän kirjoituksen omituinen otsikko 3-6-3-2-5-4-3-3-5-3 on numerosarja, joka syntyi kymmenellä arpakuution heitolla; numerosarja on siis täysin satunnainen, siinä ei ole mitään erikoista. Mutta: minäpä teen siitä erikoisen etsimällä sieltä muutaman ääri-ilmiön.

1. Numerosarjassa ei ole yhtään ykköstä. Tämän todennäköisyys on noin 1/6, eli ei todennäköistä, mutta ei toisaalta harvinaistakaan. Täytyy etsiä parempi ”ääri-ilmiö”.

2. Numerosarjassa on pieniä lukuja (ykkösiä, kakkosia) ainoastaan yksi. Todennäköisyys on 1/10, jonka joku jo saattaisi kelpuuttaa ääri-ilmiöksi. Päättelen tämän siitä, että iltauutisissakin nähdään jo mainitsemisen arvoisena, jos jonkun kuukauden keskilämpötila on ollut ”lämpimin kymmeneen vuoteen”.

Jatkan kuitenkin vieläkin paremman ääri-ilmiön etsintää.

3. Jokaisen parittoman heittokerran silmäluku on pariton. Jotain mystistä on tekeillä: miten on mahdollista, että parittomat silmäluvut ja parittomat heittovuorot löysivät näin toisensa? Tuon todennäköisyys on ainoastaan 1/32, siis tyyliin ”kerran kolmessakymmenessä vuodessa”. Epäilemättä ääri-ilmiö. Tilastotieteilijäkin kiinnittäisi jo tähän huomiota, sillä todennäköisyys on tilastollisesti merkitsevä riskitasolla 0,05 eli sen todennäköisyys on alle 1/20.

Eikö vakuuta? No, uskon pystyväni parempaan.

4. Heittosarjassa on huikeat viisi kolmosta. Tämän todennäköisyys on 1/65. Eihän tällaista pitäisi tapahtua.

5. Kaikkein häkellyttävin ääri-ilmiö on kuitenkin se, että juuri tuon kymmenen heiton sarjan todennäköisyys on 1/60466176. Loton täysosumankin todennäköisyys on moninkertainen tuohon verrattuna. Hulluhan se on joka väittää, että tämä ei ole ääri-ilmiö.

Ongelmalliseksi ylläolevien havaintojen nimeäminen ääri-ilmiöiksi tekee se, että todennäköisyydet on laskettu jälkikäteen. Kaikki ylläolevat todennäköisyydet ovat minun mielikuvitukseni tuotetta; teelehtien lukemista koko touhu. Aivan samanlaista teelehtien lukemista on taivastella, kuinka Anjalankoskella on satanut joulukuussa enemmän kuin kymmeniin vuosiin. Ääri-ilmiöihin kiinnitetään käytännössä aina huomiota vasta sen jälkeen kun ne on havaittu, jolloin todennäköisyyksillä on sama merkitys kuin ylläolevassa noppaesimerkissä: ne eivät ole oikeita todennäköisyyksiä eivätkä kerro mitään siitä, onko jokin ilmiö tilastollisessa mielessä epätavallinen vai ei. Se, kuinka monta vuotta sitten viimeksi Anjalankoskella satoi joulukuussa yhtä paljon kuin siellä satoi juuri sinä vuonna, kun joulukuu sattui olemaan Anjalankoskella sateinen, saattaa olla joillekin anjalankoskelaisille mielenkiintoinen huomio, mutta tilastollisesti -- ns. ”isossa kuvassa” -- se on täysin merkityksetön. Anjalankoski ei ole päätynyt ”otokseemme” satunnaisotannalla vaan juurikin sen takia, että jonkin muuttujan arvo on kyseiselle havaintoyksikölle poikkeuksellinen. Tämän jälkeen ei ole mitenkään perustelua alkaa tehdä tilastollista inferenssiä samalle havaintoyksikölle samasta muuttujasta. Ajatus on yhtä absurdi kuin se, että taivastelisimme sitä, kuinka vaikeaa on löytää kadulla vastaantulijoista miestä, joka olisi yhtä pitkä kuin Suomen koripallomaajoukkueen sentteri Antti Nikkilä (210 cm) -- totta kai se on vaikeaa, jos se lähtökohtaisesti tehdään vaikeaksi. Hiukan samoilla linjoilla oli amerikkalainen stand-up-komiikan legenda George Carlin pohtiessaan huolestuneena, että jostain päin maailmaa löytyy maailman huonoin lääkäri, ja jollakin ihmisraukalla on hänen vastaanotolleen huomenna aika.

Hankalaksi ääri-ilmiöistä puhumisen tekee myös se, että kun maailmassa havaitaan päivittäin lukemattomia sääilmiöitä, niin etsijä löytää niistä pilvin pimein ”ääri-ilmiöitä” yksinomaan satunnaisvaihtelun takia: jo pelkästään Suomen Ilmatieteenlaitoksella on noin 400 havaintoasemaa, eikä ole mikään tilastollinen ihme, jos ainakin muutamalla havaintoasemalla havaittaisiin joka päivä jotain niin ”epätavallista”, että siitä voisi mainita vaikka illan pääuutislähetyksessä. Pistin tietokoneen heittämään kymmenen nopan sarjan tuon 400 kertaa. Sieltä löytyy mm. tällainen numerosarja: 3-2-6-6-6-6-6-5-6-3. Ja tällainen: 3-2-1-2-1-1-2-2-3-2. Nämäkin ovat täysin satunnaisia tuloksia, jotka noudattavat omanlaistaan tilastollista jakaumaa (ns. extreme value distribution, jolle on tilastotieteessä oma laaja kirjallisuutensa, ja esimerkiksi insinööritieteissä valtava määrä sovelluksia).

Siitäkin huolimatta, että saatan loukata lukijan älykkyyttä, muistutan myös, että tavanomainen ja normaali eivät ole synonyymeja tilastolliselle käsitteelle keskimääräinen.

Myös tilastollisissa aikasarjoissa hyvin yleinen ns. autokorrelaatio toimii katalyyttina erilaisille ääri-ilmiöille: jos tänään on poikkeuksellisen kylmä, niin hyvin todennäköisesti on huomenna ja ylihuomennakin. Tällöin koko kuukauden keskilämpötilakin tuppaa olemaan keskimääräistä alhaisempi. Eli jos heittäisin nuo ylläolevat noppasarjat vielä niin, että ”leipoisin” niihin myös autokorrelaation, niin syntyisi vielä paljon enemmän ja paljon selvempiä ”ääri-ilmiöitä”.

Tilastoteknisenä yksityiskohtana on myös paikallaan todeta, että ääri-ilmiöt noudattavat usein sellaisia tilastollisia jakaumia, joiden keskiarvo ja varianssi ovat samaa kertaluokkaa. Tästä seuraa se, että niissä havaitaan hyvinkin paljon vaihtelua ajanjaksosta toiseen jo ihan satunnaisvaihtelun takia. Esimerkiksi itsemurhien määrä Suomessa -- ja erityisesti yksittäisillä alueilla, vaikkapa Lapissa -- saattaa hyvinkin vaihdella kymmeniä prosentteja vuodesta toiseen ilman mitään sen erikoisempaa syytä.

Kaikkein ei-intuitiivisin fakta on se, että täysin satunnaisestakin vaihtelusta voidaan löytää jälkikäteen ei pelkästään ääri-ilmiöitä vaan myös hyvin selkeitä trendejä. Väite herättää aina sen tilastotieteen luennolla mainitessani yleisössä epäluuloja ja epäuskoa.

Alla on kuva aikasarjasta, jossa on selkeitä nousevia ja laskevia trendejä.


Mielenkiintoista aikasarjassa on se, että se on luotu kolikkoa heittämällä: lähdetään nollasta liikkeelle, kruunalla lisätään tähän arvoon yksi, klaavalla vähennetään yksi. Tätä on jatkettu (tietokoneen avustuksella) tuhat kertaa, ja aina kruunalla on lisätty edelliseen arvoon yksi ja klaavalla vähennetty yksi. Tuloksena on sekä nousevia että laskevia trendejä, jotkut lyhyempiä, toiset pidempiä -- mutta kaikki trendit ovat täysin satunnaisvaihtelun tuottamia. Tämä tarkoittaa, että havaituista ”trendeistä” huolimatta emme pysty missään vaiheessa tekemään minkäänlaisia ennusteita tulevasta.

Tällekin ns. random walk -ilmiölle ja sen johdannaisille on tilastotieteessä oma laaja kirjallisuudenalansa. Erityisesti liiketaloustieteessä ilmiö on varsin yleinen (mm. osakkeiden pörssikurssit).

Yksi tilastollisen tutkimuksen perusperiaatteista on se, että vaihtelu oletetaan satunnaiseksi, kunnes aineisto toisin osoittaa. Tämä periaate on siinä mielessä perusteltu, että tällöin vältytään vääriltä hälytyksiltä. Siinä missä ihmissilmä näkee ylläolevassa kuvassa trendejä ja ihmismieli komppaa silmää keksimällä trendeille tulkintoja, hyvin yksinkertainen aikasarja-analyysi paljastaa, että aikasarja on todellisuudessa täysin satunnainen. Trendi ei ole ilmiön ominaisuus vaan havaitsijan mielikuvituksen tuote.

Minä en väitä, että ilmaston muuttuminen ja nopan heitto ovat sama asia tai että ilmaston muuttumista voidaan kuvata random walk -prosessina. Tämän kirjoituksen pointti on se, että jokaisella ääri-ilmiöiden asiantuntijaksi ilmoittautuvalla täytyy olla tarvittava tilastollinen asiantuntemus erotella poikkeukselliset ääri-ilmiöt ja niiden lisääntyminen satunnaisvaihtelun tuottamista ”tavanomaisista ääri-ilmiöistä”. Eikä olisi minusta ollenkaan pahitteeksi, että tätä asiantuntemusta tuotaisiin joskus myös julkisuudessa esitetyissä kannanotoissa esille, vaikkapa siteeraamalla väitteiden yhteydessä vertaisarvioitua tutkimusta.

Lopuksi on vielä paikallaan muistuttaa, että en ole tässä kirjoituksessa käsitellyt lainkaan tutkimuksen haasteista sitä kaikkein monimutkaisinta: missä määrin ääri-ilmiöiden lisääntyminen -- sikäli kuin sitä on olemassa -- on seurausta ihmisen toiminnasta? Tämän tutkiminen empiirisin menetelmin kuulostaa minusta suorastaan henkeäsalpaavan haasteelliselta.

Joka tapauksessa: jokainen, jolla on ääri-ilmiöiden tilastotieteestä olennainen hallussa, on tunnistanut välittömästi kaikki tässä kirjoituksessa esittämäni esimerkit ja argumentit triviaaleiksi. Toivon vilpittömästi, että valtaosa tekstini lukeneista kuuluisi tähän ryhmään.