Tilastoilla valehtelumiten luvuilla johdetaan harhaan valehtelematta

Tilastolla valehteleminen eroaa tavallisesta valehtelusta yhdessä ratkaisevassa kohdassa: yksikään luku ei ole väärä. Katkaistun akselin pylväät on piirretty täsmälleen oikein, valikoidun aikavälin kasvuprosentti on laskettu oikein, ja kaksinkertaistunut riski todella kaksinkertaistui. Harha syntyy siitä, mitä esitys korostaa ja mitä se jättää sanomatta. Juuri siksi nämä tekniikat ovat niin kestäviä — niistä ei voi jäädä kiinni valehtelusta.

Darrell Huff kokosi kikat kirjaan How to Lie with Statistics jo vuonna 1954. Seitsemänkymmentä vuotta myöhemmin ne toimivat edelleen, koska ne eivät hyödynnä tietämättömyyttä vaan havaitsemista: ihminen rekisteröi kuvan ennen lukuja ja vertaa muotoja, ei asteikkoja. Kun kaksi käyrää nousee samassa tahdissa, yhteys on ehtinyt syntyä katsojan päässä ennen kuin akselin numerot kiinnittävät kenenkään huomiota.

Kolme perhettä

Kategorian kahdeksan ilmiötä eroavat toisistaan siinä, missä kohtaa ketjua harha syntyy. Sama jako toimii myös tarkistuslistana: kun tiedät kumpaan perheeseen väite kuuluu, tiedät mitä kysyä.

Kuva valehtelee. Data on kunnossa, mutta piirros vääristää sen. Kaksois-y-akseli skaalaa kaksi eri suuretta päällekkäin ja tuottaa korrelaation tyhjästä. Pinta-alaharha kasvattaa symbolin molempia mittoja, jolloin kaksinkertainen luku näyttää nelinkertaiselta. Näissä riittää yleensä, että katsoo akselin nollapisteen ennen käyrää.

Valinta valehtelee. Luvut ovat oikein, mutta ne ovat väärä osajoukko. Cherry-picking valitsee aikavälin alku- ja loppupisteen niin, että sama aikasarja todistaa mitä tahansa. Selviytymisharha laskee vain ne, jotka pääsivät mittauspisteeseen asti. P-hakkerointi tekee saman tieteen muodossa: testataan kunnes jokin näyttää merkitsevältä, ja julkaistaan vain se yksi tulos.

Luku itse valehtelee. Tunnusluku on laskettu oikein, mutta se vastaa eri kysymykseen kuin lukija kuvittelee. Keskiarvoharha antaa vinossa jakaumassa aivan toisen kuvan kuin mediaani. Suhteellinen riski kertoo muutoksen suuruuden kertomatta lähtötasoa. Simpsonin paradoksi on näistä ovelin: kokonaisluku voi kääntyä päinvastaiseksi kuin jokainen osaryhmä erikseen.

Jos luet kategorian läpi kerralla, tuo on myös järkevin järjestys. Kuvatemput oppii tunnistamaan silmällä, valintatemput vaativat kysymään mitä aineistosta puuttuu, ja lukutemput vaativat ymmärtämään mitä tunnusluku oikeastaan mittaa.

Kahdeksan tekniikkaa

Klassikkoesimerkki: katkaistu y-akseli

Yleisin temppu on niin yksinkertainen, että se kannattaa nähdä kerran vierekkäin. Akseli aloitetaan nollan sijasta läheltä pienintä havaintoa, jolloin kahden prosentin muutos täyttää koko kuvan.

Miten nämä liittyvät toisiinsa

• Kaksois-y-akseli ja pinta-alaharha ovat sama virhe eri ulottuvuudessa. Toinen venyttää pystysuunnassa, toinen pinta-alassa. Kummankin paljastaa sama kysymys: mistä asteikko alkaa ja mitä sen pituus oikeastaan mittaa.
• Cherry-picking ja selviytymisharha ovat otantavirheitä eri suuntiin. Edellinen rajaa ajan, jälkimmäinen joukon. Molemmissa aineisto on aito mutta otos ei edusta sitä, mistä puhutaan.
• P-hakkerointi on cherry-picking siirrettynä hypoteeseihin. Aikavälin sijasta valitaan jälkikäteen kysymys, johon data sattui vastaamaan. Yhdessä selviytymisharhan kanssa se tuottaa julkaisuharhan: kirjallisuuteen päätyvät vain onnistuneet tulokset, ja niistä lasketaan keskiarvo.
• Keskiarvoharha ja Simpsonin paradoksi syntyvät molemmat yhdistämisestä. Kun eri ryhmät lasketaan yhteen, painotus ratkaisee tuloksen. Simpsonin paradoksi on tämän ääritapaus, jossa suunta kääntyy päinvastaiseksi.
• Suhteellinen riski ja katkaistu akseli tekevät saman tempun eri välineillä. Molemmat suurentavat pientä muutosta poistamalla vertailukohdan — toinen kuvasta, toinen lauseesta.
• Koko kategoria on propagandan työkalupakki. Nämä tekniikat esiintyvät harvoin yksin: firehose of falsehood tuottaa niitä nopeammin kuin faktantarkistus ehtii perässä, ja astroturf antaa niille uskottavan lähettäjän. Organisaatioissa sama logiikka näkyy Goodhartin lakina: kun mittarista tulee tavoite, se lakkaa mittaamasta.

Viisi kysymystä, jotka paljastavat lähes kaiken

1. Mistä y-akseli alkaa? Jos ei nollasta, muutoksen kokoa ei voi lukea kuvasta.
2. Miksi juuri tämä aikaväli? Siirrä alkupistettä vuodella ja katso, säilyykö trendi.
3. Ketkä puuttuvat aineistosta? Kysy erikseen niistä, jotka eivät päässeet mittaukseen asti.
4. Mikä on absoluuttinen luku? ”Kaksinkertaistui” tarkoittaa eri asiaa, jos lähtötaso on 1/100 000.
5. Mitä tapahtuu, kun ryhmät erotellaan? Jos kokonaisluku ja osaryhmät kertovat eri tarinan, osaryhmät ovat lähempänä totuutta.