P-hakkerointi — testaa kunnes jokin näyttää merkitsevältä
Tieteessä tulosta pidetään perinteisesti ”tilastollisesti merkitsevänä”, jos sattuman todennäköisyys on alle 5 % (p < 0,05). Kääntöpuoli: jos testaat kahtakymmentä asiaa, keskimäärin yksi näyttää merkitsevältä pelkästä sattumasta. P-hakkerointi tarkoittaa, että aineistoa viipaloidaan, muuttujia vaihdetaan ja testejä toistetaan, kunnes jokin ylittää julkaisukynnyksen — ja vain se raportoidaan.
Harhaanjohtava (raportoitu tulos)
p = 0,03
Näyttää: tieteellisesti todistettu löydös.
Rehellinen (kaikki tehdyt testit)
Todellisuus: 1/20 ”osumaa” on juuri sattuman odotusarvo.
Suklaatutkimus, joka meni läpi
Vuonna 2015 toimittaja John Bohannon julkaisi tahallisen p-hakkerointitutkimuksen: pieni koeryhmä, 18 mitattua muuttujaa — jokin niistä ylittäisi merkitsevyysrajan lähes varmasti. Osuma sattui painonpudotukseen, ja ”suklaa auttaa laihtumaan” kiersi maailman lehdet. Sama mekanismi tuottaa vilpittömästikin vääriä löydöksiä: tutkija tekee kymmeniä pieniä valintoja (ketkä mukaan, mitä kontrolloidaan, mikä mittari), joista jokainen voi kääntää tuloksen — Andrew Gelman kutsuu tätä ”haarautuvien polkujen puutarhaksi”.
Sama logiikka arjessa
- Markkinointi: ”9/10 testaajista suositteli” — kysely toistettiin, kunnes tuli hyvä otos.
- Sijoitusgurut: sadasta ennustajasta joku osuu aina oikeaan viisi kertaa putkeen — hänet nostetaan esiin, muut unohdetaan.
- Julkaisuharha: lehdet julkaisevat löydöksiä, eivät ”ei vaikutusta” -tuloksia — joten kirjallisuuteen kertyy sattumaosumia.
Tunnistaminen ja vastakeinot:
Kysy: montako asiaa testattiin ennen tätä ”löydöstä”? Oliko hypoteesi lyöty lukkoon ennen datan keruuta (esirekisteröinti)? Onko tulos toistettu riippumattomassa aineistossa? Yksittäinen p < 0,05 ilman näitä on arpalippu, ei todiste.- Science Fictions — Stuart Ritchie (2020)
- The Art of Statistics — David Spiegelhalter (2019)