P-hakkerointi — testaa kunnes jokin näyttää merkitsevältä

Kirjoittanut Ilmiömies · Päivitetty 12.7.2026

Tieteessä tulosta pidetään perinteisesti ”tilastollisesti merkitsevänä”, jos sattuman todennäköisyys on alle 5 % (p < 0,05). Kääntöpuoli: jos testaat kahtakymmentä asiaa, keskimäärin yksi näyttää merkitsevältä pelkästä sattumasta. P-hakkerointi tarkoittaa, että aineistoa viipaloidaan, muuttujia vaihdetaan ja testejä toistetaan, kunnes jokin ylittää julkaisukynnyksen — ja vain se raportoidaan.

Suklaatutkimus, joka meni läpi

Vuonna 2015 toimittaja John Bohannon julkaisi tahallisen p-hakkerointitutkimuksen: pieni koeryhmä, 18 mitattua muuttujaa — jokin niistä ylittäisi merkitsevyysrajan lähes varmasti. Osuma sattui painonpudotukseen, ja ”suklaa auttaa laihtumaan” kiersi maailman lehdet. Sama mekanismi tuottaa vilpittömästikin vääriä löydöksiä: tutkija tekee kymmeniä pieniä valintoja (ketkä mukaan, mitä kontrolloidaan, mikä mittari), joista jokainen voi kääntää tuloksen — Andrew Gelman kutsuu tätä ”haarautuvien polkujen puutarhaksi”.

Sama logiikka arjessa

• Markkinointi: ”9/10 testaajista suositteli” — kysely toistettiin, kunnes tuli hyvä otos.
• Sijoitusgurut: sadasta ennustajasta joku osuu aina oikeaan viisi kertaa putkeen — hänet nostetaan esiin, muut unohdetaan.
• Julkaisuharha: lehdet julkaisevat löydöksiä, eivät ”ei vaikutusta” -tuloksia — joten kirjallisuuteen kertyy sattumaosumia.