Kannatusmittausten virhemarginaali — kahden luvun ero on epätarkempi kuin luvut
Kannatusmittaus kertoo puolueiden kannatuksen prosentteina ja ilmoittaa virhemarginaalin (englanniksi margin of error). Marginaali ei ole yksi luku vaan riippuu kannatustasosta: Ylen mittauksessa, jossa puoluekantansa ilmoittaa noin 1 200 vastaajaa, se on 20 prosentin kannatuksella ±2,3 prosenttiyksikköä ja 5 prosentin kannatuksella ±1,3. Ilmoitettu marginaali koskee aina yhtä lukua kerrallaan. Uutinen kertoo lähes aina kahden luvun erosta, ja eron epätarkkuus on selvästi suurempi kuin kummankaan luvun erikseen.
Kaksi epätarkkaa lukua vähennettynä toisistaan on epätarkempi kuin kumpikaan niistä.
Marginaali kattaa lisäksi vain otantavirheen — sen, että otos ei ole koko kansa. Se ei kata katoa, kysymyksen muotoilua, painotusmenetelmää eikä sitä, että puoluekanta ja vastaamishalu korreloivat keskenään. Nämä näkyvät talovaikutuksena: sama viikko kahdella menetelmällä mitattuna tuottaa järjestelmällisesti hieman eri tuloksen.
Toinen vinouma syntyy toistosta. Kun yhdeksän puolueen kannatusta mitataan kuukausittain, jokin luku poikkeaa aina edellisestä satunnaisesti — ja juuri se päätyy otsikkoon. Muuttumattomuus ei ylitä uutiskynnystä, joten julkisuuteen valikoituu järjestelmällisesti kohina.
Tästä ei seuraa, että mittaukset olisivat hyödyttömiä. Yksittäinen mittaus on epätarkka; useamman peräkkäisen mittauksen suunta on huomattavasti luotettavampi kuin kumpikaan yksittäinen luku.
Ero läheisiin käsitteisiin:
Cherry picking aikavälillä valitsee alkupisteen, tässä valitaan yksittäinen mittaus. P-hakkerointi kuvaa saman monivertailuongelman tutkimuksessa: kun vertailuja on tarpeeksi, jokin näyttää aina merkitsevältä. Kaksois-y-akseli on visuaalinen sukulainen — sekin suurentaa eron, jota ei ole.Tunnistaminen ja vastakeinot:
- Katso otoskoko ja tiedonkeruutapa ennen lukua. Ilman niitä marginaalia ei voi arvioida.
- Kerro erosta puhuessasi eron marginaali, älä yksittäisen luvun. Nyrkkisääntö on kaksinkertainen; mitä suurempi osuus äänistä on muilla puolueilla, sitä lähempänä kerroin on puoltatoista.
- Seuraa kolmen tai neljän mittauksen liukuvaa keskiarvoa, älä uusinta lukua.
- Epäile verbejä "kiri", "ohitti" ja "romahti", kun ero on muutaman prosenttiyksikön luokkaa — kahden ison puolueen välillä eron marginaali on noin 3–4 prosenttiyksikköä.
- Katso, onko sama talo mitannut aiemminkin — talovaikutus tekee eri mittaajien lukujen vertailusta epäluotettavaa.
- Muista mitä marginaali ei kata: kato, painotus ja kysymyksen muotoilu jäävät kokonaan ilmoitetun luvun ulkopuolelle.
- Total Survey Error: Past, Present, and Future — Robert Groves & Lars Lyberg (2010)
- An Evaluation of the 2016 Election Polls in the United States — AAPOR (2017)