onsdag 2 november 2011

Feltolkade resultat av iPad-undersökningen. Bristande statistisk kompetens på de stora morgontidningarna.

Idag har flera svenska tidningar och andra internetmedier skrivit om undersökningen av iPad-vanor, som gjorts av den digitala kommunikationsbyrån Daytona. Problemet är bara att undersökningen tolkas som statistiskt representativ, trots att byrån ifråga tydligt uppger att den inte är det. Därmed finns det inga som helst garantier för att de presenterade siffrorna gäller befolkningen som helhet, vilket de olika medierna ger sken av i sina artiklar.

I såväl Dagens Nyheter som Svenska Dagbladet och Macworld gör journalisterna sig skyldiga till samma tankefel, vilket förmodligen beror på något så grundläggande som bristande källkritik och/eller avsaknad av statistisk kompetens. För att en undersökning ska vara generaliserbar måste deltagarna motsvara befolkningen i stort när det gäller faktorer som kön, ekonomi, politiska åsikter, bostadsort och så vidare. Och det finns det inga som helst garantier för i en undersökning av det här slaget, eftersom det är de svarande själva som har anmält sig till undersökningen.

Jag har för säkerhets skull kollat detta med Rasmus Sellberg, som är technical director på Daytona och han skriver såhär i sitt svar till mig:
– Vi garanterar inte att det är statistiskt representativt. Detta står tydligt på varje sida i undersökningen. Urvalsmetoden är självrekrytering, med allt vad det innebär. Till
exempel att resultatet inte är statistiskt representativt. Det är olyckligt att det har tolkats på annat sätt.

Det hade varit så enkelt för journalisterna på de ovan nämnda tidningarna att göra samma koll, men uppenbarligen har så inte varit fallet och det är väldigt illa i mitt tycke. Frågan om iPad-vanor kanske inte påverkar världsfreden, men om inte annat säkert en del kommersiella beslut kring läsplattor. Om vi dessutom kan anta att samma journalistiska slarvighet gäller i förhållande till andra undersökningar kan det bidra till spridandet av en rad mer eller mindre felaktiga uppfattningar, i tron att det är vetenskap som presenteras. Och då kan det bli riktigt allvarligt. 


UPPDATERING 3 NOV: När ovanstående text var klar skickade jag den direkt till de aktuella journalisterna, deras redaktioner samt till tidningen Journalisten, som hade samma typ av artikel publicerad. Ett dygn senare har ingen respons kommit från någon av dem. Det är oklart om det beror på att samtliga inblandade skäms för mycket eller helt enkelt inte förstår problemet.