Poll of polls

Sifo och Skop har inför upploppet av detta val börjat med dagligt uppdaterade opinionsmätningar, så kallade tracking polls. Dessa mätningar går till så att man tillfrågar väljare varje dag hur de tänker rösta, och använder svaren från de senaste X dagarna för att fastställa opinionsläget. Detta innebär att den publicerade mätningen en dag i huvudsak bygger på samma data som föregående mätning, vilket skiljer en tracking poll från en traditionell opinionsmätning där varje mätning bygger på nya data.

För att inte ge de dagliga tracking polls för mycket vikt i poll of polls har det krävts en mindre ändring av modellen. Ändringen innebär att mätningar från samma institut som överlappar viktas ner med antalet överlöpande mätningar.

Exempelvis om Sifo har två mätningar som ligger över 25 augusti så viktas varje mätning från sifo ner till hälften för den 25 augusti. Skulle Sifo istället ha tre mätningar över den 25 augusti så viktas varje mätning från Sifo ner till en tredjedel för den dagen.

Opinionsmätningarna kommer tätare och tätare och därmed känns det åter dags att skruva lite på modellen bakom pollofpoll.se.

Modellen har tidigare hanterat opinionsmätningar som punktskattningar. Det vill säga modellen har hanterat opinionsmätningar så som om de mätt opinionsläget för en viss dag. I detta fall den dag som infaller mitt emellan den dag opinionsmätningen påbörjades och den dag den avslutades.

Uppdateringen av modellen innebär att opinionsundersökningarna istället hanteras som en serie mätningar, en för varje dag från mätningens början till dess slut. En metod som även används av Botten Ada. I grafen syns detta genom att mätningarna inte längre representeras av ett kryss utan numera av en tun linje från början av mättningen till dess slut.

Fördelen med detta sätt att hantera mätningar är att det möjliggör en något mer uppdaterad bild av opinionsläget. Särskilt eftersom modellen behöver färre dagar av mätningar för att bli stabil.

Två mindre uppdateringar är gjorde.

Den första uppdateringen rör modellen för  pollofpolls.se. Tidsspannet som pollofpolls.se har använt sig av har varit plus/minus 40 dagar. Det vill säga varje mätpunkt har räknats fram baserad på opinionsdata 40 dagar framåt och 40 dagar bakåt, det vill säga ett totalt tidsspann på 81 dagar (medräknat mätpunkten). Eftersom de sista ändpunkterna av naturliga skäl inte har någon mätning 40 dagar framåt att titta på (pga att dessa datum ännu inte inträffat) så har ändpunkterna kompenserat genom att förlänga tidsspannet bakåt så att det totala spannet fortsatt är 81 dagar.

Ett så långt tidsspann som 81 dagar skapade dock vissa problem med FI eftersom pålitlig data inte existerar så lång tid bakåt. Därtill gjorde det att den senaste tidens fall för ex Vänsterpartiet och Moderaterna antagligen underskattades. Därför har spannet kortats till 30 dagar framåt och bakåt, för ett totalspann på 61 dagar.

Den andra uppdateringen är rent estetisk. Att ha en interaktiv graf i form av google chart tycktes som en bra idé. Tyvärr verkade det hela inte fungera i iOS så de som surfade in via en iPhone eller iPad såg bara en tom och rätt trist blogg. Det finns säkert något bra sätt att lösa detta på men eftersom web-design inte är mitt yrke så lär sådant ta lite tid. Alltså är min klassiska bild tillbaka på framsidan. Den interaktiva bilden är istället förflyttad till fliken mer data, dit man för övrig kommer om man klickar på bilden.

Eftersom att FI lyckats ta sig in i EU-parlamentet och dessutom närmat sig opinionsstöd som skulle kunna bära dem hela vägen in i riksdagen, känns det inte riktigt bra att bara inkludera dem i gruppen övriga partier. Därför är numera pollofpoll.se uppdaterad så att även stödet för FI räknas ut. Så i graferna syns numera stödet för FI från och med 1 april 2014. För datum innan detta räknas FI in bland gruppen övriga.

Den här uppdatering var inte helt enkel att göra, i huvudsak därför att logaritmen av 0 är odefinierad, och modellen bakom pollofpolls.se använder sig sig av logaritmer. Men efter ett antal koppar te och viss irritation gick det att få in även FI.

En ytterligare uppdatering som gjorts är att sammanvägningen numera visas som en separat interaktiv graf, istället för som tidigare som en bild. För den som gillar de gamla bilderna så går de fortfarande att finna under fliken Mer data.

För ett år sedan var jag hemma och sjuk; vilket därmed också betydde uttråkad. I ett försöka att roa mig själv fick jag för mig att stoppade in Novus sammanställning av alla opinionsbildningar i Matlab, för vad annat ska man göra när man är sjuk. Matlab är en underbar miljö för att pröva algoritmer och matematiska eller statistiska modeller även om det har en rätt hög inlärningströskel.

Med alla opinionsmätningar tillgängliga i Matlab bestämde jag mig för att göra min egen modell för att producera så kallade poll of polls. De flesta poll of polls medelvärdesbildar över varje kalender månad. Personligen har jag alltid känt att detta är ett något godtyckligt förfarande. Vad säger exempelvis att en mätning som görs i slutet av September har mer gemensamt med en som är gjord i början av samma månad, istället för med en som är gjord i början av Oktober. Därför ville jag hitta en bättre metod.

Inspirerad av diverse poll of polls som användes i det amerikanska presidentvalet fastnade jag för locally weighted scatterplot smoothing eller LOWESS, vilket i princip kan beskrivas som itererade viktade linjär regressioner.

Så efter att under lite mer än ett år ha publicerat mina små poll of polls på twitter tänkte jag att det vara lika bra att lägga upp en sida för att visa dem. Kanske är det någon annan politisk nörd som är lika intresserad som jag av opinionsundersökningar och statistik. Och eftersom det idag kom en ny opinionsundersökning av Novus tänkte jag att det kunde passa att lansera den. Så för er som är intresserade håll till godo.