Åter en förändring av modellen

Opinionsmätningarna kommer tätare och tätare och därmed känns det åter dags att skruva lite på modellen bakom pollofpoll.se.

Modellen har tidigare hanterat opinionsmätningar som punktskattningar. Det vill säga modellen har hanterat opinionsmätningar så som om de mätt opinionsläget för en viss dag. I detta fall den dag som infaller mitt emellan den dag opinionsmätningen påbörjades och den dag den avslutades.

Uppdateringen av modellen innebär att opinionsundersökningarna istället hanteras som en serie mätningar, en för varje dag från mätningens början till dess slut. En metod som även används av Botten Ada. I grafen syns detta genom att mätningarna inte längre representeras av ett kryss utan numera av en tun linje från början av mättningen till dess slut.

Fördelen med detta sätt att hantera mätningar är att det möjliggör en något mer uppdaterad bild av opinionsläget. Särskilt eftersom modellen behöver färre dagar av mätningar för att bli stabil.

Kortat mätspann och förflyttning av interaktiv graf

Två mindre uppdateringar är gjorde.

Den första uppdateringen rör modellen för  pollofpolls.se. Tidsspannet som pollofpolls.se har använt sig av har varit plus/minus 40 dagar. Det vill säga varje mätpunkt har räknats fram baserad på opinionsdata 40 dagar framåt och 40 dagar bakåt, det vill säga ett totalt tidsspann på 81 dagar (medräknat mätpunkten). Eftersom de sista ändpunkterna av naturliga skäl inte har någon mätning 40 dagar framåt att titta på (pga att dessa datum ännu inte inträffat) så har ändpunkterna kompenserat genom att förlänga tidsspannet bakåt så att det totala spannet fortsatt är 81 dagar.

Ett så långt tidsspann som 81 dagar skapade dock vissa problem med FI eftersom pålitlig data inte existerar så lång tid bakåt. Därtill gjorde det att den senaste tidens fall för ex Vänsterpartiet och Moderaterna antagligen underskattades. Därför har spannet kortats till 30 dagar framåt och bakåt, för ett totalspann på 61 dagar.

Den andra uppdateringen är rent estetisk. Att ha en interaktiv graf i form av google chart tycktes som en bra idé. Tyvärr verkade det hela inte fungera i iOS så de som surfade in via en iPhone eller iPad såg bara en tom och rätt trist blogg. Det finns säkert något bra sätt att lösa detta på men eftersom web-design inte är mitt yrke så lär sådant ta lite tid. Alltså är min klassiska bild tillbaka på framsidan. Den interaktiva bilden är istället förflyttad till fliken mer data, dit man för övrig kommer om man klickar på bilden.

Poll of polls numera också med FI

Eftersom att FI lyckats ta sig in i EU-parlamentet och dessutom närmat sig opinionsstöd som skulle kunna bära dem hela vägen in i riksdagen, känns det inte riktigt bra att bara inkludera dem i gruppen övriga partier. Därför är numera pollofpoll.se uppdaterad så att även stödet för FI räknas ut. Så i graferna syns numera stödet för FI från och med 1 april 2014. För datum innan detta räknas FI in bland gruppen övriga.

Den här uppdatering var inte helt enkel att göra, i huvudsak därför att logaritmen av 0 är odefinierad, och modellen bakom pollofpolls.se använder sig sig av logaritmer. Men efter ett antal koppar te och viss irritation gick det att få in även FI.

En ytterligare uppdatering som gjorts är att sammanvägningen numera visas som en separat interaktiv graf, istället för som tidigare som en bild. För den som gillar de gamla bilderna så går de fortfarande att finna under fliken Mer data.

Uppdaterad modell för pollofpolls.se

Pollofpolls.se har sedan ungefär en månad en ny och förbättrad modell för att väga samman opinionsundersökningar. Målsättningen med pollofpoll.se har varit att använda den bästa tillgängliga metoden för att väga samman opinionsundersökningar. Det har tidigare inte funnits någon bra publicerad metod för hur denna sammanvägning ska göras som är anpassad för flerpartisystem som vi har i Sverige. Därför har pollofpolls.se tidigare använt en modell basserad på modeller byggda för tvåpartisystem enligt amerikansk modell.

Men utvecklingen går framåt och numera finns det en publicerad modell som är specifikt framtagen för flerpartisystem. Modell är utvecklad av Jakob Bergman och Björn Holmquist [1] på statistiska institutionen vid Lunds Universitet och publicerad i Scandinavian Journal of Statistics. Bergman och Holmquist modell bygger, likt den som tidigare används för pollofpoll.se, på itererade lokalt viktade regressioner så kallade loess. Skillnaden mellan den nya modellen och den tidigare är att där den tidigare behandlade varje partis opinionsutveckling som en oberoende serie, hanterar den nya modellen serierna som beroende av varandra.

Lite enkelt kan skillnaden i modellerna förklaras på följande sätt. Det totala stödet för samtliga partier, inklusive gruppen övriga partier, måste alltid summeras till 100 %. Detta betyder att om exempelvis Moderaterna visar ett minskat väljarstöd så måste något eller några andra partier visa ett ökat väljarstöd. Den tidigare modellen tog inte hänsyn till detta utan räknade ut stödet för varje parti separat. Därför kunde modellen i princip visa ett tapp för Moderaterna utan att detta medförde en motsvarande ökning för andra partier. Summeringen av stödet för alla partier, inklusive gruppen övriga partier, kunde alltså vara så väl mer som mindre än 100 %. Numera skall summan av stödet för alla partier bli 100 % med en möjlig avvikelse på grund av avrundningsfel.

För den som är mer intresserad av den exakta matematiken bakom modellen så rekommenderar jag den här öppna versionen av Bergman och Holmquist artikel. Den publicerade versionen är också ett alternativ men kräver en prenumeration.

Det finns en viss skillnad mellan modellen som Bergman och Holmquist publicerat och den modell som implementerats för pollofpolls.se. Denna skillnad är i hur de enskilda opinionsmätningarna viktas jämtemot varandra. Bergman och Holmquist viktar enbart opinionsmätningarna med avseende på hur på mätdatum, där äldre mätningar ges en lägre vikt. Ingen viktning sker dock med avseende på exempelvis antalet tillfrågade, således ges en mätning av demoskop med 1250 tillfrågade samma vikt som en mätning av SCB med 6000 tillfrågade. För implementeringen av Bergman och Holmquist modell för pollofpolls.se viktas därför enskilda mätningar, förutom på tid även med hänsyn till antalet tillfrågade samt undersökningens längd.

Viktningen av antalet tillfrågade ökar med kvadratroten på antalet tillfrågade, en mätning behöver alltså fyra gånger så många tillfrågade för att få dubbelt så hög vikt. Motivet till detta är att standardavvikelsen för en mätning minskar approximativt med kvadratroten på antalet tillfrågade.

 

[1] Bergman, J. and Holmquist, B. (2013), Poll of Polls: A Compositional Loess Model. Scandinavian Journal of Statistics. doi: 10.1111/sjos.12023

Lanserar Pollofpoll.se

För ett år sedan var jag hemma och sjuk; vilket därmed också betydde uttråkad. I ett försöka att roa mig själv fick jag för mig att stoppade in Novus sammanställning av alla opinionsbildningar i Matlab, för vad annat ska man göra när man är sjuk. Matlab är en underbar miljö för att pröva algoritmer och matematiska eller statistiska modeller även om det har en rätt hög inlärningströskel.

Med alla opinionsmätningar tillgängliga i Matlab bestämde jag mig för att göra min egen modell för att producera så kallade poll of polls. De flesta poll of polls medelvärdesbildar över varje kalender månad. Personligen har jag alltid känt att detta är ett något godtyckligt förfarande. Vad säger exempelvis att en mätning som görs i slutet av September har mer gemensamt med en som är gjord i början av samma månad, istället för med en som är gjord i början av Oktober. Därför ville jag hitta en bättre metod.

Inspirerad av diverse poll of polls som användes i det amerikanska presidentvalet fastnade jag för locally weighted scatterplot smoothing eller LOWESS, vilket i princip kan beskrivas som itererade viktade linjär regressioner.

Så efter att under lite mer än ett år ha publicerat mina små poll of polls på twitter tänkte jag att det vara lika bra att lägga upp en sida för att visa dem. Kanske är det någon annan politisk nörd som är lika intresserad som jag av opinionsundersökningar och statistik. Och eftersom det idag kom en ny opinionsundersökning av Novus tänkte jag att det kunde passa att lansera den. Så för er som är intresserade håll till godo.