Benutzer Diskussion:Sbeyer/Wahlprognosen

Wozu wird diesem "Umfrageinstitut" eigentlich so viel Aufmerksamkeit zuteil? Nur, weil die die Piraten tendenziell eher gut bewerten? Vielleicht sollte irgendwer deren Angaben überhaupt mal überprüfen, bevor alle das ständig Retweeten (ja, das nervt mich,) oder anderweitig unkritisch darauf verweisen.

Organisation

Fangen wir also mal damit an, wie die sich angeblich selber beschreiben:

• non-profit, aber kostendeckend
• Forschungsgruppe ist selbst Primärquelle, d.h. erhebt Daten selbst
• basiert auf "CATI, Online-Panel, Prognosis, Online-Polls, Face-To-Face-Interviews and Election Results"

Um entsprechend ausreichende Daten zu den unterschiedlichsten Wahlvorgängen in verschiedenen Staaten selbst zu erheben zu können, braucht man mindestens ein großes Call-Center. Beliebige Umfragen auf Zuruf innerhalb von 24 h Stunden liefern zu können, (Beispiel, Beispiel) kann man wohl trotzdem als ziemlich unmöglich einstufen. Demgegenüber steht eine "Organisation", die außer einem Twitteraccount keinerlei Kontaktadresse bietet. Wer bezahlt das Callcenter? Ein Mäzen? Oder handelt es sich um eine klandestine Untergrundorganisation, die auf Zuruf massenweise Leute anruft und Umfragen erstellt, ohne dass irgendwer von uns davon jemals was mitbekommen hat? Klingt alles nicht sehr wahrscheinlich.

Wahrscheinlicher: Die "Forschungsgruppe" ist eher klein. Vielleicht nicht mal eine Gruppe, sondern eine Einzelperson. Und die bewertet existierende Umfragen und schließt pi mal Daumen eigenen Wetten darauf ab, wo die Umfrageinstitute sich vielleicht irren, oder wo durch kurzfristige Ereignisse vielleicht Wählerverschiebungen auftreten könnten.

Das wäre dann aber keine wissenschaftliche Prognose, sondern etwas, was du oder ich auch könnten bzw. höchstwahrscheinlich privat sogar regelmäßig tun.

• Profil: Datengrundlage. Wie wir das Schaffen bleibt geheim ;)

Und damit verabschiedet man sich endgültig vom wissenschaftlichen Anspruch. Zu einer Wahlprognose gehört zwingend auch die Angabe der Grundgesamtheit und des Umfragezeitraums, wie wahlrecht.de es veröffentlicht. "Umfrageinstitute", die diese Angaben nicht machen können, kann man nur als unseriös bezeichnen.

Prognosen

Als erstes hast du in deiner Liste die jeweiligen "Prognosen" vom Wahltag 18:00 Uhr aufgenommen, wenn die Exitpolls im Fernsehen vorgestellt werden. Die solltest du vielleicht mal rausnehmen. ;) Ich beziehe mich mal auf die jeweils vorherigen Umfragen von Twittprognosis.

Twittprognosis behauptet:

• besser als alle anderen (laut eigener Aussage) bei:
  • Landtagswahl Mecklenburg-Vorpommern 4.9.2011

Wenn man "besser" mal so definiert, dass die Summe der Abweichungen der Prozentwerte minimal sind, ergibt sich für die MeckPomm-Wahl (Quellen: @Twittprognosis und wahlrecht.de, Sonstige zusammengefasst):

• • • Twittprognosis, 2.9.2011: 11,3
    • Twittprognosis, 26.8.2011: 11,8
    • FGW, 26.8.2011: 12,5
    • infratest dimap, 25.8.2011: 10,3
    • Forsa, 24.8.2011: 12,5
    • Emnid, 14.8.2011: 13,7

Die Behauptung, Twittprognosis hätte die "beste" Vorhersage für die LTW M-V getroffen, ist also falsch, denn infratest dimap war besser, obwohl eine Woche früher. Noch viel schlimmer sind aber einige Einzelergebnisse. Zwei Tage vor der Wahl 7,0% für die FDP voraussagen, und dann landen die bei 2,8%, also ein Fehler um den Faktor 2,5, ist schon ein eklatanter Fail.

• • Landtagswahl Saarland 25.3.2012
    • Twittprognosis, 23.3.2012: 7,3
    • Twittprognosis, 19.3.2012: 10,5
    • Twittprognosis, 15.3.2012: 10,2
    • FGW, 16.3.2012: 8,4
    • infratest dimap, 15.3.2012: 8,3
    • Forsa, 9.3.2012: 12,7

Die "Prognose" zwei Tage vor der Wahl von Twittprognosis war also tatsächlich die beste, allerdings waren die zeitlich eher mit den seriösen Instituten vergleichbaren Zahlen von Twittprognosis mit Abstand am schlechtesten.

• • Abgeordnetenhauswahl Berlin 18.9.2011
    • Twittprognosis, 16.9.2011: 13
    • Info GmbH, 15.9.2011: 7,4
    • FGW, 9.9.2011: 13,6
    • infratest dimap, 8.9.2011: 9,6
    • Emnid, 4.9.2011: 16,6
    • Forsa, 2.9.2011: 14,6

Die "bei Abgeordnetenhauswahl Berlin 2011 war lediglich die INFO GmbH besser" ist falsch. Nicht nur war die Info GmbH bedeutend besser, auch die eine Woche ältere Prognose von infratest dimap schlägt Twittprognosis deutlich. Die FGW ist dagegen nur knapp schlechter, allerdings eine Woche früher.

• • "Wir sagten als erste voraus, dass die #Piraten in den Berliner Landtag einziehen würden."

Das ist formell richtig. Ab dem 18.8. standen Piraten bei Twittprognosis bei 5%. Allerdings hatte auch Twittprognosis die Piraten am 31.7. noch gar nicht auf dem Zettel, sah NPD, Freiheit und Reps als wichtigste Sonstige. Da war Infratest am 6.7. schon weiter und listete Piraten als einzige damalige "Sonstige" mit 2%. Erst nachdem Infratest am 10.8. die Piraten mit 3%, und Info GmbH am 18.8. mit 4,5% bewertet hatte, setzte Twittprognosis noch einen drauf und bewertete die Piraten vorerst mit 5%. Als Infratest dann am 8.9. 6,5% voraussagte, erhöhte Twittprognosis am Tag darauf auf 7%. Lame.

Fazit

Die Behauptung, Twittprognosis würde regelmäßig bessere Voraussagen treffen, als alle herkömmlichen Institute, ist nachweislich falsch. Teilweise sind sogar ganz kuriose Ausreißer enthalten (z.B. FDP 7% in MeckPomm, Familienpartei 3,5% in Berlin). Im Großen und Ganzen entsprechen die Ergebnisse dem, was man erwarten kann, wenn jemand mit einigermaßen Überblick über die politische Landschaft die Umfrageergebnisse anderer Institute nimmt, und sich anhand der Tagespresse Gedanken macht. Für die Anwendung wissenschaftlicher Methodik fehlt jeglicher Beweis.