Voting Advice Applications Programmvergleiche: Mehr Varianz = mehr Signifikanz?

Wahlempfehlungs-Tools (engl. Voting Advice Applications, VAA) helfen Wähler*innen, die politischen Angebote der Parteien leichter zu vergleichen. Sie ermöglichen es, Unterschiede anhand von Wahlprogrammen und zunehmend auch durch vergangene Abstimmungen herauszuarbeiten. In Deutschland hat sich dabei ein Tool als de-facto-Standard etabliert: der Wahl-O-Mat. Allerdings können andere Tools, insbesondere im Hinblick auf die zweite Zielsetzung, eine deutlich bessere Differenzierungsleistung erbringen. So arbeitet der Wahltest Unterschiede zwischen den Programmen mit einer etwa zwei- bis dreimal höheren Signifikanz heraus.
Seit 2019 bietet wegewerk den "Wahltest", ein Wahlempfehlungs-Tool, das bereits 2001 im Auftrag des Senders Freies Berlin erstmals eingesetzt wurde, in Eigenregie zu Bundestags- und Europawahlen an. Nutzer*innen gaben uns dabei häufiger das Feedback, dass sich der Wahltest im Vergleich zu anderen Wahlempfehlungs-Tools durch eine deutlich stärkere Differenzierung der Ergebnisse auszeichnet. Entweder unterscheidet sich die Reihenfolge der Parteien signifikant, oder das Ergebnis fällt insgesamt klarer aus. Um dieses Phänomen systematisch zu untersuchen, haben wir die Ergebnisse für prototypische Wähler*innen in verschiedenen Wahlempfehlungs-Tools verglichen. Ziel war es herauszufinden, wie groß der Abstand zwischen der erstplatzierten Partei und den Zweit- bzw. Drittplatzierten ausfällt und welche Parteien jeweils diese Plätze belegen.
In einem ersten Schritt verglichen wir die Ergebnisse des Wahltests für prototypische Wähler*innen mit denen des Wahl-O-Mat. Ein "prototypischer Wähler" bedeutet hier, dass wir ein Szenario untersuchten, in dem eine 100%ige Übereinstimmung mit einer Partei vorliegt. Analysiert wurden alle Parteien, die 2025 in den Bundestag gewählt werden.
Ergebnisvergleich Wahl-O-Mat vs. Wahltest





Unsere These lautete, dass die unterschiedlichen Antwortformate maßgeblich zur Differenzierungsleistung beitragen. Der Wahl-O-Mat hat von seinem niederländischen Vorbild StemWijzer das Prinzip übernommen, politische Themen in Form von Fragen darzustellen, die mit "Ja" oder "Nein" beantwortet werden können. Zusätzlich gibt es die Position "Neutral", die "Weder Ja noch Nein" entspricht und als Übereinstimmung gewertet wird – obwohl unklar bleibt, ob Partei und Wähler*in dabei tatsächlich vergleichbare Positionen vertreten. Im Kern handelt es sich also um ein binäres Antwortschema, das die Komplexität der politischen Positionen vereinfacht, vermutlich um das Tool nutzerfreundlicher erscheinen zu lassen.
Im Wahltest hingegen ist neben "Ja" und "Nein" auch ein multivariables Antwortschema möglich. So gab es bei der Bundestagswahl 2025 zu einer Frage sieben verschiedene Antwortmöglichkeiten, da die untersuchten Parteien zur Frage, wie die Rente künftig gesichert werden soll, grundsätzlich unterschiedliche Positionen vertraten. Um unsere These zu untermauern, verglichen wir die Ergebnisse zusätzlich mit dem Voteswiper, einem weiteren Wahlempfehlungs-Tool, das – ähnlich dem Wahl-O-Mat – ein streng binäres Antwortschema verwendet, allerdings ohne die Option "Neutral". Nach unserer Hypothese müsste die Differenzierungsleistung des Voteswipers daher entweder genauso hoch oder sogar geringer ausfallen (abhängig davon, ob die "Neutral"-Option im Wahl-O-Mat tatsächlich eine Differenzierung ermöglicht oder nicht).
Ergebnisvergleich Wahl-o-Mat vs. Voteswiper





Die Ergebnisse im Überblick:
Wahl-O-Mat | Voteswiper | Faktor | Wahltest | Faktor | |||
CDU | |||||||
Abstand 2. Platz | (AfD) 31,6% | (AfD) 20,1% | 0,63 | (FDP) 19% | 0,61 | ||
Abstand 3. Platz | (FDP) 32,9% | (FDP) 28,9% | 0,87 | (AfD) 63% | 1,91 | ||
AFD | |||||||
Abstand 2. Platz | (CDU) 31,6% | (CDU) 21,1% | 0,67 | (BSW) 59% | 1,87 | ||
Abstand 3. Platz | (FDP) 38,2% | (FDP) 44,7% | 1,17 | (FDP) 67% | 1,75 | ||
SPD | |||||||
Abstand 2. Platz | (Grüne) 10,5% | (Grüne) 10,5% | 1,00 | (Grüne) 37% | 3,52 | ||
Abstand 3. Platz | (Linke) 22,4% | (Linke) 21,1% | 0,94 | (Linke) 67% | 2,99 | ||
DIE GRÜNEN | |||||||
Abstand 2. Platz | (SPD) 10,5% | (SPD) 10,5% | 1,00 | (SPD) 37% | 3,52 | ||
Abstand 3. Platz | (Linke) 19,7% | (Linke) 21,1% | 1,07 | (Linke) 63% | 3,20 | ||
LINKE | |||||||
Abstand 2. Platz | (Grüne) 19,7% | (SPD) 21,1% | 1,07 | (Grüne) 67% | 3,40 | ||
Abstand 3. Platz | (SPD) 22,4% | (Grüne) 21,1% | 0,94 | (BSW) 67% | 2,99 | ||
DURCHSCHNITT | 0,94 | 2,58 |
Fazit:
Während die beiden binären Tools (Wahl-O-Mat und Voteswiper) mit einer durchschnittlichen Ergebnisabweichung von 6 % in ihrer Differenzierungsleistung relativ nah beieinander liegen, erzielt der Wahltest mit seinem multivariablen Antwortschema in unserer Untersuchung eine 2,58-mal höhere Differenzierung. Dies könnte sich auch auf die Reihenfolge der Zweit- und Drittplatzierten auswirken, was eine Erklärung für die teils unterschiedlichen Platzierungen sein könnte. Allerdings dürften ebenso redaktionelle Unterschiede in der Themengestaltung eine Rolle spielen – hier setzen die drei Tools unterschiedliche Schwerpunkte. Eine weitere Beobachtung ist, dass die Antwortoption "Neutral" im binären Antwortschema des Wahl-O-Mat dessen Differenzierungsleistung nicht signifikant erhöht, obwohl auch die untersuchten Parteien an verschiedenen Stellen von dieser Option Gebrauch machten. Dies würde die These der Macher des Voteswipers stützen, dass auf neutrale Positionen problemlos verzichtet werden kann.
Dieser Blogpost erhebt keinen Anspruch auf eine wissenschaftliche Untersuchung. Vielmehr möchten wir auf die Notwendigkeit hinweisen, die Wirkung unterschiedlicher Frage- und Bewertungsmethoden in Wahlempfehlungs-Tools besser wissenschaftlich zu untersuchen. Die bisherige Forschung zum Wahl-O-Mat hat diesen primär als gesellschaftliches Phänomen betrachtet, jedoch seine Wirkung weitgehend im Rahmen des vorgegebenen Antwortschemas belassen. Wenn sich 29 Millionen Nutzer*innen – das wären rund die Hälfte aller Wahlberechtigten – zur Bundestagswahl mit einem bestimmten Tool über Parteiprogramme informieren und dieses Tool mit einer millionenschweren bundesweiten Plakatkampagne beworben wird, sollte dann nicht sichergestellt sein, dass tatsächlich das bestmögliche Produkt am Markt ist?