Große Sprachmodelle: unzuverlässig
Untersuchung von Algorithmwatch zu den Landtagswahlen 2024
Untersuchung von Algorithmwatch zu den Landtagswahlen 2024
Die Antworten waren schlicht falsch. Das BSW wurde mal als Brandenburger Sozialistische Wählergemeinschaft, mal als Bürgerbündnis für soziale Werte bezeichnet und nicht – wie es richtig gewesen wäre – als Bündnis Sahra Wagenknecht. Eine Ausnahme? Nein. Die Nichtregierungsorganisation Algorithmwatch hatte große Sprachmodelle vor den Landtagswahlen 2024 untersucht. Das Ergebnis: Sie sind unzuverlässig. Im Hinblick auf die baldigen Bundestagswahlen ist das keine gute Nachricht.
Beunruhigender als die falsche Parteienbezeichnung fand Algorithmwatch erfundene Details oder vermeintliche Skandale über Politiker*innen. Da wurde ein Kandidat der Freien Wähler mit dem gleichnamigen ungarischen Wissenschaftler verwechselt. In einigen Fällen wurde offenkundig, dass das Sprachmodell mehrere Geschichten über Kandidat*innen erfand und ein anderer sei angeblich in die US-Politik verwickelt. Untersucht hatte Algorithmwatch die vier Modelle Microsoft Copilot, Google Gemini sowie GPT-3.5 und GPT-4o von Open AI. Ausgewertet wurden die zwischen dem 29. Juli und dem 30. September 2024 gesammelten 598.717 Antworten aus 817 Prompts zu 14 verschiedenen Themen – vom Wahltermin bis zu den Positionen der Kandidat*innen der großen Parteien in allen drei Bundesländern. Ziel sei es gewesen, Chatbot-Antworten umfangreicher und systematischer zu untersuchen als zuvor, um zu prüfen, ob sich Muster für mögliche Risiken für die demokratische Meinungsbildung erkennen ließen.
Die Empfehlungen: Forschende bräuchten einen besseren Zugang zu den großen Sprachmodellen. Schutzvorkehrungen von Unternehmen sollten auch bei Fragen zu Kandidat*innen greifen. Und die Warnungen wie »Der Chatbot kann Fehler machen. Überprüfe wichtige Informationen« seien für sensible Themen wie Wahlen nicht ausreichend. Unternehmen sollten ihrer Verantwortung gerecht werden, statt Nutzer*innen mit solchen leicht zu überlesenden Hinweisen abzuspeisen, sagt Algorithmwatch.
Der Schlussbericht zur Untersuchung zu Chatbots vor den Landtagswahlen 2024 kann heruntergeladen werden.