Von wegen neutral – KI reproduziert Vorurteile, Klischees und Diskriminierung
Unser Standpunkt
Die Vorstellung, künstliche Intelligenz sei neutral, hält sich hartnäckig. Computer rechnen präzise und folgen Algorithmen, dann muss das doch auch für KI gelten. Zumal KI auf mathematischen Modellen basiert. Ist es nicht beruhigend zu glauben, dass diese Systeme frei von menschlichen Vorurteilen sind? Die Realität ist eine andere. Technologieberaterin Leandra Scholz weiß, wie KI diskriminiert, warum das so ist und was Betriebsräte tun können.
»Fast wäre auch diese Diskriminierung nicht entdeckt worden. Eine Frau, 40 Jahre alt, mit gutem Job und Gehalt bestellt Kleidung in einem Online-Shop und wählt ›Kauf auf Rechnung‹. Das wird abgelehnt. Sie muss in Vorkasse gehen.
Auf ihre Nachfrage schickt ihr der Online-Händler das Ergebnis einer Prüfung der externen Auskunftei, die ihre Kreditwürdigkeit geprüft hat. Offensichtlich hat ein automatisiertes System entschieden, dass Frauen um die 40 nicht kreditwürdig genug sind. Die Frau lässt nicht locker und hakt beim Kreditprüfungsunternehmen nach. Ein Mitarbeiter vermutet, dass sie deshalb abgelehnt wurde, weil Frauen ›in ihrem Alter eher geschieden und mittellos‹ seien.
Diesen Fall hat die Nichtregierungsorganisation AlgorithmWatch in ihrem Ratgeber ›Automatisierte Entscheidungssysteme und Diskriminierung‹ geschildert. Dort ist auch ein weiteres Beispiel für eine fast unbemerkte Diskriminierung beschrieben: Ein in Italien lebender Mann hat die italienische und nigerianische Staatsbürgerschaft. Bislang machte er die Erfahrung, dass sich seine Beiträge für die Autoversicherung unterschieden – je nachdem welche Nationalität er angab.
Seit die Versicherung online abgeschlossen wird und seine persönlichen Informationen über eine automatisierte Abfrage der Steuernummer in das System eingespeist werden, kann er eine Diskriminierung nicht mehr belegen. Aber mehrere Universitäten bestätigten seinen Verdacht: Anhand von fiktiven Profilen und mithilfe von Vergleichsportalen wiesen sie nach, dass abhängig von Geburtsort und Staatsbürgerschaft die Beiträge für ansonsten identische Kund*innenprofile stark variierten. So muss ein*e Fahrzeughalter*in, der/die in einem afrikanischen Land geboren ist, bis zu 1.000 Euro pro Jahr mehr zahlen als jemand, der in Italien geboren ist. Das Beispiel zeigt auch, dass die automatisierte Verarbeitung von Prozessen zu Verschleierungen führen. Für die Person ist nicht mehr ersichtlich, welche persönlichen Daten für die Entscheidung genutzt werden – es braucht aufwendige Studien, um eine Diskriminierung nachzuweisen.
Menschengemachte Daten
Wie kann das passieren? Warum diskriminieren KI-Systeme? Zunächst einmal: Nicht jedes KI-System diskriminiert. Ein KI-gestütztes Bilderkennungstool, das die Qualität von Schrauben beurteilt, benachteiligt nicht. Anders verhält es sich mit einer Gesichtserkennungssoftware für biometrische Fotos, die das Gesicht einer schwarzen Frau im Fotoautomaten nicht als Motiv erkennt – das ist Diskriminierung.
Trifft ein KI-System eine Entscheidung über einen Menschen, ist das Risiko einer Diskriminierung hoch. Denn KI-Systeme entscheiden aufgrund statistischer Wahrscheinlichkeiten. Sie versuchen Muster in Daten zu erkennen – diese Daten sind kein Abbild, sondern ein Ausschnitt der Realität und können ein verzerrtes Bild darstellen. Außerdem ist die Realität geprägt von diskriminierenden Strukturen. Anders gesagt: Daten sind nicht neutral.
Eine Blackbox
Die Komplexität der Systeme führt zudem dazu, dass wir nicht mehr nachvollziehen können, welche Kriterien das KI-System für die Mustererkennung heranzieht. Diese Funktionsweise erschwert es unter anderem, ein vorurteils- und klischeefreies KI-System zu gestalten. Aufgrund dieser intransparenten Entscheidungsfindung spricht man vom Blackbox-Phänomen.
Für Beschäftigte ist ein KI-gestütztes Verfahren undurchsichtig: Überlässt das Unternehmen einer KI-Anwendung, über Beförderungen, Teilnahme an Weiterbildungen oder Schichteinsatzplänen zu entscheiden, sind die Kriterien für die Entscheidung unklar – sprich: Eine Diskriminierung kann nicht ausgeschlossen werden. Zugegeben, auch Vorgesetzte entscheiden nicht objektiv. Aber einem KI-System wird per se ein neutrales Vorgehen unterstellt und das ist – wie die Fälle belegen – nicht richtig. Stattdessen werden Vorurteile durch das System manifestiert und – weil Trainingsdaten auf die Vergangenheit zurückgreifen – ständig reproduziert.
Indirekt diskriminiert
Diskriminierung gibt es auch indirekt. Dann handelt es sich nicht um die klassischen Diskriminierungsmerkmale nach dem Allgemeinen Gleichbehandlungsgesetz (AGG), also Benachteiligungen aus rassistischen Gründen oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität. Stattdessen werden Stellvertreterkategorien herangezogen, die im Ergebnis jemanden benachteiligen. Das heißt dann Proxy-Diskriminierung.
Beispiel: Bewerber*innen dürfen nicht aufgrund ihres Alters aussortiert werden. Nun ist aber denkbar, dass bestimmte Merkmale einer Personengruppe auf deren Alter verweisen, beispielweise die Berufserfahrung. Ein KI-System, das die Vorsortierung von Bewerbungen übernimmt, könnte, obwohl das Alter als Bewertungskriterium systemisch explizit ausgeschlossen ist, Bewerbungen von älteren Menschen als ungeeignet klassifizieren. Dies wäre dann eine Proxy-Diskriminierung.
Werkzeug für den Betriebsrat
Diskriminierung durch KI-Systeme zu erkennen, ist schwer. Dafür braucht es Wissen über die Trainingsdaten und den Algorithmus. Der Betriebsrat hat grundsätzlich die Möglichkeit, Fragen zu diesen Themen zu stellen. Um dem Diskriminierungsrisiko im Betrieb nachspüren zu können, braucht der Betriebsrat Informationen darüber, ob KI-Systeme eingesetzt werden. Hierzu kann der Betriebsrat vom Arbeitgeber ein Register verlangen, in dem sämtliche IT-Systeme im Unternehmen verzeichnet sind.
Nach § 90 BetrVG ist das Unternehmen verpflichtet, den Betriebsrat über die Planung von Arbeitsverfahren und Arbeitsabläufen, einschließlich des Einsatzes von künstlicher Intelligenz, rechtzeitig und umfassend zu informieren. Kommt der Arbeitgeber seiner Informationsverpflichtung nicht nach, sollte der Betriebsrat alles versuchen, um herauszufinden, ob KI eingesetzt wird: beispielsweise seine Kontakte in die IT-Abteilung nutzen, unternehmensinterne Veröffentlichungen auswerten, Hinweisen aus der Belegschaft nachgehen etc.
Wir beobachten in unseren Beratungen, dass KI-Komponenten teilweise auf einmal über Upgrades oder Updates ins System gelangen. Auch das gilt es, im Blick zu behalten. Dem Betriebsrat kommt zugute, dass Softwarehersteller KI als Verkaufsargument nutzen. Darauf kann sich der Betriebsrat berufen.
Weiß der Betriebsrat, dass KI eingesetzt wird, oder hat er die Vermutung, kann er vom Arbeitgeber dazu Informationen verlangen. Es ist empfehlenswert, die Fragen schriftlich zu stellen und auf schriftliche Beantwortung zu bestehen. Die Antworten dienen ihm in einer eventuellen arbeitsrechtlichen Auseinandersetzung als Beleg.
Der Betriebsrat kann auch einzelnen KI-Anwendungen zustimmen oder sie verweigern. Um beim Beispiel zu bleiben: Gegen ein KI-gestütztes Bilderkennungstool zur Qualitätssicherung bei Schrauben spricht wenig, wohl aber gegen eine automatisierte Auswahl von Bewerbungen.«
Zum Weiterlesen:
AlgorithmWatch: Automatisierte Entscheidungssysteme und Diskriminierung. Ursachen verstehen, Fälle erkennen, Betroffene unterstützen. Ein Ratgeber für Antidiskriminierungsstellen. 2022.
Warum Daten nicht neutral und KI-gestützte Personalmanagementsysteme für Beschäftigte besonders riskant sind und noch viel mehr, steht in dem neuen Handlungsleitfaden der BTQ Kassel mit dem Titel »Fehler im System: Was tun, wenn uns KI ungerecht behandelt?«, der jetzt hier online verfügbar ist und per E-Mail gedruckt bestellt werden kann. Leandra Scholz ist eine der Hauptautor*innen.