»Ihr Chef weiß, ob Sie gestresst sind – an der Art, wie hektisch Sie auf der Tastatur tippen und wie unruhig Sie die Maus bewegen.

Die Eltern wissen, ob die Stimmung Ihres Kindes von der in seiner Klasse abweicht.

Die Firma, in der Sie sich beworben haben, weiß anhand Ihres Gesichtsausdruckes, Ihrer Gestik und der Art, wie Sie sprechen, laut oder leise, schnell oder langsam, ob Sie zu den High Performern gehören werden oder ob man Sie besser nicht einstellt.

Ihre Vorgesetzte weiß, in welcher Stimmung Sie sind – das gelingt ihr aufgrund der Sentiment-Analyse Ihrer Social-Media-Inhalte.

Klingt unheimlich? All das soll mithilfe der biometrischen Verhaltensanalyse möglich sein. Die biometrische Verhaltensanalyse erfasst und analysiert individuelle, wiederkehrende und schwer nachzuahmende Muster von Verhaltensweisen von Menschen, um diese zu kategorisieren und zu identifizieren. Dabei kann es sich um die Nutzung des Smartphones, das Tippverhalten auf der Tastatur, die Bewegungen der Maus oder sogar um die Analyse der Art und Weise des Gehens handeln.

Alte Konzepte wieder aktuell

Dabei handelt es sich nicht um neue Konzepte. Aber mit den Möglichkeiten der künstlichen Intelligenz erhalten sie neue Aktualität. Datengetriebene Modelle werden mit einer Vielzahl an Informationen gefüttert und liefern vielfältige Anwendungs- und Analysemöglichkeiten.

Biometrische Daten werden auch bei der Gesichtserkennung (Face Recognition), der Analyse natürlicher Sprache (Natural Language Processing, NLP) und Stimmungsanalysen (Sentiment Analysis) verarbeitet. Diese Technologien basieren auf der Auswertung großer Datenmengen, um etwa Gesichter, Verhalten, Sprache und Emotionen zur Kategorisierung und Identifizierung. Sie werden eingesetzt, um automatisiert Bewertungen vorzunehmen und Entscheidungen zu treffen. Sie verarbeiten damit nach Artikel 9 DSGVO besondere Kategorien personenbezogene Daten und sind demnach datenschutzrechtlich und ethisch kritisch zu prüfen.

Was bezwecken die Hersteller? Beispiel Schule: Microsoft Reflect nutzt sogenannte süße Gefühlsmonster, mit denen die Schulkinder ihre Gefühle ausdrücken sollen. Laut Hersteller soll die App Lehrkräften dabei helfen, Einblicke in das Wohlbefinden der Lernenden zu erhalten, auf Emotionen zu reagieren und so eine »glücklichere und gesündere Lerngemeinschaft« zu schaffen.

Ob das funktioniert, ist zweitrangig. Was auf jeden Fall funktioniert, ist die Gewöhnung der Beschäftigten von morgen an Microsoft-Software und derart fragwürdige Bewertungstools.

Angeblich schnellere Auswahl von Bewerber*innen

Beispiel: Bewerbung. Das US-amerikanische Personalmanagement-Video-Tool von HireVue bietet eine automatisierte Vorauswahl von Bewerber*innen. Mit den Kandidat*innen werden Videointerviews durchgeführt, möglicherweise sogar über drei Vorstellungsrunden, bis sie das erste Mal auf ein menschliches Gegenüber treffen. HireVue verspricht seiner Kundschaft, die Bewerber*innen nach ihrer Wortwahl, Tonalität, Gestik und Gesichtsausdrücken zu analysieren. Aus diesen Merkmalen ließen sich angeblich Rückschlüsse auf die Emotionen und die Persönlichkeit der Bewerbenden ziehen.

Das US-Unternehmen verspricht, mit seiner Software die Vielfalt zu erhöhen und die Voreingenommenheit zu reduzieren. Zudem konnte laut Aussage einer internationalen Hotelgruppe die Zeit für die Bewerber*innenauswahl von durchschnittlich 42 auf fünf Tage reduziert werden. Das findet natürlich Anklang bei Arbeitgebern und Personalabteilungen.

Rückzug nach Beschwerden

Allerdings waren bei der Nichtregierungsorganisation Electronic Privacy Information Center (EPIC) zahlreiche Beschwerden von Bewerber*innen eingegangen: Entscheidungen waren nicht nachvollziehbar und Ergebnisse nicht reproduzierbar. EPIC reichte 2019 Beschwerde bei der Federal Trade Commission ein und bekam Recht. HireVue hat die Gesichts- und Mimikanalyse schließlich aus dem Angebot genommen.

In Deutschland machte die 2018 gegründete Firma Retorio von sich reden, eine Ausgründung der Technischen Universität München. Retorio verspricht die Analyse der Persönlichkeit von Bewerber*innen aufgrund ihrer Mimik, Körpersprache und ihres Sprechverhaltens während videobasierter Vorstellungsgespräche.

Die Analyse universeller Emotionsausdrücke anhand eines kategorialen Modells geht zurück auf den US-amerikanischen Psychologen Paul Ekman, der Ende der 1960er-Jahre emotionale Gesichtsausdrücke klassifizierte. Nach seinen Angaben ließen sich sieben Basisemotionen unterscheiden: Freude, Wut, Ekel, Furcht, Verachtung, Traurigkeit und Überraschung. Diese – angeblich genetisch bedingten – Gesichtsausdrücke drückten Menschen nach Ansicht Ekmans über alle Kontinente und Kulturen hinweg gleich aus.

Keine Beweise

Dieses Konzept war und ist umstritten. Zudem wird kritisiert, dass diese Systeme Diskriminierungen fördern. Nach einer Analyse von über 1.000 Studien zu Emotionsausdrücken kamen Forscher*innen in einer Metastudie von 2019 zu dem Schluss, dass es keine zuverlässigen Beweise gibt. Menschen würden manchmal lächeln, wenn sie glücklich seien, und die Stirn runzeln, wenn sie traurig seien, jedoch variiere die Art und Weise, wie Menschen ihre Gefühle ausdrückten.

Dennoch boome der Markt für Emotionstechnologien, schrieben Nushin Yazdani und Marie Leidinger im Jahr 2021 in ihrem Beitrag »Die Vermessung der Emotionen« – von Überwachung im Supermarkt über Grenzkontrollen bis zu Alexa und Spotify.

Experiment des Bayrischen Rundfunks

Ein aufschlussreiches Experiment führte der Bayrische Rundfunk durch. Der Sender testete, was von den Versprechen zu halten ist, wonach Softwareprogramme die Persönlichkeitsmerkmale von Bewerber*innen anhand kurzer Videos bestimmen könnten – schneller und »objektiver« als durch den Menschen. Bewertet werden sollten Persönlichkeitsmerkmale wie Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizimus.

Im Experiment spricht eine Schauspielerin ihren Text in die Kamera, berichtet von Ausbildung, beruflichen Stationen und beruflichen Zielen. Dann ändert sie ihr Aussehen, trägt mal Perücke, mal Tuch, Pony-Frisur, Brille, wechselt von Bluse und Blazer zu einem T-Shirt. Den immer gleichen Text spricht die Testbewerberin mit gleicher Mimik.

Das Ergebnis: Die Werte schwankten deutlich. In einem anderen Test wurden Hintergründe und Helligkeit verändert. Auch hier schwankten die Werte. Fazit: Die künstliche Intelligenz lässt sich von Äußerlichkeiten beeinflussen. Was bedeutet das? Bewerber*innen könnten aufgrund nicht nachvollziehbarer Entscheidungen aussortiert, diskriminiert und um eine reelle Chance gebracht werden.

Möglicherweise könnte die Software im Interesse der Beschäftigten eingesetzt werden. In einem Fall hatte ein Unternehmen festgestellt, dass Beschäftigte die Vielzahl an Schulungsangeboten nur spärlich wahrnehmen. Nun könnte eine Software herausfinden, welche Schulung sich für welche Person eignet. Zum Beispiel ein Sprechtraining für jemanden, der häufig Füllwörter und »Ähs« in seine Sätze einbaut.

Um sicherzugehen, dass bei gleichem Input tatsächlich das gleiche Ergebnis erzielt wird, ist zu empfehlen, ein Experiment wie beim Bayrischen Rundfunk durchzuführen. Sprich: Bekommt die Kollegin mit Brille die gleichen Schulungen angeboten wie die Kollegin ohne Brille oder mit geändertem Hintergrund, wenn beide die gleichen Voraussetzungen mitbringen. Ist das Ergebnis zufriedenstellend und sensible, personenbezogene Daten werden nur für kurze Zeit und lokal zwischengespeichert und für diesen begrenzten Zweck eingesetzt, können solche Systeme die Erfüllung guter Absichten unterstützen.

Kritisch prüfen

Zu den verbotenen Praktiken im Bereich der KI gehören insbesondere KI-Systeme, deren Bewertungen auf sozialem Verhalten beruhen und die aufgrund inkonsistenter oder ungerechtfertigter Daten eine Benachteiligung oder Diskriminierung darstellen (Art. 5 Abs. 1 lit. c) sowie Systeme, die dazu dienen, Emotionen am Arbeitsplatz und in Bildungseinrichtungen abzuleiten (Art. 5 Abs. 1 lit. f). Generell sollten biometrische Daten nicht verarbeitet werden. Bei der Verwendung biometrischer Daten ist daher grundsätzlich eine Interessenabwägung zugunsten der Beschäftigten vorzunehmen. Wenn es gute Gründe für ihre Verwendung gibt, sollte die Verarbeitung auf ein Minimum reduziert werden und am besten gar nicht gespeichert oder die Speicherdauer auf ein Minimum begrenzt werden.

All die Modelle, die von Herstellern angepriesen werden, müssen kritisch auf die Verwendungszwecke geprüft werden. Dabei ist die Notwendigkeit der Datenerhebung darzulegen. Eine Abwägung der möglichen Vor- und Nachteile in Bezug auf Privatsphäre, Autonomie und Freiheit, insbesondere im Beschäftigungsverhältnis, das gem. Art. 6 Abs. 2 KI-VO i.V.m. Anhang III Nr. 4 als Hochrisikobereich eingestuft werden kann, muss in Form einer Grundrechtsfolgenabschätzung (FRIA-Fundamental Rights Impact Assessment) nach Art. 27 KI-VO und einer Datenschutz-Folgenabschätzung (DSFA) Art. 35 DSGVO erfolgen.

Fazit: Emotionstechnologien fehlt es an wissenschaftlicher Grundlage. Sie bergen – besonders im Bereich von Sicherheits- und Überwachungstechnologien – zahlreiche Risiken. Fehleranfällig sind sie auch, wie die wissenschaftliche Streitigkeiten bei den Grundannahmen emotionaler Basismodelle und das Praxis-Beispiel des Bayrischen Rundfunks zeigen.«

Die BTQ Kassel bietet ein Seminar zur KI-Verordnung und betrieblichen Gestaltungsmöglichkeiten an. Weitere Infos finden sich hier.

Quellen:

https://ethz.ch/de/news-und-veranstaltungen/eth-news/news/2023/04/stress-im-buero-durch-tipp-und-klickverhalten-erkennen.html

YAZDANI, Nushin/ LEIDINGER, Marie (2021): Die Vermessung der Emotionen, Gunda Werner Institut, Berlin URL: https://www.gwi-boell.de/de/2021/05/17/die-vermessung-der-emotionen

HARLAN, Elisa/ SCHNUCK, Oliver (2021): FAIRNESS ODER VORURTEIL? Fragwürdiger Einsatz von Künstlicher Intelligenz bei der Jobbewerbung, Bayrischer Rundfunk, report München URL: https://interaktiv.br.de/ki-bewerbung/; https://interaktiv.br.de/paper/AI-Automation-Lab_Blackbox-Reporting.pdf

PETERS, Robert (2021): Emotionserkennung mittels künstlicher Intelligenz – Perspektiven und Grenzen von Technologien zur Analyse von Gesichtsbewegungen Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), Karlsruher Institut für Technologiefolgen URL: https://publikationen.bibliothek.kit.edu/1000134317