Auch deshalb, weil immer wieder negative Auswirkungen von KI-Systemen auf Beschäftigte festzustellen sind. Ein Beispiel sind die häufig genannten Arbeitsbeziehungen von Essenslieferant*innen. Die Aufträge der Rider werden über digitale Plattformen vermittelt, ohne dass ein Mensch an der Auftragsvergabe beteiligt ist. Alles wird aufgezeichnet: Welche Strecken die Fahrer*innen genommen, wie lange sie pausiert haben und wie sie von der Kundschaft bewertet wurden. Auf Grundlage nicht nachvollziehbarer Kriterien entscheidet ein Algorithmus, wem der nächste Auftrag zugeteilt wird. Darauf haben die Beschäftigten keinen Einfluss; meist weiß nicht einmal der Arbeitgeber, wie diese Systeme funktionieren. Die Beschäftigten stellen lediglich fest, dass die Auftragsvergabe offensichtlich aufgrund einer Leistungs- und Verhaltensbewertung geschieht. Diese würden womöglich einer Betriebsvereinbarung widersprechen. Doch solange Beschäftigte nicht wissen, wie die Auftragsvergabe funktioniert und aufgrund welcher Daten das System entscheidet, können sie auch keinen Verstoß geltend machen. Insofern wäre der AI Act hilfreich für sie.

Hochrisiko-KI-Systeme sind nicht verboten

Auch wenn es sich bei der am 12. Juli 2024 veröffentlichten EU-Verordnung (was in Deutschland einem Gesetz entspräche) um einen Kompromiss handelt, ist der AI Act ein guter erster Aufschlag. Hersteller hatten zuvor mächtig Lobbyarbeit betrieben, damit keine ihrer Meinung nach wettbewerbseinschränkende Regulierung verabschiedet wird. Jetzt wird es darauf ankommen, wie der AI Act in den nächsten zwei Jahren umgesetzt und wie scharf die von Deutschland einzurichtende Aufsichtsbehörde überwachen wird. Das ist ähnlich einer Betriebsvereinbarung: Entscheidend ist, ob sie gelebt wird oder nur auf dem Papier existiert. Zudem müssen die Behörden personell ausreichend ausgestattet sein.

Die EU-Kommission hat KI-Systeme in unterschiedliche Risikogruppen unterteilt. Dazu gehören unannehmbare Risiken. KI-Systeme, die beispielsweise soziales Verhalten und Persönlichkeitsmerkmale auswerten (Social Scoring), sind ebenso verboten wie Gesichtserkennung durch ungezieltes Filtern von Bildern aus dem Internet und Überwachungskameras. Eine weitere Risikogruppe betrifft Hochrisiko-KI-Systeme. Dazu gehören KI-Systeme, die für die Personalbeschaffung gedacht sind, also freie Stellen anzeigen, Bewerbungen sichten und filtern, Bewerber*innen bewerten, über Beförderungen und Kündigungen entscheiden, Aufgaben automatisiert zuweisen sowie Leistung und Verhalten von Beschäftigten überwachen. Darunter fallen Module von Personalmanagementsystemen, etwa Recruiting oder Talentmanagement, bei denen auf Basis von Beschäftigtenprofilen automatisierte Entscheidungen getroffen werden.

Kleiner Einschub: Betroffene sowie Interessenvertretungen können sich zudem auf Artikel 22 i. V. m. Artikel 13 Abs. 2 lit. f.) oder 14 Abs. 2 lit. g.) der Datenschutzgrundverordnung (DSGVO) berufen, wonach jeder das Recht hat, »nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden« und »aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswir­kungen einer derartigen Verarbeitung« zu erhalten.

Aber nicht nur automatisierte Entscheidungen über eine Beförderung oder über eine Weiterbildung sind problematisch für Beschäftigte, sondern auch die Einstufung in sogenannte Low- oder High-Performer. Aufgrund welcher Daten ist das System zu dieser Entscheidung gekommen? Ich empfehle, solche Module nicht einzuführen, weil die Kriterien nicht nachvollziehbar sind, aber erhebliche Auswirkungen auf die (Weiter)Beschäftigung haben können.

Wohlgemerkt, diese Hochrisiko-KI-Systeme sind nicht verboten, aber die Anbieter müssen eine sogenannte Konformitätserklärung abgeben, also zusichern, dass sie sich an die geltenden EU-Gesetze und die Vorgaben der KI-Verordnung halten. Für die Kontrolle und Zertifizierung wird pro Mitgliedsstaat mindestens eine gesonderte Stelle eingerichtet. Die EU-Kommission wird einmal im Jahr prüfen, ob die Risiko-Einstufung der KI-Systeme anzupassen ist.

Mit welchen Daten wurde das KI-System trainiert?

Ich gehe davon aus, dass es durch den AI Act möglich wird, bei Hochrisiko-KI-Systemen substanziellere Informationen von Herstellern über die KI-Systeme in ihren Produkten zu erhalten. Mit welchen Daten wurde das KI-System trainiert? Können aufgrund der Informationen über diese Datenquellen Diskriminierungen ausgeschlossen werden? Hochrisiko-KI-Systemen werden damit erhöhte Prüfpflichten auferlegt und müssen ein Zertifizierungsverfahren durchlaufen, bevor sie in Verkehr gebracht werden dürfen. Das würde nach meinem Rechtsverständnis auch im Nachhinein gelten, also für bereits eingesetzte Personalmanagementsystemen, zumindest bei deren Update. Kurzum:  Ich sehe im AI Act das Potenzial, Licht in weite Teile der bisherigen Black Box-Systeme zu bringen.

Schutz der Arbeitnehmer*innen kommt so gut wie nicht vor

Allerdings sehe ich im AI Act große Lücken beim Thema Beschäftigungsverhältnis, was übrigens auch für die Datenschutzgrundverordnung gilt. Nur drei von insgesamt 180 Erwägungsgründen in der EU-Verordnung zu KI beziehen sich auf das Thema Beschäftigung. Eine Bezugnahme zum Arbeitnehmer*innenschutz findet sich im Erwägungsgrund 9 zur Verwendung von Hochrisiko-KI-Systemen sowie in 56 und 57 (Einstufung von KI-Systemen als hochriskant, die u.a. über Zugang oder Zulassung von Personen zu Bildungseinrichtungen urteilen oder über Einstellung, Auswahl, Beförderung oder Kündigung etc.). Hier wird deutlich, dass Beschäftigung und Arbeitnehmer*innenschutz keine bedeutende Rolle spielen.

Eigenständiger Beschäftigtendatenschutz fehlt

Wichtig wäre allerdings, dass der Gesetzgeber konkretisiert, zu welchen Zwecken Beschäftigtendaten im Beschäftigungsverhältnis verwendet werden dürfen. Die Notwendigkeit eines spezifischen Beschäftigtendatenschutzes, wie ihn die Gewerkschaften seit langem fordern, steht nach wie vor aus. Hier könnten die Überwachung durch Video- und Tonaufzeichnungen, die Erstellung von Bewegungsprofilen, der Predictive Analytics auf Basis von Big Data und Data Mining mittels KI-gestützter Verfahren, also die Verknüpfung von Beschäftigtendaten (Profiling) etwa in Personalmanagementsystemen explizit ausgeschlossen und eine Stärkung des Schutzes personenbezogener Daten insbesondere im Bereich des freiheitsgefährdenden Profiling vorgenommen werden. Da wichtige Konkretisierungen in der bestehenden Rechtslage fehlen, läuft es häufig auf eine Verhältnismäßigkeitsabwägung – oder in Betrieben ohne Interessenvertretung – auf eine bloße Ermessensabwägung des Arbeitgebers hinaus. Die Notwendigkeit eines eigenständigen Beschäftigtendatenschutzgesetzes oder zumindest einer weiteren Konkretisierung des Bundesdatenschutzgesetzes und der Datenschutzgrundverordnung wird durch die technischen Entwicklungen und deren Verarbeitungsmöglichkeiten mit Big Data und KI immer dringlicher.

Nach der Veröffentlichung im Amtsblatt der Europäischen Union trat der AI Act (KI-Verordnung) am 1. August 2024 in Kraft. Damit beginnen die Umsetzungsfristen für die Mitgliedstaaten, die bereits bis Februar 2025 die für die Marktüberwachung zuständigen Institutionen benennen müssen. In Deutschland werden dies die Datenschutzbehörden sein, die dann für weite Teile des Hochrisikokatalogs des KI-Gesetzes zuständig sein werden. Es ist zu hoffen, dass diese für die zusätzlichen Tätigkeiten mit entsprechenden Ressourcen ausgestattet werden.

Die Interessenvertretungen sollten sich bereits jetzt mit dem EU-Gesetz vertraut machen, eine Rahmenbetriebsvereinbarung zur Einführung von KI-Systemen vorbereiten und im Gremium Haltelinien, aber auch Ethik-Richtlinien diskutieren.«