Algorithmen und Systeme künstlicher Intelligenz halten im Bereich des Recruitings und der Verwaltung von so genannten Human Resources in zunehmendem Maße Einzug, um bestehende Prozesse zu optimieren – so auch beim Arbeitsmarktservice (AMS), der österreichischen Variante der Agentur für Arbeit. Wir stellen ein dort eingesetztes Assistenzsystem kurz vor und arbeiten Learnings heraus, wenn mithilfe von KI-Methoden Menschen kategorisiert werden sollen.
Ausgangsbeispiel „AMS-Algorithmus“
Im Rahmen eines Bescheides vom 16.08.2020 setzte sich die österreichische Datenschutzbehörde mit dem sogenannten „AMS-Algorithmus“ auseinander. Dabei handelt es sich um einen Algorithmus des Arbeitsmarktservice zur Bestimmung der Chancen von Arbeitsuchenden auf dem Arbeitsmarkt, dem Arbeitsmarktassistenz-System (AMAS). Dieses KI-System soll den Sachbearbeitenden die Einschätzung der Chancen Arbeitssuchender erleichtern, um so die zur Verfügung stehenden Ressourcen möglichst effizient einzusetzen.
Die Arbeitssuchenden wurden aufgrund bestimmter Kriterien in verschiedene Chancengruppen (niedrig, mittel und hoch) eingeteilt und die entsprechende Förderung (beispielsweise für Fortbildungsmaßnahmen) zugeteilt. Dabei kamen den Chancengruppen niedrig und hoch geringere Förderungen zu, da diese als vergeblich bzw. nicht notwendig angesehen wurden.[1] Im Rahmen dieses Systems wurden unter anderem Altersgruppe, Geschlecht, Beeinträchtigungen, Betreuungspflichten und die Staatsangehörigkeit als relevante Kriterien in die Beurteilung aufgenommen.
In dem Bescheid vom 16.08.2020 ordnete die Datenschutzbehörde eine Aussetzung der Verwendung des AMAS an.[2] Hinsichtlich dessen Benutzung bestünden rechtliche Bedenken vor allem in Hinblick auf den Datenschutz und die Betroffenenrechte, die sich aus der DSGVO ergeben.
Inzwischen hat das Bundesverwaltungsgericht der Republik Österreich der Beschwerde des AMS gegen den Beschluss der Datenschutzbehörde stattgegeben und den Bescheid aufgehoben.[3] Jedoch hat die Datenschutzbehörde dagegen Revision eingelegt, so dass noch keine höchstgerichtliche Entscheidung vorliegt. Doch auch ohne eine solche Entscheidung lässt sich bereits einiges aus diesem Fall lernen.
1. Risikoprofil festlegen
Auch im privaten Bereich werden vielfach Algorithmen und KI zur Klassifizierung und Bewertung sowie zur Unterstützung eingesetzt, so beispielsweise von Pepsi oder IKEA.[4] Zusätzlich werden in Zukunft Vorgaben des AI-Acts zu beachten sein. Der AI-Act, der sich derzeit im Entwurfsstadium befindet, trägt den etwas sperrigen Titel „Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“. Mit ihm soll eine Verordnung – ein für alle Rechtssubjekte der Union gleichermaßen bindender Rechtsakt – geschaffen werden, der den Einsatz von künstlicher Intelligenz reguliert. Der Entwurf folgt dabei einem risikobasierten Ansatz. Dieser teilt Systeme künstlicher Intelligenz, je nach Verwendung, in ein bestimmtes Risikoprofil (inakzeptables Risiko, hohes Risiko, geringes und kein Risiko) ein. Jede Einteilung ist entsprechenden Voraussetzungen und Reglements unterworfen.
Die oben angesprochenen Systeme zum Filtern von Bewerbungen, der Chanceneingruppierung von Arbeitssuchenden und zur Auswahl von potentiell zu kündigenden Arbeitnehmerinnen und Arbeitnehmern würden nach Art. 6 Absatz 2 des AI-Acts in Verbindung mit Anhang III Nr. 4 AI-Act unter die Kategorie der Hochrisiko-KI-Systeme fallen.
Im Rahmen dieser Kategorisierung müssen die Hochrisiko-KI-Systeme den Anforderungen des zweiten Kapitels des AI-Acts genügen. Anbieter sowie Nutzer müssen den jeweils entsprechenden Anforderungen des dritten Kapitels des AI-Act entsprechen. Als Anbieter gilt in diesem Kontext jede „natürliche oder juristische Person (also Menschen oder Körperschaften) […] die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke – in Verkehr zu bringen oder in Betrieb zu nehmen“. (Art. 3 Nr. 2 AI-Act). Nutzer ist dagegen gemäß Art. 3 Nr. 4 AI-Act jede „natürliche oder juristische Person […] die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.
Neben den zukünftigen Anforderungen im Rahmen des AI-Acts fallen solche Systeme jedoch bereits unter geltendes Recht, dem sie zu entsprechen haben.
2. Gleichstellungsrecht beachten
Im Rahmen des geltenden Rechts ist, gerade wenn es um die Kategorisierung von Personen geht (auch beim Einsatz von KI-Systemen), das Allgemeine Gleichbehandlungsgesetz (AGG) zu berücksichtigen. Dieses Gesetz dient der Umsetzung des verfassungsrechtlich verankerten (Art. 3 Grundgesetz) Diskriminierungsverbotes und des Grundsatzes der Gleichbehandlung sowie des Diskriminierungsverbotes aus den Art. 21 bzw. 23 der EU-Grundrechtecharta.[5]
Anwendungsbereich des AGG
Damit das AGG anwendbar ist, muss zunächst dessen sachlicher und persönlicher Anwendungsbereich eröffnet sein. Für die oben genannten Systeme im Bereich des sogenannten „Robot-Recruiting“ (also KI-Assistenzsysteme, die die Arbeit der HR-Abteilungen unterstützen sollen), ist insbesondere der sachliche Anwendungsbereich nach § 2 Abs. 1 Nr. 1, 2 AGG relevant.[5] Der persönliche Anwendungsbereich erstreckt sich nach § 6 AGG auf Beschäftigte sowie nach § 19 AGG auch auf zivilrechtliche Verhältnisse. So muss beispielsweise auch ein KI-System, dass für einen Vermieter eine Mieterauswahl trifft, den Ansprüchen des AGG genügen.
Benachteiligung und deren Folgen
Die Nichteinhaltung des AGG kann zu einer Schadenersatzpflicht führen. Die für etwaige Schadensersatzansprüche nach dem AGG zentrale Voraussetzung ist das Vorliegen einer Benachteiligung aufgrund eines der Merkmale im Sinne des § 1 AGG, die nicht gerechtfertigt ist.[5]
Dabei wird zwischen unmittelbaren (§ 3 Abs. 1 AGG) und mittelbaren (§ 3 Abs. 2 AGG) Benachteiligungen unterschieden. Eine unmittelbare Benachteiligung liegt dann vor, wenn eine Person eine nachteilige Behandlung als eine andere Person in einer vergleichbaren Situation erfährt.[6] Eine mittelbare Benachteiligung liegt dagegen vor, wenn augenscheinlich neutrale Kriterien, Verfahren oder Vorschriften Personen nach den in § 1 AGG genannten Gründen benachteiligen.[5][6]
Probleme bei der Anwendung von KI
Für Machine Learning Systeme besteht ein Problem, wenn diese aufgrund von Korrelation bestimmter, in § 1 AGG gelisteter Merkmale eine Verknüpfung mit einem anderen Merkmal herstellen. Denn dieses kann schnell in einer mittelbaren Benachteiligung resultieren.[7] Beispiele für eine solche benachteiligende Verknüpfung gab es bereits in der Vergangenheit unter anderem bei Amazon[8], Facebook[9] und dem oben angeführten AMS-Algorithmus[2].
Soweit eine solche AGG relevante Benachteiligung vorliegt, stehen die entsprechenden Haftungs- und Schadensersatzansprüche nach § 15 AGG im Raum. Gerade bei einer Mehrzahl von Betroffenen können diese schnell in schwindelerregende Höhen wachsen. Zudem steht den betroffenen Unternehmen ein entsprechender Reputationsverlust in Aussicht.
Daher sollten die eingesetzten KI-Systeme vor der „Live-Schaltung“ dahingehend überprüft werden, ob sie mit dem AGG in Einklang stehen. Dies gilt auch bezüglich der genutzten Trainingsdaten.
3. Datenschutz und KI-Kategorisierung prüfen
Neben den Anforderungen des AGG an derartige Verarbeitungen, die direkte Auswirkungen auf Personen haben, sind auch die Voraussetzungen des Datenschutzes, hier insbesondere der DSGVO zu berücksichtigen. In den vorliegend beschriebenen Fällen wird vor allem das Verbot der automatisierten Einzelfallentscheidung nach Art. 22 DSGVO relevant. Soweit die personenbezogenen Daten von Arbeitnehmenden betroffen sind, sind neben der DSGVO noch die Vorschriften zum Beschäftigtendatenschutz zu beachten, die aufgrund der Öffnungsklausel des Art. 88 der DSGVO Eingang in § 26 BDSG gefunden haben.
Fazit
KI-Systeme im Recruiting und die Verwendung im HR-Bereich sowie in anderen Bereichen, bei denen es um die Kategorisierung von Menschen geht, versprechen große Effektivitätsgewinne, jedoch auch potentielle Haftungsrisiken. Die eingesetzte Software und die neu angelegten Prozesse sollten daher bereits im Vorfeld einer genauen Prüfung unterzogen werden, ob sie rechtskonform eingesetzt werden können oder die Gefahr von Rechtsverletzungen besteht.
- D. Allhutter, „Ein Algorithmus zur effizienten Förderung der Chancen auf dem Arbeitsmarkt? in WISO. Wirtschafts- und Sozialpolitische Zeitschrift 1/2021“, WISO, Bd. 44, 2021.
- A. Fanta, „Datenschutzbehörde stoppt Jobcenter-Algorithmus“, netzpolitik.org, 21. August 2020. https://netzpolitik.org/2020/oesterreich-ams-datenschutzbehoerde-stoppt-jobcenter-algorithmus/ (zugegriffen 16. August 2022).
- DSB / AMS. 2020. https://www.ris.bka.gv.at/Dokumente/Bvwg/BVWGT_20201218_W256_2235360_1_00/BVWGT_20201218_W256_2235360_1_00.pdf (zugegriffen 16. August 2022).
- M. Schreiber, „KI im Recruiting – Chance oder Risiko?“ https://arts.eu/de/insights/artikel/kuenstliche-intelligenz-ki-im-recruiting-chance-oder-risiko/ (zugegriffen 17. August 2022).
- A. Sesing und A. Tschech, „AGG und KI-VO-Entwurf beim Einsatz von Künstlicher Intelligenz“, MMR, Nr. 1, S. 24-30, 2022.
- Thüsing, „AGG § 3 Begriffsbestimmungen“, Münchener Kommentar zum BGB. 2021.
- A. R. a Z. C. Freyler, „Robot-Recruiting, Künstliche Intelligenz und das Antidiskriminierungsrecht“, NZA, Nr. 5, S. 284-290, 2020.
- J. Dastin, „Amazon scraps secret AI recruiting tool that showed bias against women“, Reuters, 10. Oktober 2018. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G (zugegriffen 18. August 2022).
- W. Fröhlich, „Männer fahren LKW, Frauen erziehen Kinder“, Verfassungsblog. https://verfassungsblog.de/diskriminierende-facebook-algorithmen/ (zugegriffen 18. August 2022).
