Am 1. August 2024 ist die europäische Verordnung über künstliche Intelligenz (Verordnung (EU) 2024/1689, kurz: KI-VO oder AI-Act) in Kraft getreten. Es handelt sich um eines der weltweit ersten Regelwerke zur Regulierung von künstlicher Intelligenz (KI).
Ziel der Verordnung ist es, einerseits Innovationen zu fördern und das Vertrauen in KI zu stärken und andererseits sicherzustellen, dass KI nur so eingesetzt wird, dass die Grundrechte und die Sicherheit der Bürger der EU gewahrt bleiben. Dabei wird ein risikobasierter Ansatz verfolgt: Je höher das von einem KI-System ausgehende Risiko, desto umfassender sind die Verpflichtungen. KI-Systeme mit inakzeptablem Risiko sind gänzlich verboten.
Die KI-VO sieht einen zeitlich gestaffelten Geltungsbeginn vor. So gelten die Kapitel I und II (Allgemeine Bestimmungen und Unzulässige Praktiken) bereits ab dem 2. Februar 2025. Weitere Regelungen, insbesondere zu KI-Modellen für allgemeine Zwecke sowie Sanktionsvorschriften, gelten ab dem 2. August 2025. Der Großteil der Bestimmungen der KI-VO ist dann 24 Monate nach ihrem Inkrafttreten anwendbar, konkret ab dem 2. August 2026. Eine verlängerte Anwendungsfrist gilt schließlich für die Vorschriften zu den sog. Hochrisiko-KI-Systemen, die erst ab dem 2. August 2027 anwendbar sind.
Die KI-VO richtet sich insbesondere an Anbieter und Betreiber von KI-Systemen. Anbieter sind dabei diejenigen, die ein KI-System entwickeln oder entwickeln lassen und unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringen oder in Betrieb nehmen. Betreiber ist derjenige, der ein KI-System in eigener Verantwortung einsetzt.
Öffentliche Stellen, die KI-Systeme einsetzen wollen, werden daher regelmäßig als Betreiber einzustufen sein. Zu denken ist beispielsweise an den Einsatz von KI-gestützten Chatbots in der Verwaltung, KI-Assistenten für Recherche und Texterstellung oder die Automatisierung von Routineaufgaben (Robotic Process Automation). Im Rahmen einer modernen, digitalen Verwaltung hat KI großes Potenzial und kann sich als Schlüsseltechnologie erweisen.
1. KI-Kompetenz
Nach Art. 4 KI-VO müssen Anbieter und Betreiber von KI-Systemen sicherstellen, dass die Personen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über eine ausreichende KI-Kompetenz verfügen. Dies betrifft regelmäßig alle Beschäftigten, die in irgendeiner Form mit KI-Systemen arbeiten. Ziel ist es, einen verantwortungsvollen Umgang mit KI sicherzustellen.
Für die Frage des Umfangs der Wissensvermittlung kommt es auf den Einzelfall an. Entscheidend sind der konkrete Anwendungsfall des KI-Systems und die Rolle der Beschäftigten. Bei einem KI-System mit besonders hohem Risiko sind entsprechend höhere Anforderungen an die KI-Kompetenz der Beschäftigten zu stellen als bei der Verwendung einer standardisierten KI wie z.B. einem Schreibprogramm.
Um die notwendige KI-Kompetenz zu erreichen, stehen verschiedene Compliance-Instrumente zur Verfügung. So können interne Richtlinien zum Einsatz von KI-Systemen den Aufbau und die Aufrechterhaltung eines ausreichenden Kompetenzniveaus unterstützen. Darin sollten die Regeln und Verbote im Umgang mit KI-Systemen festgelegt werden. Je nach Anwendung können auch Schulungen und Trainings hilfreich sein, wobei auch hier die Rolle der jeweiligen Beschäftigten und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind.
Eine zentrale Rolle kann zudem die Schaffung einer internen Anlaufstelle spielen, z.B. durch die Ernennung eines internen KI-Beauftragten, der die KI-Kompetenz innerhalb einer Organisation zentralisieren und fördern kann. Der KI-Beauftragte dient als Ansprechpartner für alle KI-bezogenen Fragen, überwacht die Einhaltung ethischer Richtlinien und Standards und stellt sicher, dass Aus- und Weiterbildungsinitiativen durchgeführt werden. Eine gesetzliche Verpflichtung zur Bestellung eines solchen KI-Beauftragten sieht die KI-VO allerdings nicht vor. Ob Unternehmen oder öffentliche Stellen eine solche Position benötigen, hängt daher insbesondere davon ab, wie und in welchem Umfang KI eingesetzt wird.
Anders als für den Datenschutzbeauftragten (DSB) in der DSGVO ergibt sich aus der KI-VO, wie bereits erwähnt, keine ausdrückliche Verpflichtung zur Bestellung eines KI-Beauftragten. Wenn jedoch bereits ein DSB vorhanden ist, ist es denkbar, dessen Aufgabenbereich in Bezug auf KI zu erweitern. So ist es beispielsweise zulässig, dass der DSB Schulungs- und Sensibilisierungsaufgaben in Bezug auf die KI-VO übernimmt.
Auch wenn eine solche Doppelfunktion nicht verboten ist, sind doch einige Punkte zu beachten. So dürfen dem DSB keine wesentlichen Entscheidungsbefugnisse in Bezug auf den Einsatz von KI übertragen werden, soweit im Zusammenhang mit KI personenbezogene Daten verarbeitet werden. Dies würde der rein beratenden und unterstützenden Funktion des DSB widersprechen und auch seiner Kontrollfunktion zuwiderlaufen. Es ist zu vermeiden, dass der DSB durch eine derartige Doppelfunktion in einen Interessenkonflikt gerät. Der DSB darf daher nicht über konkret einzusetzende Lösungen von KI-Systemen entscheiden. Auch muss sichergestellt werden, dass dem DSB durch die zusätzlichen Aufgaben weiterhin ausreichend Ressourcen zur Verfügung stehen, um seinen gesetzlichen Verpflichtungen aus der DSGVO nachzukommen. Darüber hinaus sollte der DSB für die Wahrnehmung seiner erweiterten Aufgaben entsprechend geschult und hierfür von seiner Tätigkeit freigestellt werden.
2. Verbot bestimmter Praktiken im KI-Bereich
Die zweite wichtige Verpflichtung aus der KI-VO, die ab dem
2. Februar 2025 gilt, ist die Unterbindung verbotener Praktiken.
In Art. 5 KI-VO werden sog. verbotene Praktiken aufgezählt, die ein unannehmbares Risiko für die Sicherheit, die Rechte und die Freiheiten von Personen darstellen. Darunter fallen beispielsweise KI-Systeme mit Manipulations- und Täuschungstechniken, Social Scoring und Systeme zur Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen.
Bei Verstößen gegen dieses Verbot drohen ab dem 2. August 2025 Geldbußen von bis zu 35 Millionen Euro oder – bei Unternehmen – bis zu 7 Prozent des gesamten weltweit erzielten Jahresumsatzes des vorangegangenen Geschäftsjahrs, je nachdem, welcher Betrag höher ist.
Auch wenn die meisten Verantwortlichen den Einsatz solcher Praktiken in ihren Unternehmen oder öffentlichen Stellen verneinen dürften, sollten bereits eingesetzte oder geplante KI-Systeme auf verbotene Praktiken nach Art. 5 KI-VO überprüft werden. KI-Anwendungen können z.B. schon heute die Stimmung einzelner Teilnehmer eines Online-Meetings abfragen, um z.B. Aufregung, Ärger, Belustigung oder Traurigkeit zu erkennen. Hilfestellung bieten insoweit die kürzlich veröffentlichten Leitlinien der EU-Kommission zu verbotenen KI-Praktiken, die auf der Webseite der EU-Kommission abrufbar sind.
Da Teile der KI-VO bereits gelten, sollten die Verantwortlichen prüfen, ob in ihren Betrieben oder Einrichtungen KI-Systeme eingesetzt werden oder deren Einsatz geplant ist. Dies dürfte in den meisten Fällen bereits der Fall sein, auch wenn es sich nur um allgemeine Anwendungen oder Assistenzsysteme handelt.
Insofern sollten die KI-Systeme im Hinblick auf verbotene Praktiken nach Art. 5 KI-VO überprüft werden. Hinsichtlich der erforderlichen KI-Kompetenz der Beschäftigten ist der konkrete Schulungsbedarf zu ermitteln. Die Schulung sollte durch verbindliche KI-Richtlinien flankiert werden, um einen Verhaltenskodex im Umgang mit KI zu etablieren. Gegebenenfalls ist die Benennung eines KI-Beauftragten zur koordinierten Steuerung aller KI-Maßnahmen zu erwägen. Dieser kann Unternehmen und öffentliche Stellen auch auf die kommenden Pflichten aus der KI-Verordnung vorbereiten und diesbezüglich beraten. Schließlich ist bei der Einführung und Nutzung von KI-Systemen an eine mögliche Mitbestimmung durch Betriebs- oder Personalräte zu denken.
Jason Komninos
