Die digitale Transformation der öffentlichen Verwaltung hat eine neue Stufe erreicht. Nach der Einführung von E-Akten und digitalen Fachverfahren steht nun der Einsatz von Künstlicher Intelligenz (KI) im Fokus. Eine besonders vielversprechende, aber auch herausfordernde Entwicklung ist der sogenannte „KI-Agent“. Diese autonomen KI-Systeme versprechen, die Effizienz und Effektivität des Verwaltungshandelns radikal zu verbessern. Doch ihr Einsatz wirft komplexe rechtliche Fragen auf, die einer sorgfältigen Analyse bedürfen, um das Vertrauen der Bürger in den Rechtsstaat zu wahren und die Funktionsfähigkeit der Verwaltung langfristig zu sichern.
In diesem Beitrag beleuchten wir die spezifischen rechtlichen Herausforderungen, die der Einsatz eines KI-Agenten im öffentlichen Sektor mit sich bringt. Wir erklären, was ein KI-Agent ist, welche rechtlichen Rahmenbedingungen insbesondere durch die EU KI-VO geschaffen werden und welche zentralen Fragen sich in Bezug auf Haftung, Datenschutz und Grundrechte stellen. Abschließend geben wir konkrete Handlungsempfehlungen für Entscheidungsträger in der öffentlichen Verwaltung.
KI-Agenten, oder „Agentic AI“, bezeichnet eine fortschrittliche Form der künstlichen Intelligenz, die in der Lage ist, autonom und proaktiv zu handeln, um vordefinierte Ziele zu erreichen. Im Gegensatz zu herkömmlichen KI-Systemen, die auf spezifische Anweisungen reagieren, können agentische Systeme eigenständig komplexe, mehrstufige Aufgaben planen, Entscheidungen treffen und Aktionen ausführen. Sie können mit externen Datenquellen und Werkzeugen interagieren, Informationen aus dem Internet abrufen, Datenbanken abfragen und sogar andere Software oder Systeme steuern.
Ein einfaches Beispiel zur Veranschaulichung: Während eine generative KI wie ChatGPT einen Text über die Voraussetzungen für eine Baugenehmigung erstellen kann, könnte ein KI-Agent den gesamten Prozess autonom begleiten. Er könnte den Antragsteller durch die erforderlichen Schritte führen, die notwendigen Dokumente anfordern, die Vollständigkeit prüfen, die relevanten rechtlichen Vorschriften aus einer Datenbank abrufen, den Antrag an die zuständige Abteilung weiterleiten und den Status des Verfahrens überwachen.
Die Kernmerkmale vom KI-Agenten sind:
| Merkmal | Beschreibung |
|---|---|
| Autonomie | Handelt unabhängig und ohne ständige menschliche Überwachung. |
| Proaktivität | Ergreift von sich aus die Initiative, um Ziele zu erreichen. |
| Anpassungsfähigkeit | Lernt ggf. aus Erfahrungen und passt ihr Verhalten an neue Situationen an. |
| Zielorientierung | Verfolgt übergeordnete Ziele und bricht diese in kleinere, ausführbare Schritte herunter. |
| Interaktivität | Kommuniziert mit Nutzern und interagiert mit anderen Systemen und Datenquellen. |
Für den öffentlichen Sektor liegt das Potenzial auf der Hand: Angesichts des demografischen Wandels und des zunehmenden Fachkräftemangels kann ein KI-Agent dazu beitragen, Routineaufgaben zu automatisieren, komplexe Verfahren zu beschleunigen und die Qualität von Verwaltungsentscheidungen zu verbessern. Doch diese Autonomie und Proaktivität sind zugleich die Quelle der größten rechtlichen Herausforderungen.
Die am 1. August 2024 in Kraft getretene EU KI-VO ist der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz. Er verfolgt einen risikobasierten Ansatz und ist für den öffentlichen Sektor von besonderer Bedeutung, da viele der als „hochriskant“ eingestuften KI-Systeme in den Bereich des Verwaltungshandelns fallen.
Hochrisiko-Systeme im öffentlichen Sektor
Die KI-VO stuft KI-Systeme in vier Risikoklassen ein: inakzeptabel, hoch, begrenzt und minimal. Für den öffentlichen Sektor sind insbesondere die Hochrisiko-Systeme relevant, die in Anhang III der KI-VO aufgeführt sind. Dazu gehören unter anderem KI-Systeme in den Bereichen:
Der Einsatz solcher Systeme unterliegt strengen Anforderungen, darunter die Einrichtung eines Qualitätsmanagementsystems, die Erstellung einer umfassenden technischen Dokumentation und die Durchführung einer Konformitätsbewertung.
Die Grundrechte-Folgenabschätzung (FRIA)
Eine der zentralen neuen Pflichten für den öffentlichen Sektor ist die Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) gemäß Art. 27 KI-VO. Einrichtungen des öffentlichen Rechts (sowie private Einrichtungen, die öffentliche Dienstleistungen erbringen) müssen vor dem Einsatz eines Hochrisiko-KI-Systems eine solche Folgenabschätzung durchführen. Ziel ist es, die potenziellen Auswirkungen des Systems auf die Grundrechte der betroffenen Personen zu bewerten und Maßnahmen zur Risikominderung zu ergreifen.
Die FRIA muss unter anderem folgende Aspekte beleuchten:
Die Ergebnisse der FRIA müssen der zuständigen Marktüberwachungsbehörde vorgelegt werden. Dies schafft Transparenz und ermöglicht eine externe Kontrolle.
Über die Vorgaben der KI-VO hinaus wirft der Einsatz von KI-Agenten spezifische Rechtsfragen auf, die sich aus der Autonomie dieser Systeme ergeben. Natürlich müssen diese im Einzelfall bezogen auf den spezifischen Verwendungszweck geprüft werden – nachfolgend aber ein erster Überblick dazu, welche Aspekte eine wichtige Rolle spielen:
Ziele, Kontext und Messbarkeit
Eine grundlegende Voraussetzung für den rechtssicheren Einsatz von KI-Agenten ist, dass das System seine Ziele und Unterziele präzise versteht und deren Erreichung messen kann. Es reicht nicht aus, einer KI das Ziel „Baugenehmigungen effizient bearbeiten“ vorzugeben. Das System muss den gesamten Kontext verstehen:
Die Definition dieser Ziele und des relevanten Kontexts ist keine rein technische, sondern eine zutiefst juristische und organisatorische Aufgabe. Die Ziele müssen so formuliert werden, dass sie mit den gesetzlichen Vorgaben und den Grundrechten im Einklang stehen. Zudem muss klar definiert sein, wie der Erfolg gemessen wird. Eine reine Fokussierung auf die Bearbeitungszeit könnte beispielsweise zu Lasten der Prüfungsqualität gehen.
Haftung und Verantwortlichkeit
Eine der drängendsten Fragen lautet: Wer haftet, wenn eine autonome KI einen Fehler macht? Wenn ein KI-Agent fälschlicherweise eine Sozialleistung verweigert, einen belastenden Verwaltungsakt erlässt oder sensible Daten preisgibt, stellt sich die Frage der Verantwortlichkeit.
Grundsätzlich gilt: Eine KI hat keine eigene Rechtspersönlichkeit und kann daher nicht selbst haften. Die Verantwortung verbleibt bei den handelnden Personen und Institutionen. In der Regel wird die Verantwortung beim Betreiber des Systems liegen, also bei der jeweiligen Behörde. Diese kann nicht einfach auf den Hersteller (dem "Anbieter" nach KI-VO) des KI-Systems verweisen.
Es können sich jedoch komplexe Konstellationen einer geteilten Haftung ergeben:
Für den öffentlichen Sektor bedeutet dies, dass der gesamte Lebenszyklus eines KI-Systems – von der Beschaffung über die Implementierung bis zum laufenden Betrieb – rechtlich abgesichert werden muss. Dies erfordert klare vertragliche Regelungen mit den Herstellern (z.B. durch die Verwendung von Mustervertragsklauseln wie den MCC-AI), eine umfassende Dokumentation und die Einrichtung effektiver Mechanismen zur menschlichen Aufsicht.
Datenschutz und Grundrechte
KI-Agenten-Systeme verarbeiten zwangsläufig eine große Menge an Daten, darunter auch sensible personenbezogene Daten. Die Einhaltung der Datenschutz-Grundverordnung (DSGVO) ist daher von zentraler Bedeutung. Die Autonomie der Systeme erschwert jedoch die Umsetzung von Grundsätzen wie der Datenminimierung und der Zweckbindung.
Die bereits erwähnte Grundrechte-Folgenabschätzung (FRIA) ist hier ein wichtiges Instrument. Sie weist inhaltliche Parallelen zur Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO auf. In vielen Fällen könnten beide Folgenabschätzungen erforderlich sein. Es ist ratsam, diese Prozesse zu bündeln, um Doppelarbeit zu vermeiden.
Besondere Aufmerksamkeit erfordert der Schutz vor Diskriminierung. Die den KI-Systemen zugrundeliegenden Modelle lernen aus Daten und können bestehende gesellschaftliche Vorurteile reproduzieren oder sogar verstärken. Der öffentliche Sektor hat hier eine besondere Verantwortung, sicherzustellen, dass KI-Systeme fair und diskriminierungsfrei arbeiten. Dies erfordert eine sorgfältige Auswahl der Trainingsdaten und kontinuierliche Kontrollen im laufenden Betrieb.
Aus der Analyse der rechtlichen Rahmenbedingungen und Herausforderungen ergeben sich folgende konkrete Handlungsempfehlungen für den Einsatz von KI-Agenten im öffentlichen Sektor:
KI-Agenten haben das Potenzial, die öffentliche Verwaltung grundlegend zu verändern und zu verbessern. Doch der Weg dorthin ist mit erheblichen rechtlichen Herausforderungen gepflastert. Ein rein technikgetriebener Ansatz wird scheitern. Der Erfolg hängt davon ab, ob es gelingt, die technologischen Möglichkeiten mit den rechtsstaatlichen Anforderungen in Einklang zu bringen.
Die EU KI-VO gibt hierfür einen klaren Rahmen vor, doch die konkrete Ausgestaltung im Einzelfall bleibt eine anspruchsvolle Aufgabe. Für den öffentlichen Sektor ist es nun an der Zeit, sich proaktiv mit diesen Fragen auseinanderzusetzen, die notwendige Expertise aufzubauen und eine klare Strategie für den verantwortungsvollen Einsatz von künstlicher Intelligenz zu entwickeln. Nur so kann sichergestellt werden, dass KI-Agenten zu einem Werkzeug werden, das dem Bürger dient und den Rechtsstaat stärkt.
