InformationsfreiheitTÜV für Algorithmen

Entscheidungen der öffentlichen Verwaltung werden bereits heute durch automatisierte Datenverarbeitungsvorgänge unter Zuhilfenahme von Algorithmen und künstlicher Intelligenz (KI) nicht nur automatisiert vorbereitet, sondern teilweise sogar voll automatisiert getroffen. Der Einsatz von Algorithmen und KI kann zwar Effizienzsteigerungen bewirken und Auswertungen großer Datenmengen erleichtern oder überhaupt erst ermöglichen. Die Verwaltung trägt jedoch eine hohe Verantwortung, den Einsatz von Algorithmen und KI-Verfahren insbesondere im Zusammenhang mit behördlicher Entscheidungsfindung rechtmäßig zu gestalten.

Oberstes Gebot: Transparenz herstellen

Elementar sind in diesem Zusammenhang die Beachtung der Menschenwürde und des Diskriminierungsverbots. Vor diesem Hintergrund stellt es ein großes Problem dar, dass Algorithmen und KI derzeit meist völlig intransparent funktionieren. Mit welchen Kriterien und Wertvorstellungen sie gefüttert werden und inwieweit die erzielten Ergebnisse dem Grundsatz der Gesetzmäßigkeit der Verwaltung entsprechen, ist für die Betroffenen in aller Regel nicht nachzuvollziehen. Die eingesetzten Algorithmen und KI-Verfahren müssen daher transparent gemacht werden, damit die Bürger, aber auch die Verwaltung selbst, das Zustandekommen der Entscheidungen nachvollziehen können. Neben automatisierten Entscheidungen, die Bürger unmittelbar betreffen, müssen auch Entscheidungen der Verwaltung ohne Bezug zu konkreten Personen, etwa bei der Planung von Verkehrswegen oder bei fiskalischem Handeln, nachvollziehbar sein.
Je höher das Risiko und je einschneidender die möglicherweise nachteiligen Auswirkungen für die betroffenen Menschen sein können, desto strenger muss geprüft werden, ob Algorithmen oder KI-Verfahren überhaupt grundrechtskonform eingesetzt werden können, ob die Verfahren sich ordnungsgemäß durchführen lassen und welche Folgen entstehen können. Unabdingbar für eine solche Folgenabschätzung ist die ausreichende Transparenz über die Algorithmen und Verfahren der künstlichen Intelligenz. Zudem müssen die errechneten Ergebnisse vorhersehbar und nachvollziehbar sein; gleichartige Eingaben müssen stets zu gleichartigen Ausgaben führen. Nach den Grundsätzen der Informationsfreiheit und der Verwaltungstransparenz müssen die für die Verwaltung essenziellen Informationen über die von ihr eingesetzten Algorithmen sowie KI-Verfahren zudem der Öffentlichkeit zur Verfügung gestellt werden.

Positionspapier der Informationsfreiheitsbeauftragten

Im Rahmen der 36. Konferenz der Informationsfreiheitsbeauftragten in Deutschland Mitte Oktober 2018 in Ulm haben für die Informationsfreiheit zuständige Landesdatenschutzbeauftragte sowie die damalige Bundesbeauftragte für den Datenschutz und die Informationsfreiheit daher das Positionspapier „Transparenz der Verwaltung beim Einsatz von Algorithmen für gelebten Grundrechtsschutz unabdingbar“ vorgelegt. Sie fordern darin Bundes- und Landesgesetzgeber auf, öffentliche Stellen noch konsequenter als bislang zu einem transparenten, verantwortungsvollen Einsatz von Algorithmen und KI-Verfahren zu verpflichten. Es bietet sich an, entsprechende Transparenzvorschriften in den jeweiligen Informationsfreiheits- und Transparenzgesetzen oder den einschlägigen Fachgesetzen zu verankern. Ausnahmen sollten dabei auf ein Minimum beschränkt werden.
Dem Positionspapier zufolge müssen öffentliche Stellen vor dem Einsatz von Algorithmen und KI-Verfahren etwa prüfen, inwieweit dieser grundrechtskonform überhaupt möglich ist. Bestehen nach einer sorgfältigen Prüfung Zweifel, beispielsweise wenn ausreichende Nachvollziehbarkeit, Überprüfbarkeit und Beherrschbarkeit nicht gegeben sind, muss auf den Einsatz verzichtet werden. Öffentliche Stellen sollten zudem für ausreichende Transparenz über die eingesetzten Algorithmen sorgen. Für einen beherrschbaren Einsatz der Technik müssen sie über aussagekräftige, umfassende und allgemein verständliche Informationen bezüglich der eigenen Datenverarbeitungen verfügen. Dazu gehören vor allem die Ein- und Ausgabedaten des Verfahrens, die darin enthaltene Logik, insbesondere die verwendeten Berechnungsformeln einschließlich der Gewichtung der Eingabedaten, Informationen über das zugrundeliegende Fachwissen und die individuelle Konfiguration durch die Anwender und die Tragweite der darauf basierenden Entscheidungen sowie die möglichen Auswirkungen der Verfahren. Soweit es rechtlich möglich ist, sollten diese Informationen auch veröffentlicht werden.

Vor Manipulationen schützen

Um der Verwaltung die Erfüllung dieser Pflichten zu ermöglichen, müssen die Transparenzanforderungen nach Ansicht der Autoren des Positionspapiers schon bei der Programmierung beachtet werden (Transparency by Design). Die berechneten Ausgabedaten sollten dabei jeweils um die Information ergänzt werden, welche Eingabedaten oder Bewertungen besonders relevant für das Ergebnis waren. Insbesondere bei selbstlernenden Systemen muss eine Unterstützung durch entsprechende Auswertungswerkzeuge vorgesehen sein.
Dokumentation und Protokollierung der Abläufe sowie wesentlicher Parameter sind unerlässlich, um die Sicherheit und Vertrauenswürdigkeit des Verfahrens zu schützen und etwaige Manipulationen zuverlässig erkennen zu können. Der Einsatz muss durch geeignete technische und organisatorische Maßnahmen manipulationssicher gestaltet werden. Die getroffenen Maßnahmen sind einer regelmäßigen Evaluierung und Qualitätskontrolle zu unterziehen. Um eine umfassende Überprüfbarkeit zu gewährleisten, fordert das Positionspapier, den jeweiligen öffentlichen Stellen auch den Quelltext sowie andere relevante Informationen über die Algorithmen und KI-Verfahren zur Verfügung zu stellen.
Beim KI-Einsatz müssen die öffentlichen Stellen die jeweils erforderlichen risikoadäquaten Sicherheitsmaßnahmen treffen. Abhängig vom konkreten Anwendungsfall können hierzu insbesondere auch manuelle Kontrollen, einfache Widerspruchsmöglichkeiten oder die Rückabwicklung von Entscheidungen gehören. Unter keinen Umständen darf die Datenverarbeitung mittels Algorithmen und KI-Verfahren eine diskriminierende Wirkung entfalten. Vor diesem Hintergrund sind hohe Anforderungen an die Auswahl und Entwicklung derartiger Verfahren zu stellen, beispielsweise bei der Auswahl von Trainingsdaten für selbstlernende Systeme oder für in solchen Systemen eingesetzte Bewertungsfunktionen.

Umfassender Handlungsbedarf

Beim Vorliegen von hohen Risiken für die Bürger muss vor der Entscheidung über einen Einsatz von Algorithmen und KI-Verfahren eine Folgenabschätzung durchgeführt werden, die gegebenenfalls regelmäßig zu wiederholen ist. Bei besonders sensiblen Anwendungsbereichen sollte die Zulassung der Algorithmen und KI-Verfahren zudem erst nach Überprüfung und Abnahme durch eine Art Algorithmen-TÜV möglich sein.
Sowohl der Gesetzgeber als auch die öffentlichen Stellen müssen vor dem Hintergrund der Grundrechtsbindung der Verwaltung dafür Sorge tragen, dass die in dem Positionspapier formulierten Maßstäbe für den öffentlichen Bereich verbindlich festgelegt und umgesetzt werden. Darüber hinaus ist der Gesetzgeber dazu angehalten, entsprechende Vorgaben auch für die Privatwirtschaft zu normieren.
Das vorgelegte Positionspapier macht den umfassenden Handlungsbedarf beim KI-Einsatz in der öffentlichen Verwaltung deutlich. Die Informationsfreiheitsbeauftragten aus Bund und Ländern stehen gerne bereit, um konkret zu besprechen, wie sich die Anforderungen umsetzen lassen. Auch Forschungsergebnisse zu Verfahren der künstlichen Intelligenz können hierbei künftig eine wesentliche Rolle spielen.