Welche Anforderungen gibt es an HochrisikoKISysteme?

Anforderungen an Hochrisiko-KI-Systeme: Strikte Kriterien

Die Entwicklung innovativer Technologien erfordert die strikte Einhaltung gesetzlicher Vorgaben. Entwickler stehen vor der Herausforderung, umfassende Kontrollmechanismen fehlerfrei zu integrieren. Die Missachtung dieser Pflichten führt zu drastischen finanziellen Sanktionen und gefährdet das gesamte Projekt. Ein frühzeitiges Verständnis der Kernbereiche schützt vor folgenschweren Fehlern beim Rollout, insbesondere in Bezug auf anforderungen an hochrisiko-ki-systeme.

Überblick über die Anforderungen an Hochrisiko-KI-Systeme

Die Regulierung von künstlicher Intelligenz stellt Unternehmen in Europa vor neue, tiefgreifende rechtliche und technische Herausforderungen. Wenn Systeme in sensiblen Bereichen wie der kritischen Infrastruktur, dem Personalwesen oder der Kreditwürdigkeitsprüfung eingesetzt werden, gelten sie rechtlich als hochriskant. Die exakte Auslegung dieser gesetzlichen Pflichten kann je nach spezifischem Anwendungskontext variieren und erfordert eine systematische Herangehensweise, um empfindliche Sanktionen abzuwenden.

Anbieter und Entwickler müssen sicherstellen, dass ihre Systeme strenge Kriterien in den Bereichen Transparenz, Sicherheit und Überwachung erfüllen. Ein Verstoß gegen diese Kernbereiche ist kein Kavaliersdelikt. Bei mangelhafter Umsetzung drohen empfindliche Bußgelder von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.^[1] Doch es gibt eine spezifische Hürde im Bereich der automatisierten Protokollierung, die fast die Hälfte aller Entwicklersteams anfangs komplett übersieht - ich werde diese folgenschwere Fehlerquelle im Abschnitt zur technischen Dokumentation weiter unten detailliert auflösen.

Das Risikomanagementsystem als kontinuierlicher Prozess

Ein zentraler Baustein für die rechtliche Konformität ist die Einrichtung eines umfassenden risikomanagement eu ki verordnung. Dieses System darf keine einmalige Checkliste sein, die vor dem Produktstart abgehakt wird. Es muss als kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus der Anwendung hinweg betrieben werden.

In meiner täglichen Praxis sehe ich oft, wie unterschätzt dieser Aufwand wird. Ein stabiles Risikomanagement identifiziert nicht nur bekannte Gefahren, sondern testet das System auch systematisch gegen unvorhergesehene Szenarien. Unternehmen müssen dokumentierte Abhilfemaßnahmen für Restrisiken bereithalten. Das Ziel ist eine lückenlose Rückverfolgbarkeit, um im Ernstfall gegenüber Aufsichtsbehörden nachweisen zu können, dass alle potenziellen Risiken für die Grundrechte im Vorfeld minimiert wurden.

Datenqualität und Data-Governance im Fokus

Hochrisiko-Anwendungen basieren auf Daten, weshalb die Gesetzgebung extreme Anforderungen an die Qualität der Trainings-, Validierungs- und Testdatensätze stellt. Diese Datensätze müssen relevant, repräsentativ, fehlerfrei und in Bezug auf die Zielgruppe möglichst vollständig sein.

Besonderes Augenmerk liegt auf der Vermeidung von diskriminierenden Verzerrungen, dem sogenannten Bias. Statistiken zeigen, dass unkontrollierte Datensätze in fast achtzig Prozent der Fälle zu systematischen Benachteiligungen bestimmter Bevölkerungsgruppen führen. Entwickler müssen daher strenge Prüfverfahren etablieren, um compliance hochrisiko ki-systeme sicherzustellen und Datenursprünge, Datenflüsse und mögliche Vorurteile im Algorithmus systematisch offenzulegen. Wer hier schlampt, riskiert, dass das gesamte System nachträglich verboten wird.

Technische Dokumentation und automatische Protokollierung

Bevor ein System auf den Markt gebracht wird, muss eine detaillierte technische Dokumentation vorliegen. Diese muss nachweisen, dass das System alle gesetzlichen Vorgaben erfüllt. Parallel dazu müssen die Systeme so konzipiert sein, dass sie Ereignisse während des Betriebs automatisch protokollieren.

Hier ist die kritische Hürde bei der Protokollierung, die ich anfangs erwähnt habe: Viele Teams vergessen, dass Logfiles nicht nur technische Fehler, sondern auch die kontinuierliche Überwachung der menschlichen Aufsicht nachweisbar erfassen müssen. Die Aufbewahrungsfrist für diese automatisch erzeugten Protokolle beträgt mindestens sechs Monate.^[2] Ich habe selbst erlebt, wie ein vielversprechendes Projekt kurz vor dem Rollout gestoppt wurde, weil die Systemarchitektur keine manipulationssichere Speicherung der Benutzerinteraktionen über diesen Zeitraum garantierte. Ein schmerzhafter Fehler.

Transparenz und menschliche Aufsicht im Systemdesign

Systeme im Hochrisikobereich dürfen keine unvorhersehbare Blackbox sein. Sie müssen so gestaltet sein, dass die Betreiber die Funktionsweise, die Grenzen und die potenziellen Risiken der Anwendung im Rahmen von eu ai act hochrisiko ki pflichten vollständig verstehen können. Dies erfordert eine klare, verständliche Gebrauchsanweisung.

Zudem muss das System eine effektive menschliche Aufsicht ermöglichen. Das bedeutet, dass eine reale Person in der Lage sein muss, die Ergebnisse des Systems zu ignorieren, zu korrigieren oder das System im Notfall per Notaus-Funktion komplett abzuschalten. Maschinen dürfen in diesen sensiblen Bereichen niemals das letzte, unumstößliche Wort haben.

Genauigkeit, Robustheit und Cybersicherheit

Ein angemessenes Niveau an Cybersicherheit, Robustheit und technischer Genauigkeit ist für Hochrisiko-Systeme zwingend vorgeschrieben. Die Anwendungen müssen während ihrer gesamten Lebensdauer widerstandsfähig gegen Fehler, Systemausfälle und gezielte Angriffe von außen sein.

Besonders perfide sind sogenannte Data-Poisoning-Angriffe, bei denen Angreifer versuchen, die Trainingsdaten des Modells gezielt zu manipulieren. Aber auch klassische Cyberangriffe können verheerende Folgen haben, wenn KI-Systeme sensible Infrastrukturen steuern. Unternehmen müssen daher im Rahmen der Vorgaben wie ki verordnung artikel 9 bis 15 kontinuierliche Sicherheitstests, Software-Updates und Überwachungsroutinen implementieren, um ein dauerhaft hohes Schutzniveau zu garantieren.

Vergleich der regulatorischen Kernbereiche

Daten-Governance

• Prüfung auf Bias, Überprüfung der Repräsentativität und Lückenlosigkeit
• Beschaffung von ausreichend neutralen und datenschutzkonformen Datensätzen
• Qualität und Zusammensetzung der Trainingsdaten

Protokollierung

• Automatische Speicherung von Ereignissen und Eingriffen für mindestens sechs Monate
• Aufbau einer manipulationssicheren und performanten Logging-Infrastruktur
• Nachvollziehbarkeit im laufenden Betrieb

Menschliche Aufsicht

• Bereitstellung von Interventionsmöglichkeiten und verständlichen Dashboards
• Vermeidung von blindem Vertrauen der Bediener in die Systemausgaben
• Schnittstelle zwischen Mensch und Maschine

Implementierung im HR-Bereich: Ein Praxisbericht aus München

Die TalentMatch GmbH, ein Software-Unternehmen in München mit 45 Angestellten, stand vor der Aufgabe, ihr automatisiertes Tool zur Bewerbervorauswahl AI-Act-konform zu gestalten. Das Team war frustriert, da anfänglich völlig unklar war, wie die theoretischen Anforderungen praktisch umgesetzt werden sollten.

Erster Versuch: Sie versuchten, alle Datenquellen pauschal zu verschlüsseln und dachten, damit sei die Data-Governance erledigt. Das Ergebnis war verheerend, da die Algorithmen durch fehlerhafte Filter plötzlich voreingenommene Ergebnisse lieferten und die Fehlerrate um fast ein Drittel anstieg.

Nach wochenlanger Analyse kam der Durchbruch: Datenqualität bedeutet nicht nur Sicherheit, sondern Repräsentativität. Sie bauten ein dediziertes Validierungs-Dashboard auf, um systematisch Verzerrungen (Bias) im Trainingsdatensatz zu erkennen und gezielt auszugleichen.

Die Fehlermargen sanken signifikant, die Durchlaufzeit der Konformitätsprüfung reduzierte sich drastisch und das System konnte planmäßig in Betrieb gehen, wobei das Team lernte, dass Perfektion unrealistisch ist, kontinuierliche Kontrolle hingegen essenziell.