Ist ChatGPT ein HochrisikoKISystem?

Ist ChatGPT ein Hochrisiko-KI-System: Bußgelder

Die rechtliche Einordnung von KI-Anwendungen in Unternehmen erfordert genaue Aufmerksamkeit für Transparenzpflichten und sensible Prozessintegrationen. Erfahren Sie, welche Risiken bei unachtsamer Softwarenutzung in internen Abteilungen drohen und wie gesetzliche Vorgaben die Verantwortung regeln.

Grundlegende Einstufung: Ist ChatGPT ein Hochrisiko-KI-System?

Die Einstufung von Systemen wie ChatGPT kann sich je nach Art der Nutzung und des betrieblichen Kontexts stark unterscheiden und lässt sich nicht pauschal festlegen. Das reine Basismodell von ChatGPT gilt nach der europäischen KI-Verordnung (KI-VO) als KI-Modell mit allgemeinem Verwendungszweck (General Purpose AI oder GPAI) und stellt per se kein Hochrisiko-System dar. Eine pauschale Einstufung als hohes Risiko greift zu kurz. Vielmehr entscheidet allein der konkrete Anwendungsbereich im Unternehmen darüber, welche rechtlichen Compliance-Regeln und chatgpt im unternehmen pflichten ki vo greifen.

Rund 85% aller KI-Anwendungen fallen Schätzungen zufolge in die Kategorie des minimalen Risikos, für die fast keine gesetzlichen Auflagen existieren. ^[1] ChatGPT bewegt sich in der Praxis meist im Bereich des begrenzten Risikos, solange es für alltägliche Büroarbeiten wie das Verfassen von E-Mails, Zusammenfassungen oder kreative Marketingtexte genutzt wird. In diesen Fällen gilt primär eine gesetzliche Transparenzpflicht: Nutzer müssen klar erkennen können, dass sie mit einer Maschine interagieren. Gefährlich und bürokratisch intensiv wird es erst, wenn die Software tiefer in sensible Unternehmensprozesse integriert wird.

Ich habe beim Aufsetzen von KI-Richtlinien für kleinere Teams selbst erlebt, wie schnell Verwirrung entsteht. Anfangs dachten wir, dass jede geschäftliche Nutzung von ChatGPT sofort dicke Compliance-Berichte erfordert. Ein riesiger Irrtum. Der zeitliche Aufwand und die Panik waren völlig unbegründet, da unsere Anwendungsfälle reine Texthilfen betrafen. Erst als ein Kollege vorschlug, eingehende Kundenbeschwerden automatisiert und ohne menschliche Zwischenprüfung zu bewerten, mussten wir die Bremse ziehen. Dieser Moment der Verunsicherung hat mir gezeigt: Der Kontext bestimmt die Regeln, nicht das Tool selbst.

Wann wird ChatGPT im Unternehmen zum Hochrisiko?

Ein hohes Risiko liegt vor, wenn ChatGPT für kritische Entscheidungen über Menschen oder in sensiblen Infrastrukturen eingesetzt wird. Typische Beispiele sind die automatisierte Bewerberauswahl (HR), die Leistungsbewertung von Angestellten oder der Einsatz im Bildungswesen und der Medizin. Werden mit Hilfe der KI beispielsweise Lebensläufe vorsortiert oder automatische Rankings von Kandidaten erstellt, greift die Einstufung als ist chatgpt ein hochrisikokisystem voll durch. In diesen sensiblen Bereichen verlangt der Gesetzgeber lückenlose Kontrollen.

Der Einsatz von KI in Personalabteilungen birgt rechtlich die größten Fallstricke. Derzeit nutzen bereits rund 14% der Unternehmen KI in irgendeiner Form im Personalwesen. Wenn diese Systeme autonom weitreichende Entscheidungen treffen, müssen sie strenge Anforderungen an Datenqualität, Diskriminierungsfreiheit und menschliche Aufsicht erfüllen. Es darf keine automatisierte Personalentscheidung ohne die echte Möglichkeit zur menschlichen Überprüfung und Korrektur stattfinden. Unternehmen, die diese strengen Vorgaben missachten, drohen drakonische Bußgelder von bis zu 15 Millionen Euro oder 3% des weltweiten Jahresumsatzes.

Viele Berater predigen gebetsmühlenartig, man solle Hochrisiko-Bereiche im Mittelstand komplett meiden. Ich halte das für einseitig gedacht. Eine intelligente Filterung von Bewerbungen spart wertvolle Zeit - aber eben nur, wenn man das System als Assistenz versteht und nicht als Chef. Die echte Hürde ist oft nicht die Technik, sondern die menschliche Trägheit. Wenn der HR-Verantwortliche die Vorschläge der KI blind abnickt, ist das System de facto autonom. Das System zwingt uns also zu etwas, das ohnehin Standard sein sollte: bewusster und kritischer Kontrolle.

Die Rolle der Fristen: Was gilt für den Digital Omnibus?

Die Fristen für die Umsetzung der gesetzlichen Auflagen sind gestaffelt und wurden durch neue Anpassungen im EU-Recht teilweise gelockert. Während die strengsten Regeln für verbotene KI-Praktiken bereits im Februar 2025 in Kraft getreten sind, wurde der Stichtag für die Umsetzung der vollen Hochrisiko-Pflichten verschoben. Das sogenannte Digital-Omnibus-Paket hat die Fristen für Hochrisiko-KI-Systeme in sensiblen Anwendungsbereichen auf den 2. Dezember 2027 verlegt. Dies verschafft Unternehmen eine spürbare Atempause.

Trotz dieser Verschiebung für Hochrisiko-Anwendungen laufen andere wichtige Compliance-Fristen unbarmherzig weiter. Die allgemeinen Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI) sowie die wesentlichen Transparenzpflichten nach Artikel 50 traten wie geplant am 2. August 2026 in Kraft. Zudem gilt die gesetzliche Pflicht zur KI-Kompetenz (AI Literacy) für alle betroffenen Mitarbeiter bereits seit dem 2. Februar 2025. Unternehmen müssen also schon heute nachweisen, dass ihr Personal im sicheren und verantwortungsvollen Umgang mit KI-Werkzeugen geschult ist.

Einfach abwarten und Tee trinken? Bloß nicht. Wer denkt, die Verschiebung auf Ende 2027 erlaube ein kollektives Zurücklehnen, wird böse erwachen. Eine saubere Risikoanalyse und die nötige Konformitätsbewertung dauern in der Praxis erfahrungsgemäß 3 bis 6 Monate. Ich habe Projekte gesehen, bei denen allein die Dokumentation der Datenflüsse Wochen verschlungen hat. Die gewonnene Zeit sollte nicht für Aufschieberitis, sondern für den schrittweisen Aufbau einer soliden KI-Governance genutzt werden.

Rechtliche Pflichten: Betreiber vs. Anbieter bei API-Integration

Die rechtliche Verantwortung verschiebt sich massiv, sobald Sie ChatGPT über Schnittstellen (APIs) tief in eigene Softwareprodukte einbinden. Nutzen Sie ChatGPT lediglich als reiner Anwender im Webbrowser, agieren Sie rechtlich als sogenannter Betreiber (Deployer). Sobald Sie das Modell jedoch anpassen, unter eigenem Namen vertreiben oder in ein kommerzielles Produkt für Ihre Kunden integrieren, rutschen Sie schnell in die Rolle des Anbieters (Provider). Diese Rolle bringt ungleich härtere Haftungsrisiken mit sich.

Die statistische Realität in der Wirtschaft zeigt ein explosives Wachstum der KI-Nutzung. Mittlerweile setzen rund 54% aller Unternehmen KI-Software ein, im Vorjahr waren es noch etwa 41%. Viele Betriebe binden diese Tools über Schnittstellen ein, ohne sich der rechtlichen Konsequenzen bewusst zu sein. ^[4] Als Anbieter eines KI-Systems tragen Sie die volle Verantwortung für die technische Dokumentation, die Konformitätsbewertung und die Einhaltung von Urheberrechtsregeln. Das Risiko bei Verstößen ist immens: Bei der Nutzung verbotener Praktiken sieht das Gesetz Bußgelder vor, die bis zu 35 Millionen Euro betragen können.

Hier lauert eine tückische Falle für Software-Entwickler - und es ist genau die Falle, in die ein befreundetes Startup letztes Jahr getappt ist. Sie bauten einen schicken Kundenservice-Bot auf Basis der ChatGPT-API und verkauften ihn stolz als eigene Innovation. Kein böser Wille, einfach Unwissenheit. Erst bei einer externen Auditierung wurde ihnen klar, dass sie rechtlich plötzlich als Anbieter eines KI-Systems eingestuft wurden und für die Einhaltung von EU-Standards geradestehen mussten. Das bedeutete wochenlange Nachtschichten, um die Dokumentation rückwirkend geradezuziehen. Ein Fehler, der sie fast Kopf und Kragen gekostet hätte.

Einstufung von ChatGPT nach Einsatzbereich

Standard-Nutzung (Büroalltag)

1. Begrenztes Risiko (Standard-Anwendung ohne kritischen Personenbezug).
2. Schreiben von E-Mails, Entwerfen von Marketingtexten, Zusammenfassen von Dokumenten.
3. Minimale Anforderungen. Es gilt im Wesentlichen die Transparenzpflicht zur Kennzeichnung von KI-Interaktionen.

API-Integration in eigene Produkte

1. Begrenztes bis hohes Risiko (abhängig vom finalen Verwendungszweck der Software).
2. Einbindung von ChatGPT via Schnittstelle in ein eigenes Softwareprodukt für Endkunden.
3. Gefahr des Rollenwechsels zum Anbieter. Volle Pflicht zur technischen Dokumentation und Qualitätskontrolle.

Kritische HR- & Personalprozesse

1. Hochrisiko-KI-System (Einsatz in sensiblen Bereichen mit direktem Einfluss auf Lebensläufe).
2. Automatisierte Vorsortierung von Bewerbungen, KI-gestützte Leistungsbeurteilung von Mitarbeitern.
3. Strenge Auflagen. Risikomanagement, garantierte menschliche Aufsicht und formelle Konformitätsbewertungen zwingend nötig.

Compliance-Friction im HR-Alltag der Logistik GmbH

Die Meyer Logistik GmbH mit Sitz in Hannover wollte den massiven Zustrom an Bewerbungen für Kraftfahrer effizienter bewältigen. Die Personalabteilung integrierte ein externes KI-Tool auf Basis von ChatGPT, um Lebensläufe automatisch zu filtern und ein Ranking der besten Kandidaten zu erstellen.

Der erste Versuch geriet zum Fiasko, da das System ohne menschliche Zwischenprüfung Absagen verschickte. Einige qualifizierte Fahrer wurden wegen kleiner Formatfehler im Lebenslauf aussortiert, was zu großem Ärger und internem Chaos führte.

Die Kehrtwende kam spät am Abend während einer Krisensitzung, als dem Team klar wurde, dass sie ein Hochrisiko-System ohne die gesetzlich vorgeschriebene menschliche Aufsicht betrieben. Sie stoppten die Automatik sofort und bauten den Prozess komplett um.

Die Meyer Logistik GmbH reduzierte die KI auf eine reine Assistenzfunktion, bei der jeder Vorschlag zwingend von einem Recruiter geprüft werden muss. Die Bearbeitungszeit sank dennoch um spürbare Phasen, und das Haftungsrisiko wurde erfolgreich eliminiert.