Der AI Act ist in Kraft und verändert die Regeln für jede medizinische Einrichtung in der EU. Wenn ein Arzt ein Besuchsprotokoll in die kostenlose Version von ChatGPT einfügt, verstößt die Einrichtung bereits gleichzeitig gegen mehrere Ebenen von Vorschriften. Wir erklären genau, was der AI Act über den Einsatz von künstlicher Intelligenz im Gesundheitswesen sagt, welche Risiken Krankenhäuser und Kliniken eingehen und warum der Einsatz ausschließlich bewährter, zweckgebundener Tools der einzige vernünftige Weg ist.
Höchststrafe nach dem AI Act bei Verstößen gegen Pflichten im Zusammenhang mit Hochrisikosystemen
Höchststrafe nach der DSGVO für rechtswidrige Verarbeitung von Gesundheitsdaten
des weltweiten Jahresumsatzes – alternativer Bußgeldschwellenwert nach dem AI Act
Mindestaufbewahrungsdauer für Protokolle eines Hochrisiko-KI-Systems
Was ist der AI Act und warum er für jede medizinische Einrichtung gilt
Der AI Act (Verordnung 2024/1689) ist das weltweit erste umfassende Gesetz zur Regulierung künstlicher Intelligenz. Er verfolgt einen risikobasierten Ansatz – je größer die Auswirkungen eines KI-Systems auf Gesundheit, Rechte und Sicherheit von Menschen, desto strenger die Pflichten. Das Gesundheitswesen wurde eindeutig der Kategorie der Hochrisikosysteme zugeordnet.
Wichtig: Der AI Act reguliert nicht nur Modellentwickler. Er erfasst auch sogenannte Betreiber – jede Einrichtung, die ein KI-System in ihrem Betrieb einsetzt. Ein Krankenhaus, eine Klinik oder eine Einzelpraxis, in der ein Arzt KI für die Dokumentation oder klinische Entscheidungsunterstützung nutzt, wird vor Aufsichtsbehörden zur verantwortlichen Partei.
Wann wird KI zum „Hochrisikosystem"
Der AI Act – in Anhang III und in Verbindung mit der Medizinprodukteverordnung (MDR) – identifiziert KI-Systeme, die verwendet werden für:
- Unterstützung von Diagnose und Triage,
- Analyse von Patientengesundheitsdaten,
- Erstellung medizinischer Dokumentation,
- Bewertung klinischer Risiken oder Priorisierung der Versorgung,
- Überwachung von Vitalzeichen,
— als Hochrisikosysteme. Es spielt keine Rolle, ob der Arzt „nur einen Gesprächsausschnitt in ChatGPT kopiert hat." Entscheidend sind der Verarbeitungszweck und der medizinische Kontext.
Pflichten einer Einrichtung, die KI im Gesundheitswesen einsetzt
Ein Betreiber eines Hochrisiko-KI-Systems muss gemäß Artikel 26 des AI Act eine Reihe verbindlicher Pflichten erfüllen. Die wichtigsten sind:
- Menschliche Aufsicht – eine benannte, qualifizierte Person, die für die Überwachung des Systembetriebs verantwortlich ist.
- Protokollaufbewahrung für mindestens 6 Monate in einer prüfbaren Form.
- Information der Patienten, dass KI im diagnostischen oder therapeutischen Prozess eingesetzt wurde.
- Grundrechte-Folgenabschätzung (FRIA) für öffentliche Stellen und bestimmte private Einrichtungen.
- Ausschließliche Nutzung CE-gekennzeichneter Systeme, die in der EU-Datenbank eingetragen sind.
- Einhaltung der Gebrauchsanweisung des Anbieters und Vorfallüberwachung.
Den erforderlichen Compliance-Rahmen rund um die kostenlose Version von ChatGPT aufzubauen ist praktisch unmöglich – denn ein Consumer-LLM liefert weder Protokolle noch Compliance-Dokumentation noch einen Auftragsverarbeitungsvertrag noch eine Garantie dafür, wo Daten verarbeitet werden.
Der AI Act ersetzt die DSGVO nicht – er gilt parallel dazu
Viele Einrichtungsleiter fragen: „Wenn wir die DSGVO haben, wozu brauchen wir dann den AI Act?" Die Antwort ist eindeutig – beide Regime gelten parallel und ihre Sanktionen kumulieren sich. Die Eingabe eines Besuchsprotokolls in die Verbraucherversion von ChatGPT, Claude oder Gemini verursacht gleichzeitig:
- einen Verstoß gegen die ärztliche Schweigepflicht (Berufsgeheimnis),
- eine unzulässige Übermittlung besonderer Kategorien personenbezogener Daten außerhalb des EWR (Artikel 9 und 44 DSGVO),
- das Fehlen eines Auftragsverarbeitungsvertrags mit dem Auftragsverarbeiter (Artikel 28 DSGVO),
- Verstoß gegen AI Act-Pflichten in Bezug auf Hochrisikosysteme,
- in manchen Konfigurationen – die Nutzung von Patientendaten zum Trainieren von Modellen.
Reale finanzielle Sanktionen
oder 3 % des Umsatzes – AI Act-Bußgeld bei Verstößen gegen Pflichten für Hochrisikosysteme
oder 4 % des Umsatzes – DSGVO-Bußgeld für rechtswidrige Verarbeitung von Gesundheitsdaten
oder 7 % des Umsatzes – Höchstbußgeld nach dem AI Act für verbotene Praktiken
Daneben drohen zivilrechtliche Sanktionen (Patientenansprüche), berufliche Haftung für Ärzte und das Risiko des Verlusts von Verträgen mit der gesetzlichen Krankenversicherung bei schwerwiegenden Vorfällen. Für viele Einrichtungen würde eine einzige Geldbuße nahe dem Höchstbetrag das Ende des Betriebs bedeuten.
Warum „kostenloser ChatGPT für Notizen" eine extrem kostspielige Ersparnis ist
Der häufigste Einwand von Leitern lautet: „Warum brauchen wir einen dedizierten Assistenten, wenn Ärzte das Protokoll einfach kostenlos in ChatGPT einfügen können?" Aus der Perspektive von AI Act und DSGVO ist diese Ersparnis aus mindestens drei Gründen illusorisch.
1. Non-Compliance = Bußgeldrisiko von bis zu 15 Millionen Euro
Der Einsatz eines Allzweck-LLM für medizinische Zwecke bringt die Einrichtung sofort in das Hochrisikosystem-Regime – ohne eine einzige Anforderung des AI Act zu erfüllen. Das bedeutet offene Exponierung gegenüber Bußgeldern, Untersuchungen und dem Verlust von Betriebslizenzen.
2. Abfluss von Gesundheitsdaten und Verletzung der ärztlichen Schweigepflicht
In einen Consumer-ChatGPT eingegebene Patientendaten verlassen den EWR (landen typischerweise in den USA), werden bis zu 5 Jahre gespeichert und können zum Trainieren von Modellen genutzt werden. Dies ist ein Paradebeispiel für einen Verstoß gegen Artikel 9 DSGVO und gegen die berufliche ärztliche Schweigepflicht.
3. Keine Protokolle, keine Aufsicht, keine Dokumentation = keine Prüfbarkeit
Der AI Act verlangt, dass die Einrichtung nachweisen kann, wer das KI-System wann und wie genutzt hat. ChatGPT, über das persönliche Konto eines Arztes genutzt, erzeugt keine solchen Protokolle. Im Falle einer Inspektion hat die Einrichtung keine Möglichkeit, sich zu verteidigen.
„KI-Systeme im Gesundheitswesen sollten so konzipiert und eingesetzt werden, dass ein angemessenes Maß an Transparenz, menschlicher Aufsicht und Rechenschaftspflicht gegenüber Patienten gewährleistet ist."
Consumer-LLM vs. zweckgebundener medizinischer Assistent
| AI Act / DSGVO-Anforderung | Kostenloser ChatGPT / Claude | Zweckgebundener medizinischer Assistent (z. B. Cora AI) |
|---|---|---|
| Datenverarbeitungsort | Typischerweise USA, außerhalb des EWR | Ausschließlich EWR, in zertifizierten Rechenzentren |
| Auftragsverarbeitungsvertrag (AVV) | Fehlt oder eingeschränkt, deckt keine Gesundheitsdaten ab | Vollständiger AVV mit der Einrichtung unterzeichnet |
| Training des Modells mit Patientendaten | Standardmäßig ja (kostenlos/Plus) | Niemals – vertraglich garantiert |
| Protokolle und Prüfbarkeit | Keine auf Einrichtungsseite | Vollständige Ereignisprotokolle, exportierbar für Prüfer |
| Menschliche Aufsicht | Nicht definiert | Arzt autorisiert jeden Eintrag |
| AI Act-Compliance-Dokumentation | Keine | Wird gemeinsam mit dem System bereitgestellt |
| Status bei einer Inspektion | Mehrere regulatorische Verstöße | Compliance durch Dokumentation nachweisbar |
Warum nur verifizierte, bewährte Quellen genutzt werden sollten
Künstliche Intelligenz im Gesundheitswesen ist nicht „nur ein weiteres Bürotool." Es ist eine Technologie, die die sensibelsten Daten der gesamten Wirtschaft berührt – Daten über die Gesundheit von Menschen. Aus diesem Grund sollte die Wahl des Tools eine bewusste Managemententscheidung sein, die auf nachprüfbaren Kriterien basiert – nicht auf der Vertrautheit eines Arztes mit einer kostenlosen Consumer-Anwendung.
Eine verifizierte Quelle ist ein Anbieter, der:
- eine europäische Einheit ist, die dem AI Act und der DSGVO unterliegt,
- Daten ausschließlich im EWR verarbeitet,
- einen Auftragsverarbeitungsvertrag für Gesundheitsdaten unterzeichnet,
- keine Modelle mit Patientendaten trainiert,
- vollständige Systemprotokolle und Compliance-Dokumentation bereitstellt,
- die Oberfläche so gestaltet, dass der Arzt der Entscheidungsträger bleibt (Human-in-the-Loop),
- eine Sicherheitsrichtlinie veröffentlicht und unabhängige Audits durchläuft.
Wie Cora AI die Anforderungen des AI Act erfüllt
Cora AI wurde von Grund auf als dedizierter medizinischer Assistent für den europäischen Markt entwickelt. Das schlägt sich in konkreten technischen und rechtlichen Entscheidungen nieder, die der Einrichtung regulatorische Compliance liefern:
- Ausschließliche Datenverarbeitung im EWR – keine Übermittlungen außerhalb der EU.
- Kein Training von Modellen mit Patientendaten – vertraglich garantiert.
- Vollständiger Auftragsverarbeitungsvertrag (AVV) für besondere Datenkategorien.
- Vollständige Systemprotokolle, die die 6-monatige Aufbewahrungspflicht nach dem AI Act erfüllen.
- Human-in-the-Loop – jeder Eintrag erfordert die Autorisierung des Arztes.
- Fertige Compliance-Dokumentation zur Übergabe an den Datenschutzbeauftragten und Aufsichtsbehörden.
In der Praxis bedeutet das, dass eine Einrichtung, die Cora AI nutzt, Compliance nicht selbst aufbauen muss – sie ist im Tool enthalten.
Checkliste für den Einrichtungsleiter
Bevor Ihre Ärzte ein KI-Tool zur Arbeit mit Patientendaten einsetzen, prüfen Sie:
- Unterzeichnet der Anbieter einen Auftragsverarbeitungsvertrag für Gesundheitsdaten?
- Wo werden die Daten physisch verarbeitet – ausschließlich im EWR?
- Werden Eingabedaten zum Trainieren von Modellen genutzt?
- Wie lange werden Protokolle und Aufzeichnungen aufbewahrt?
- Protokolliert das System Ereignisse und sind diese Protokolle für Prüfer zugänglich?
- Steht fertige AI Act-Compliance-Dokumentation zur Übergabe bereit?
- Verlangt die Oberfläche für jeden Eintrag die Autorisierung des Arztes?
- Verfügt die Einrichtung über eine interne „KI-Richtlinie" und einen benannten KI-Verantwortlichen?
Wenn die Antwort auf eine dieser Fragen „Weiß ich nicht" oder „Nein" lautet, sollte das Tool nicht in der Patientenversorgung eingesetzt werden.
Zusammenfassung
Der AI Act ist keine abstrakte Verordnung aus Brüssel. Er verändert die Praxis jeder Klinik, in der ein Arzt auf KI zurückgreift, um Patientenbesuche zu dokumentieren. Die Nutzung kostenloser Consumer-Modelle bedeutet eine Exponierung gegenüber Bußgeldern von bis zu 15 Millionen Euro nach dem AI Act, bis zu 20 Millionen Euro nach der DSGVO und beruflicher Haftung.
Ein sicherer Einsatz von KI im Gesundheitswesen ist möglich – vorausgesetzt, das Tool wurde mit diesen Anforderungen im Blick entwickelt. Ein verifizierter, zweckgebundener medizinischer Assistent nimmt der Einrichtung die Compliance-Last ab und lässt das Team sich auf den Patienten konzentrieren – statt auf rechtliche Risiken.