Der EU AI Act und KI im Gesundheitswesen: Was Anbieter wissen müssen

Die Ratifizierung und die bevorstehende vollständige Durchsetzung des Gesetzes über Künstliche Intelligenz der Europäischen Union, des EU AI Act, markiert einen klaren Wendepunkt in der Regulierung digitaler Technologien und verändert die operative Landschaft für Gesundheitsdienstleister in ganz Europa grundlegend. Diese weltweit erste Gesetzgebung dieser Art fügt nicht nur eine weitere bürokratische Ebene hinzu, sie führt ein umfassendes, risikobasiertes Architekturframework ein, das die Entwicklung, den Einsatz und die Überwachung von KI Systemen steuern soll.[1] Für europäische Gesundheitseinrichtungen, insbesondere in Mitgliedstaaten mit bereits strengen Standards wie den Niederlanden und Deutschland, erfordert diese Regulierung eine tiefgreifende Neubewertung von Beschaffungsstrategien und Governance Strukturen. Der Schwerpunkt der Compliance verlagert sich von den datenzentrierten Datenschutzvorgaben der Datenschutz Grundverordnung, DSGVO, hin zu einer breiteren, produktsicherheitsorientierten Perspektive, die die Auswirkungen auf Grundrechte, die technische Robustheit und die ethischen Implikationen algorithmischer Werkzeuge prüft.[3]

Das Inkrafttreten des AI Act fällt in eine Phase intensiver digitaler Transformation im europäischen Gesundheitswesen, getrieben durch den doppelten Druck von Fachkräftemangel und dem Bedarf an operativer Effizienz. Die Verordnung wirkt im Zusammenspiel mit dem European Health Data Space, EHDS, und schafft eine komplexe regulatorische Matrix, in der Datenflüsse auf strikte Sicherheitsleitplanken treffen.[5] Der EHDS soll das Potenzial von Gesundheitsdaten für die primäre Versorgung und für Innovation in der Sekundärnutzung, etwa Forschung, erschließen, gleichzeitig setzt der AI Act enge Grenzen dafür, wie diese Daten durch autonome Systeme verarbeitet werden dürfen. Dieses Zusammenspiel stellt die Krankenhausleitung vor eine besondere Herausforderung, wie sich die Effizienz von KI, insbesondere in administrativen und klinischen Aufgaben mit niedriger Akuität, nutzen lässt, ohne in die prohibitiv hohen Compliance Lasten einer Einstufung als Hochrisiko zu geraten.

Darüber hinaus darf der geopolitische und wirtschaftliche Kontext dieser Regulierung nicht unterschätzt werden. Während Gesundheitssysteme mit der Erholung nach der Pandemie und den sogenannten deaths of despair im Zusammenhang mit wirtschaftlicher Unsicherheit ringen, versucht der AI Act, Innovation und gesellschaftlichen Schutz auszubalancieren.[8] Er adressiert die Sorge vor Dequalifizierung und Arbeitsplatzverdrängung, indem er menschliche Aufsicht vorschreibt und sicherstellt, dass KI ein Werkzeug zur Unterstützung und nicht zum Ersatz bleibt. Dieser anthropozentrische Ansatz ist in der Anforderung nach human agency verankert, die Anbieter verpflichtet, Schnittstellen zu implementieren, mit denen medizinisches Personal KI Ausgaben übersteuern, überwachen und verstehen kann.[9] Damit ist die Beschaffung von KI Agenten nicht länger ausschließlich eine IT Entscheidung, sie ist zu einer Frage der klinischen Governance geworden und erfordert eine multidisziplinäre Zusammenführung juristischer, medizinischer und technischer Expertise, um die konvergierenden Anforderungen der Medizinprodukteverordnung, MDR, und des neuen KI Rechtsrahmens zu erfüllen.

Die risikobasierte Architektur, Klassifizierung im Gesundheitswesen sicher navigieren

Der zentrale Mechanismus des EU AI Act ist sein risikobasiertes Klassifizierungssystem, das KI Anwendungen in vier klar definierte Stufen potenzieller Schäden einteilt, unzulässig, hoch, begrenzt und minimal. Für Gesundheitsdienstleister ist die korrekte Einordnung eines konkreten Tools in dieses Spektrum der entscheidendste Schritt im Beschaffungsprozess, da sie die Schwere der nachfolgenden rechtlichen Pflichten bestimmt.[11]

Hochrisiko KI Systeme, die klinische Last

Die überwiegende Mehrheit klinischer KI Anwendungen, also solche, die für Diagnose, Therapieplanung oder physiologisches Monitoring vorgesehen sind, wird als Hochrisiko KI Systeme eingestuft. Diese Einstufung erfolgt häufig automatisch bei Software, die bereits als Medizinprodukt nach der MDR, Verordnung (EU) 2017/745, gilt und eine Konformitätsbewertung durch eine Benannte Stelle erfordert.[13] Die regulatorische Logik ist, dass ein Fehler in einem Diagnosealgorithmus oder in einer robotischen Operationshilfe zum Tod oder zu irreversiblen Gesundheitsschäden führen kann, was die höchste Prüfintensität rechtfertigt.

Anbieter von Hochrisiko Systemen müssen eine umfassende Liste von Anforderungen erfüllen. Dazu gehört die Einrichtung eines vollständigen Risikomanagementsystems, das über den gesamten Lebenszyklus der KI hinweg wirkt, nicht nur zum Zeitpunkt des Rollouts.[15] Die Pflichten zur Data Governance sind besonders streng, Trainings, Validierungs und Testdatensätze müssen relevant, repräsentativ und nach bestem Wissen und Gewissen möglichst fehlerfrei sein. Dies ist eine direkte gesetzgeberische Reaktion auf das historische Problem algorithmischer Verzerrungen, bei dem KI Modelle, die auf homogenen Populationen trainiert wurden, bei diversen Patientengruppen unzuverlässig performen.[17] Für ein Krankenhaus, das eine Hochrisiko Radiologie KI einsetzt, bedeutet das, dass die Einrichtung prüfen muss, ob der Anbieter das Modell rigoros gegen Daten getestet hat, die die lokale Patient:innenpopulation repräsentieren, eine Anforderung, die die Messlatte für die Due Diligence in der Beschaffung deutlich anhebt.[19]

Zudem wird die Black Box Natur von Deep Learning Modellen durch die Transparenzanforderungen des Gesetzes direkt herausgefordert. Hochrisiko Systeme müssen so gestaltet sein, dass sie hinreichend transparent sind, damit Deployers, also Gesundheitsfachkräfte, die Ausgabe interpretieren und die Funktionsweise verstehen können.[2] Diese Erklärbarkeit ist nicht nur ein technisches Feature, sondern eine rechtliche Voraussetzung für informierte klinische Entscheidungen. Wenn eine Ärztin oder ein Arzt nicht nachvollziehen kann, warum ein KI Tool eine bestimmte Behandlung empfiehlt, kann das System die Konformitätsanforderungen des Gesetzes verfehlen, wodurch sein Einsatz rechtswidrig wäre.

KI Systeme mit begrenztem Risiko, die administrative Chance

Im deutlichen Gegensatz zu den hohen Lasten für klinische Tools definiert der AI Act eine Kategorie von KI Systemen mit begrenztem Risiko, die Technologien umfasst, bei denen das primäre Risiko eher Transparenz und Manipulation betrifft als physische Sicherheit. Dazu gehören viele administrative und patientennahe Tools, die derzeit Krankenhausabläufe revolutionieren, etwa Chatbots, Sprachassistenten und automatisierte Terminplanungsagenten.[12]

Die Einstufung dieser Systeme als begrenztes Risiko ist strategisch entscheidend. Sie legt nahe, dass administrative KI, Tools für Patientenaufnahme, Terminverschiebungen und allgemeine Anfragen, mit deutlich geringerem regulatorischem Aufwand eingesetzt werden kann als klinische Entscheidungsunterstützung. Die zentrale Pflicht für Systeme mit begrenztem Risiko ist Transparenz nach Artikel 50, der Anbieter muss sicherstellen, dass die Nutzerin oder der Nutzer, also die Patientin oder der Patient, ausdrücklich darüber informiert wird, dass eine Interaktion mit einer Maschine stattfindet. Diese Abgrenzung ermöglicht es Gesundheitseinrichtungen, KI schnell zur Effizienzsteigerung einzusetzen, ohne die jahrelangen Konformitätsbewertungszyklen, die für Hochrisiko Medizinprodukte erforderlich sind.

Die Grenze zwischen administrativ und klinisch ist jedoch durchlässig und muss sorgfältig gesteuert werden. Ein Sprachagent, der strikt Termine koordiniert, ist begrenztes Risiko. Nutzt derselbe Agent jedoch Natural Language Processing, NLP, um die Schwere von Symptomen einzuschätzen und Termine zu priorisieren, also faktisch Triage zu leisten, überschreitet er die Schwelle zur Medizinproduktsoftware und wird zum Hochrisiko KI System. Diese funktionale Drift ist eine zentrale Compliance Falle, Gesundheitsdienstleister müssen den intended purpose ihrer KI Agenten in Auftragsverarbeitungsverträgen, AVV, strikt definieren, damit sie innerhalb der Einstufung als begrenztes Risiko bleiben.23

Verbotene und Praktiken mit minimalem Risiko

Der AI Act zieht zudem klare rote Linien für den KI Einsatz. KI Systeme, die unterschwellige Techniken einsetzen, um Verhalten zu verzerren, oder die Vulnerabilitäten bestimmter Gruppen ausnutzen, etwa Kinder oder ältere Menschen, werden als unzulässiges Risiko eingestuft und sind vollständig verboten. Auch wenn Krankenhäuser solche Systeme kaum bewusst beschaffen würden, müssen sie wachsam sein gegenüber Anbietern, deren Engagement Algorithmen unbeabsichtigt in manipulative Bereiche abgleiten könnten. Umgekehrt bleiben Systeme mit minimalem Risiko, etwa Spamfilter oder KI gestützte Videospiele in pädiatrischen Stationen, weitgehend unreguliert, wobei eine freiwillige Orientierung an Verhaltenskodizes empfohlen wird, um eine Kultur vertrauenswürdiger KI zu fördern.

Konvergenz mit der Medizinprodukteverordnung, MDR

Die parallele Anwendung des AI Act und der Medizinprodukteverordnung, MDR, schafft für Gesundheitsdienstleister ein komplexes, doppeltes Regulierungsumfeld. Während die MDR klinische Sicherheit und Leistungsfähigkeit fokussiert, ergänzt der AI Act zusätzliche Anforderungen zu Grundrechten und Data Governance. Diese Konvergenz ist besonders anspruchsvoll, weil Definitionen und Klassifizierungsregeln beider Regelwerke nicht perfekt deckungsgleich sind, was zu rechtlicher Unsicherheit führen kann.

Die doppelte Konformitätslast

Software, die nach MDR als Medizinprodukt gilt, unterliegt einer strengen klinischen Bewertung und einer Überwachung nach dem Inverkehrbringen. Der AI Act respektiert dieses bestehende Framework, indem er seine Konformitätsbewertungen für Hochrisiko Systeme in den MDR Prozess integriert. Das bedeutet, dass idealerweise eine Benannte Stelle die Compliance mit beiden Regelwerken bewertet.[10] Allerdings führt der AI Act spezifische Anforderungen ein, die über die MDR hinausgehen, insbesondere zur Qualität der Trainingsdaten und zur Robustheit gegenüber adversarial attacks.

Für Gesundheitsdienstleister heißt das, dass eine CE Kennzeichnung nach MDR nicht mehr das einzige Compliance Siegel ist. Beschaffungsteams müssen nun prüfen, ob die Konformitätsbewertung ausdrücklich auch die Anforderungen des AI Act abdeckt. Dazu gehört die Kontrolle technischer Dokumentation, die die Fehlertoleranz, Cybersecurity Schutzmaßnahmen und die Abwesenheit von Bias in den Entwicklungsdatensätzen belegt. Die Vermutung der Konformität durch harmonisierte Normen wird hier entscheidend sein, und Anbieter sollten bevorzugt werden, die sich neben klassischen Medizinproduktenormen auch an entstehenden Standards wie ISO 42001, Artificial Intelligence Management Systems, orientieren.[26]

Überwachung nach dem Inverkehrbringen und Haftung

Sowohl MDR als auch AI Act verpflichten zur Überwachung nach dem Inverkehrbringen, unterscheiden sich jedoch im Umfang. Die MDR fokussiert klinische Vorkommnisse und Sicherheitsmeldungen. Der AI Act erweitert dies um die Überwachung von Auswirkungen auf Grundrechte und die Erkennung schwerwiegender Vorfälle im Zusammenhang mit dem Betrieb des KI Systems.[18]

Entscheidend ist, dass der AI Act die Haftungslandschaft präzisiert, indem er zwischen provider, Hersteller, und deployer, Gesundheitseinrichtung, unterscheidet. Während der Hersteller für das Design verantwortlich ist, haftet die Gesundheitseinrichtung für die Nutzung. Setzt ein Krankenhaus ein Hochrisiko KI System ein, ohne angemessene menschliche Aufsicht sicherzustellen, oder nutzt es das System für einen Zweck, der nicht in der Gebrauchsanweisung vorgesehen ist, etwa ein Diagnosetool für Erwachsene bei pädiatrischen Patient:innen, verlagert sich die Haftung auf das Krankenhaus. Das erfordert eine robuste interne Governance Struktur, in der IT, Klinik und Rechtsabteilung gemeinsam die KI Performance überwachen und die strikte Einhaltung operativer Protokolle sicherstellen.

Die administrative KI Revolution, begrenztes Risiko für Effizienz nutzen

Inmitten der regulatorischen Komplexität klinischer KI findet parallel eine Transformation in der Verwaltung des Gesundheitswesens statt. Der Einsatz von KI Agenten für Aufgaben wie Patientenaufnahme, Terminplanung und Abrechnung ist ein wirkungsstarker, risikoärmerer Weg der digitalen Transformation. Durch die Automatisierung dieser Routineinteraktionen können Gesundheitssysteme dem chronischen Fachkräftemangel und administrativer Erschöpfung begegnen, sofern sie die Transparenz und Sicherheitsanforderungen des AI Act korrekt umsetzen.

Der ROI von Sprachagenten und Chatbots

Das wirtschaftliche Argument für administrative KI ist überzeugend. Gesundheitsfachkräfte in Europa berichten, dass sie einen erheblichen Teil ihrer Zeit, häufig über 40 Prozent, für Dokumentation und administrative Tätigkeiten statt für direkte Patient:innenversorgung aufwenden.[30] Diese administrative Last ist ein zentraler Treiber für Burnout und trägt zu Ineffizienzen bei, die Gesundheitskosten erhöhen.[32]

KI gestützte Sprachagenten und Chatbots bieten eine skalierbare Lösung. Diese Systeme können rund um die Uhr arbeiten und tausende gleichzeitige Patient:innenanfragen zu Terminen, Rezeptverlängerungen und allgemeinen Krankenhausinformationen bearbeiten. Indem diese Aufgaben an KI Einheiten mit begrenztem Risiko ausgelagert werden, können Krankenhäuser knappe personelle Ressourcen auf hochwertige klinische Tätigkeiten konzentrieren.[34] Fallstudien und Branchenberichte deuten darauf hin, dass automatisierte Systeme bis zu 30 bis 40 Prozent routinemäßiger Patient:innen FAQs übernehmen können, wodurch Wartezeiten sinken und Zufriedenheitswerte steigen. Zudem liegen die Kosten pro Transaktion bei einem KI Agenten deutlich unter denen eines menschlichen Callcenters, was einen klaren Return on Investment, ROI, liefert und die finanzielle Nachhaltigkeit von Gesundheitseinrichtungen unterstützt.

Transparenz, der Grundpfeiler von Vertrauen, Artikel 50

Die Einstufung administrativer KI als begrenztes Risiko ist an die strikte Einhaltung der Transparenzpflichten nach Artikel 50 des AI Act gebunden. Dieser Artikel verlangt, dass natürliche Personen darüber informiert werden, dass sie mit einem KI System interagieren, es sei denn, dies ist aus dem Kontext offensichtlich. Im sensiblen Gesundheitskontext, in dem Patient:innen verletzlich oder belastet sein können, ist es rechtlich und ethisch riskant, sich auf Offensichtlichkeit zu verlassen.

Best Practice ist eine explizite und unmittelbare Offenlegung. Wenn eine Patientin oder ein Patient eine Krankenhausnummer anruft und ein KI Sprachagent abnimmt, muss sich das System gleich zu Beginn als künstliche Entität zu erkennen geben. Erzeugt das System synthetisches Audio, eine Deepfake Stimme, oder Video, muss dies technisch gekennzeichnet und als künstlich erzeugt erkennbar sein.[21] Diese Vorgabe soll Täuschung verhindern und das Prinzip der human agency sichern, damit Patient:innen informiert entscheiden können, ob sie die Interaktion fortsetzen oder einen menschlichen Mitarbeitenden verlangen.

Die Nichteinhaltung dieser Transparenzregeln kann zu erheblichen Verwaltungsstrafen führen, bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes.[38] Daher müssen Gesundheitsdienstleister sicherstellen, dass ihre Beschaffungsverträge mit KI Anbietern konkrete Zusicherungen zur Artikel 50 Compliance enthalten, sodass alle Transparenzhinweise standardmäßig in der Benutzeroberfläche verankert sind.

Governance Frameworks für administrative Tools

Auch wenn administrative KI ein geringeres regulatorisches Risiko als klinische KI mit sich bringt, verarbeitet sie dennoch sensible Patientendaten und erfordert daher ein Governance Framework, das in seiner Strenge Hochrisiko Systemen ähnelt. Führende Anbieter in diesem Bereich, wie Inquira Health, zeigen, dass die freiwillige Orientierung an hohen Sicherheitsstandards ein entscheidendes Differenzierungsmerkmal in der Beschaffung ist.

Gesundheitsdienstleister sollten verlangen, dass Anbieter administrativer KI Zertifizierungen wie ISO 27001, Informationssicherheitsmanagement, und, für den europäischen Markt besonders relevant, NEN 7510 vorweisen. NEN 7510 ist ein niederländischer Standard, der Informationssicherheitskontrollen speziell auf das Gesundheitswesen zuschneidet und neben Vertraulichkeit besonders die Verfügbarkeit und Integrität von Patientendaten betont. Seine Aufnahme in das Compliance Portfolio eines Anbieters signalisiert ein ausgereiftes Verständnis gesundheitswesenspezifischer Risiken und dient als belastbarer Proxy für DSGVO Compliance in EU Jurisdiktionen.[40]

Darüber hinaus müssen administrative KI Systeme strikte Auftragsverarbeitungsverträge, AVV, implementieren, die jeden Use Case 1:1 abbilden. Dieser granulare Ansatz verhindert scope creep und stellt sicher, dass ein für Terminplanung beschafftes Tool nicht unbeabsichtigt klinische Triage Daten verarbeitet, ohne die erforderlichen rechtlichen und technischen Schutzmaßnahmen.

Technische Souveränität, Governance, Verschlüsselung und Audit Trails

Die Durchsetzung des AI Act hebt technische Standards von IT Best Practices zu rechtlichen Notwendigkeiten. Für europäische Gesundheitsdienstleister ist technische Souveränität, also Kontrolle über Datenflüsse, Speicherung und Zugriff, zentral. Das erfordert eine detaillierte Betrachtung konkreter technischer Protokolle zu Verschlüsselung, Logging und Datenresidenz.

ISO 27001 und Gesundheitsnormen, die Sicherheitsbasis

Die Einhaltung von ISO 27001 zusammen mit lokalen Gesundheitsstandards, etwa NEN 7510, schafft eine Defense in Depth Strategie für Gesundheitsdaten. Während ISO 27001 ein generisches Framework für Informationssicherheit liefert, übersetzt NEN 7510 diese Anforderungen in die Sprache der Versorgung. Der Standard verlangt, dass Informationssicherheitsmaßnahmen die zeitgerechte Versorgung nicht behindern, und balanciert strikte Zugriffskontrollen mit der Notwendigkeit von Datenverfügbarkeit in Notfällen.[41]

Für KI Agenten bedeutet das, dass die Systemarchitektur resilient sein muss. Anbieter müssen den Status als begrenztes Risiko durch klare Statements of Applicability, SoA, belegen, die exakt ausweisen, welche Sicherheitskontrollen zum Schutz von Patientendaten implementiert sind. Dazu gehören Prozesse im Lieferantenmanagement, die Subprozessoren prüfen und sicherstellen, dass die gesamte Lieferkette europäischen Sicherheitsstandards entspricht.

Verschlüsselungsstandards, Schutz von Daten in Bewegung und im Ruhezustand

Die Integrität von Patient:inneninteraktionen, die durch KI Agenten bearbeitet werden, hängt von robuster Verschlüsselung ab. Gesundheitsdienstleister müssen prüfen, dass Anbieter Secure Real time Transport Protocol, SRTP, für alle verschlüsselten Medienstreams, Sprache und Video, einsetzen. SRTP bietet Vertraulichkeit, Nachrichtenauthentifizierung und Schutz vor Replay Angriffen für die Audiodaten selbst und verhindert so Abhören oder Manipulation während des Gesprächs.

Zusätzlich zur Medienverschlüsselung müssen Signalisierung und Datenübertragung mit Transport Layer Security, TLS, idealerweise Version 1.2 oder 1.3, abgesichert werden. Verschlüsselung im Ruhezustand ist eine nicht verhandelbare Basis, alle Patiententranskripte, Logs und Metadaten, die auf Servern gespeichert werden, müssen verschlüsselt sein, damit sie bei einem physischen oder digitalen Vorfall unbrauchbar sind. Das Prinzip der geringsten Privilegien sollte den Zugriff auf diese Schlüssel und die geschützten Daten steuern, sodass nur autorisierte Personen und Prozesse sensible Informationen entschlüsseln können.

Audit Trails und ISO 27789, die Mechanik der Verantwortlichkeit

Transparenz im AI Act wird operativ durch Nachvollziehbarkeit definiert. Gesundheitsdienstleister müssen verlangen, dass KI Systeme unveränderliche Audit Trails erzeugen, die mit ISO 27789 und NEN 7513 übereinstimmen.[42] Diese Standards definieren Inhalt und Struktur von Audit Logs für elektronische Patientenakten und verlangen, dass jeder Zugriff auf personenbezogene Gesundheitsdaten, PHI, ob durch menschliche Nutzer:innen oder durch einen KI Agenten, protokolliert wird.

Ein konformer Log Eintrag muss erfassen:

• Identifikation: Wer, welcher konkrete KI Agent oder welches Nutzerkonto, auf die Daten zugegriffen hat.
• Zeitstempel: Das genaue Datum und die Uhrzeit des Zugriffs.
• Ziel: Welche konkrete Patientenakte oder welches Datenelement abgerufen wurde.
• Aktion: Die Art der Interaktion, etwa lesen, schreiben, aktualisieren, löschen.
• Begründung: Der Grund für den Zugriff, etwa Terminplanung.

Diese Logs müssen so gespeichert werden, dass Änderungen verhindert werden, Unveränderlichkeit, und sie müssen für die Prüfung durch Datenschutzbeauftragte oder Auditor:innen exportierbar sein. Im Kontext des AI Act dienen diese Logs als primärer Nachweis für menschliche Aufsicht und Systemperformance und ermöglichen die Rekonstruktion von Ereignissen im Fall eines schwerwiegenden Vorfalls oder eines algorithmischen Fehlers.

Datenresidenz und Souveränität

Um die DSGVO und die strengen Data Governance Anforderungen des AI Act zu erfüllen, sollten Gesundheitsdienstleister auf regionale Datenisolation bestehen. Patientendaten, die durch KI Agenten verarbeitet werden, sollten idealerweise niemals den Europäischen Wirtschaftsraum, EWR, verlassen. Anbieter wie Inquira Health adressieren dies durch isolierte EU Datenregionen und stellen sicher, dass Verarbeitung und Speicherung innerhalb von Rechtsräumen erfolgen, die mit europäischen Datenschutzgesetzen kompatibel sind. Das reduziert Risiken durch grenzüberschreitende Datentransfers und Konflikte mit ausländischen Überwachungsgesetzen, etwa dem US CLOUD Act.

Compliance operationalisieren, das Handbuch für Deployers

Der Übergang von Theorie zu Praxis verlangt von Gesundheitsdienstleistern eine proaktive Deployer Perspektive. Der AI Act legt die Verantwortung für die sichere Nutzung auf das Krankenhaus und verlangt konkrete operative Protokolle, bevor die erste Patientin oder der erste Patient mit einem KI System interagiert.

Menschliche Aufsicht und Human in the Loop

Artikel 14 des AI Act verlangt, dass Hochrisiko KI Systeme so gestaltet sind, dass eine wirksame menschliche Aufsicht möglich ist. Für Gesundheitsdienstleister bedeutet das die Implementierung eines Human in the Loop, HITL, Workflows. Deployers müssen kompetente, geschulte Personen benennen, die den Betrieb der KI überwachen. Diese Mitarbeitenden müssen die Fähigkeiten des Systems verstehen und vor allem seine Grenzen.

Die Operationalisierung umfasst:

• Schulung: Mitarbeitende müssen darin geschult werden, automation bias zu erkennen, also die Tendenz, KI Ausgaben stärker zu vertrauen als dem eigenen professionellen Urteil, und sie müssen befähigt werden, KI Empfehlungen zu ignorieren, wenn sie klinischer Evidenz widersprechen.
• Interventionsprotokolle: Es müssen klare Verfahren existieren, wann ein Mensch eingreifen oder das KI System abschalten soll, etwa ein Kill Switch für einen fehlerhaften Chatbot.
• Feedback Loops: Kliniker:innen sollten Fehler oder Anomalien direkt an den Anbieter melden können und so zur Überwachung nach dem Inverkehrbringen beitragen.

Fundamental Rights Impact Assessments, FRIA

Für öffentliche Krankenhäuser und private Einrichtungen, die öffentliche Dienstleistungen erbringen, löst der Einsatz eines Hochrisiko KI Systems die Pflicht zu einer Fundamental Rights Impact Assessment, FRIA, aus. Dies ist eine eigenständige Übung neben der Datenschutz Folgenabschätzung, DSFA, nach DSGVO, auch wenn es Überschneidungen gibt.

Eine FRIA muss bewerten:

• Nichtdiskriminierung: Könnte das KI System bestimmte Patientengruppen unbeabsichtigt benachteiligen, basierend auf den Trainingsdaten?
• Zugang zur Versorgung: Beeinflusst der Einsatz des Systems den Zugang zu Gesundheitsleistungen, etwa wenn ein digitales Triage Tool Hürden für ältere Menschen mit geringer Technikaffinität schafft?
• Verbraucherschutz: Sind Patient:innen ausreichend informiert und vor Manipulation geschützt?

Die Ergebnisse der FRIA müssen der zuständigen Marktüberwachungsbehörde gemeldet werden und der Deployer muss einen Plan zur Minderung identifizierter Risiken vorhalten.

Beschaffungscheckliste für Gesundheitsdienstleister

Um Compliance sicherzustellen und Haftungsrisiken zu reduzieren, sollten Gesundheitsdienstleister bei der Beschaffung jedes KI Systems eine strenge Checkliste nutzen.

Kategorie	Checklistenpunkt	Regulatorischer Treiber
Klassifizierung	Ist das System Hochrisiko, klinisch, oder begrenztes Risiko, administrativ? Gibt es ein gültiges CE Zertifikat für Hochrisiko?	AI Act Art. 6 / MDR
Transparenz	Weist sich das System als KI aus, Art. 50? Sind Deepfakes gekennzeichnet?	AI Act Art. 50
Governance	Verfügt der Anbieter über ISO 27001 und NEN 7510 Zertifizierungen?	DSGVO Art. 32 / Branchen Best Practice
Datensicherheit	Werden Daten in der EU verarbeitet und gespeichert? Wird SRTP und TLS Verschlüsselung genutzt?	DSGVO / AI Act Data Governance
Aufsicht	Gibt es Tools für menschliche Aufsicht, HITL? Sind Mitarbeitende für die Nutzung geschult?	AI Act Art. 14 und 26
Nachvollziehbarkeit	Werden unveränderliche Logs gemäß NEN 7513 und ISO 27789 erzeugt?	AI Act Art. 12
Verträge	Bildet der AVV den konkreten Use Case 1:1 ab?	DSGVO / AI Act Haftung

Wirtschaftliche Implikationen und Ausblick

Die Kosten der Compliance mit dem EU AI Act sind erheblich, müssen jedoch gegen die Kosten der Nicht Compliance und die potenziellen operativen Einsparungen abgewogen werden.

Kosten der Compliance versus Nicht Compliance

Bei Hochrisiko Systemen können die Kosten für Konformitätsbewertungen, technische Dokumentation und Qualitätsmanagement von mehreren zehntausend bis zu mehreren hunderttausend Euro reichen.[46] Diese Kosten werden überwiegend vom Anbieter, Hersteller, getragen, dürften aber über die Preisgestaltung an Gesundheitseinrichtungen weitergegeben werden. Bei administrativen Tools mit begrenztem Risiko ist die Compliance Last hingegen deutlich geringer und konzentriert sich primär auf Transparenz und Standard IT Sicherheit.

Demgegenüber können die Kosten der Nicht Compliance katastrophal sein. Bußgelder für verbotene Praktiken können bis zu 35 Millionen Euro oder 7 Prozent des globalen Umsatzes erreichen, während Verstöße gegen Data Governance oder Transparenzpflichten Bußgelder bis zu 15 Millionen Euro nach sich ziehen können. Neben Bußgeldern kann der Reputationsschaden durch eine Datenschutzverletzung oder einen unethischen KI Einsatz das Vertrauen von Patient:innen untergraben, und Vertrauen ist die Währung des Gesundheitswesens.

Die Zukunft, 2026 und darüber hinaus

Mit dem Übergang zur vollständigen Anwendung des AI Act Mitte 2026 wird das Gesundheitswesen eine Standardisierung der KI Governance erleben. Es ist mit der Entstehung von Regulatory Sandboxes zu rechnen, kontrollierten Umgebungen, in denen Anbieter innovative KI Systeme unter regulatorischer Aufsicht testen können. Krankenhäuser sollten aktiv versuchen, an solchen Sandboxes teilzunehmen, um frühzeitig Zugang zu konformer Innovation zu erhalten.

Zudem werden Standards wie ISO 42001 voraussichtlich zur neuen Basis für KI Management, ähnlich wie ISO 27001 für Sicherheit. Gesundheitsdienstleister, die ihre interne Governance bereits jetzt an diesen Standards ausrichten, sind am besten positioniert, um die sich entwickelnde regulatorische Landschaft zu navigieren.

Fazit

Der EU AI Act steht für die Reifung des digitalen Gesundheitsmarktes. Er führt den Sektor weg vom move fast and break things Ethos hin zu einem Modell von move responsibly and secure trust. Für Gesundheitsdienstleister klärt das Gesetz die Spielregeln und unterscheidet zwischen dem hochkritischen Bereich klinischer Entscheidungsunterstützung und der effizienzgetriebenen Welt administrativer Automatisierung.

Durch den Einsatz von KI Agenten mit begrenztem Risiko für administrative Aufgaben können europäische Gesundheitsdienstleister sofort zentrale Personalengpässe adressieren und Burnout reduzieren, sofern sie strikte Governance Standards einhalten. Die Orientierung an NEN 7510 und ISO 27001, das Bestehen auf robusten Audit Trails, ISO 27789, und die konsequente Durchsetzung der Transparenzpflichten sind nicht nur regulatorische Checklistenpunkte, sie sind ethische Imperative moderner Gesundheitsversorgung.

Als Deployer agiert die Gesundheitseinrichtung als letzte Schutzinstanz für Patientensicherheit. Indem sie diese Verantwortung mit informierter Beschaffung und proaktiver Governance annimmt, kann der Sektor die transformative Kraft von KI nutzen, um Versorgung sicherer, effizienter und letztlich menschlicher zu gestalten.

Wichtigste Erkenntnisse für Gesundheitsdienstleister

• Risiko differenzieren: strikte Konformität für klinische Tools, Hochrisiko, versus Transparenz für administrative Bots, begrenztes Risiko.
• Standards verbindlich machen: ISO 27001 und NEN 7510 sind für Datensicherheit im europäischen Gesundheitswesen nicht verhandelbar.
• Transparenz durchsetzen: Artikel 50 verlangt, dass KI Agenten sich zu erkennen geben, Deepfakes müssen erkennbar sein.
• Daten absichern: EU Hosting in der Region sowie SRTP und TLS Verschlüsselung für sämtlichen Sprach und Datenverkehr sicherstellen.
• Alles protokollieren: unveränderliche Audit Trails, ISO 27789, implementieren, um Nachvollziehbarkeit und Verantwortlichkeit sicherzustellen.
• Human in the Loop: Hochrisiko KI niemals ohne benannte, geschulte menschliche Aufsicht einsetzen.

Dieser Bericht verweist auf die Gesetzestexte des EU AI Act, der Medizinprodukteverordnung und unterstützende technische Standards, Stand Anfang 2026.