AI Act je v platnosti a mění pravidla pro každé zdravotnické zařízení v EU. Pokud lékař vloží záznam z návštěvy do bezplatné verze ChatGPT, zařízení již současně porušuje hned několik vrstev předpisů najednou. Vysvětlujeme přesně, co AI Act říká o využívání umělé inteligence ve zdravotnictví, jaká rizika nemocnice a kliniky podstupují a proč je používání pouze ověřených, účelových nástrojů jedinou rozumnou cestou.
maximální pokuta dle AI Act za porušení povinností týkajících se vysoce rizikových systémů
maximální pokuta dle GDPR za nezákonné zpracování zdravotních údajů
celosvětového ročního obratu – alternativní práh pokuty dle AI Act
minimální doba uchovávání protokolů pro vysoce rizikový systém AI
Co je AI Act a proč se vztahuje na každé zdravotnické zařízení
AI Act (nařízení 2024/1689) je prvním komplexním zákonem na světě upravujícím umělou inteligenci. Přijímá přístup založený na riziku – čím větší je dopad systému AI na zdraví, práva a bezpečnost lidí, tím přísnější jsou povinnosti. Zdravotnictví bylo jednoznačně zařazeno do kategorie vysoce rizikových systémů.
AI Act důležitě neupravuje pouze vývojáře modelů. Vztahuje se také na tzv. provozovatele – každé zařízení, které systém AI využívá při svém provozu. Nemocnice, klinika nebo soukromá ordinace, v níž lékař používá AI k dokumentaci nebo podpoře klinického rozhodování, se stává odpovědnou stranou vůči dozorovým orgánům.
Kdy se AI stává „vysoce rizikovým systémem"
AI Act – v příloze III a ve spojení s nařízením o zdravotnických prostředcích (MDR) – jasně identifikuje systémy AI využívané pro:
- podporu diagnostiky a třídění pacientů,
- analýzu zdravotních údajů pacientů,
- generování zdravotnické dokumentace,
- hodnocení klinického rizika nebo stanovení priority péče,
- monitorování životních funkcí,
— jako vysoce rizikové systémy. Nezáleží na tom, zda lékař „jen zkopíroval část rozhovoru do ChatGPT." Rozhodující je účel zpracování a lékařský kontext.
Povinnosti zařízení využívajícího AI ve zdravotnictví
Provozovatel vysoce rizikového systému AI musí splnit soubor závazných povinností podle článku 26 AI Act. Mezi nejdůležitější patří:
- Lidský dohled – jmenovaná, kvalifikovaná osoba odpovědná za sledování provozu systému.
- Uchovávání protokolů po dobu nejméně 6 měsíců ve formě umožňující audit.
- Informování pacientů o tom, že AI byla využita v diagnostickém nebo terapeutickém procesu.
- Posouzení dopadu na základní práva (FRIA) pro veřejné subjekty a určité soukromé subjekty.
- Používání výhradně systémů označených CE zapsaných v databázi EU.
- Dodržování návodu k použití poskytnutého dodavatelem a monitorování incidentů.
Vybudovat tuto vrstvu shody kolem bezplatné verze ChatGPT je prakticky nemožné – protože spotřebitelský LLM neposkytuje ani protokoly, ani dokumentaci shody, ani smlouvu o zpracování dat, ani žádnou záruku o tom, kde jsou data zpracovávána.
AI Act nenahrazuje GDPR – platí souběžně s ním
Mnoho vedoucích pracovníků zařízení se ptá: „Když máme GDPR, k čemu potřebujeme AI Act?" Odpověď je jasná – oba režimy platí souběžně a jejich sankce se kumulují. Zadání záznamu z návštěvy do spotřebitelské verze ChatGPT, Claude nebo Gemini současně způsobuje:
- porušení lékařské mlčenlivosti (povinnosti profesního tajemství),
- neoprávněný přenos zvláštních kategorií osobních údajů mimo EHP (články 9 a 44 GDPR),
- absenci smlouvy o zpracování osobních údajů se zpracovatelem (článek 28 GDPR),
- porušení povinností AI Act týkajících se vysoce rizikových systémů,
- v některých konfiguracích – využití dat pacienta k trénování modelů.
Reálné finanční sankce
nebo 3 % obratu – pokuta AI Act za porušení povinností pro vysoce rizikové systémy
nebo 4 % obratu – pokuta GDPR za nezákonné zpracování zdravotních údajů
nebo 7 % obratu – maximální pokuta AI Act za zakázané praktiky
Vedle toho hrozí civilněprávní sankce (nároky pacientů), profesní odpovědnost lékařů a riziko ztráty smluv se zdravotními pojišťovnami v případě závažných incidentů. Pro mnoho zařízení by jediná pokuta blízká maximu znamenala konec provozu.
Proč „bezplatný ChatGPT na poznámky" je mimořádně nákladná úspora
Nejčastější námitka vedoucích pracovníků zní: „Proč potřebujeme dedikovaného asistenta, když lékaři mohou záznam vložit do ChatGPT a poznámku získat zdarma?" Z hlediska AI Act a GDPR je tato úspora iluzorní přinejmenším ze tří důvodů.
1. Nesoulad s předpisy = vystavení pokutám až do výše 15 milionů eur
Využívání univerzálního LLM pro lékařské účely okamžitě přivádí zařízení do režimu vysoce rizikových systémů – bez splnění jediného požadavku AI Act. To představuje otevřené vystavení pokutám, vyšetřováním a ztrátě provozních licencí.
2. Únik zdravotních dat a porušení lékařské mlčenlivosti
Data pacienta zadaná do spotřebitelského ChatGPT opouštějí EHP (obvykle míří do Spojených států), jsou uchovávána až 5 let a mohou být využita k trénování modelů. Jde o učebnicové porušení článku 9 GDPR a profesní lékařské mlčenlivosti.
3. Žádné protokoly, žádný dohled, žádná dokumentace = žádná auditovatelnost
AI Act vyžaduje, aby zařízení bylo schopno prokázat, kdo systém AI používal, kdy a jak. ChatGPT přístupný přes osobní účet lékaře žádné takové protokoly nevytváří. V případě kontroly nemá zařízení čím se hájit.
„Systémy AI využívané ve zdravotnictví by měly být navrženy a nasazeny způsobem, který zajišťuje přiměřenou míru transparentnosti, lidského dohledu a odpovědnosti vůči pacientům."
Spotřebitelský LLM vs. účelový lékařský asistent
| Požadavek AI Act / GDPR | Bezplatný ChatGPT / Claude | Účelový lékařský asistent (např. Cora AI) |
|---|---|---|
| Místo zpracování dat | Zpravidla USA, mimo EHP | Výhradně EHP, v certifikovaných datových centrech |
| Smlouva o zpracování osobních údajů (DPA) | Chybí nebo omezená, nepokrývá zdravotní data | Úplná DPA uzavřená se zařízením |
| Trénování modelu na datech pacienta | Ano ve výchozím nastavení (bezplatná/Plus) | Nikdy – smluvní záruka |
| Protokoly a auditovatelnost | Na straně zařízení žádné | Úplné protokoly událostí, exportovatelné pro auditory |
| Lidský dohled | Nedefinován | Lékař autorizuje každý záznam |
| Dokumentace shody dle AI Act | Žádná | Dodávána spolu se systémem |
| Postavení při kontrole | Mnohonásobná regulatorní porušení | Shoda doložitelná dokumentací |
Proč je třeba používat výhradně ověřené, prověřené zdroje
Umělá inteligence ve zdravotnictví není „jen další kancelářský nástroj". Jde o technologii, která se dotýká nejcitlivějších dat celé ekonomiky – dat o zdraví lidí. Z tohoto důvodu by volba nástroje měla být vědomým manažerským rozhodnutím založeným na ověřitelných kritériích, nikoli na povědomosti lékaře s bezplatnou spotřebitelskou aplikací.
Ověřený zdroj je dodavatel, který:
- je evropský subjekt podléhající AI Act a GDPR,
- zpracovává data výhradně v EHP,
- podepisuje smlouvu o zpracování dat pokrývající zdravotní data,
- netrénuje modely na datech pacientů,
- poskytuje úplné systémové protokoly a dokumentaci shody,
- navrhuje rozhraní tak, aby lékař zůstal osobou s rozhodovací pravomocí (human-in-the-loop),
- zveřejňuje bezpečnostní politiku a podstupuje nezávislé audity.
Jak Cora AI plní požadavky AI Act
Cora AI byl od základu navržen jako dedikovaný lékařský asistent pro evropský trh. To se promítá do konkrétních technických a právních rozhodnutí, která zařízení zajišťují regulatorní shodu:
- Zpracování dat výhradně v EHP – žádné přenosy mimo EU.
- Žádné trénování modelů na datech pacientů – zaručeno smluvně.
- Úplná smlouva o zpracování osobních údajů (DPA) pokrývající zvláštní kategorie dat.
- Kompletní systémové protokoly splňující 6měsíční požadavek na uchovávání dle AI Act.
- Human-in-the-loop – každý záznam vyžaduje autorizaci lékaře.
- Hotová dokumentace shody k předání pověřenci pro ochranu osobních údajů a dozorovým orgánům.
V praxi to znamená, že zařízení využívající Cora AI nemusí shodu budovat samostatně – je součástí nástroje.
Kontrolní seznam pro vedoucího zařízení
Než lékaři začnou používat jakýkoli nástroj AI k práci s daty pacientů, ověřte:
- Podepisuje dodavatel smlouvu o zpracování dat pokrývající zdravotní data?
- Kde jsou data fyzicky zpracovávána – výhradně v EHP?
- Jsou vstupní data využívána k trénování modelů?
- Jak dlouho jsou záznamy a nahrávky uchovávány?
- Zaznamenává systém události a jsou tyto záznamy dostupné auditorovi?
- Je k dispozici hotová dokumentace shody dle AI Act připravená k předání?
- Vyžaduje rozhraní autorizaci lékaře pro každý záznam?
- Má zařízení interní „politiku AI" a jmenovaného správce AI?
Pokud je odpověď na kteroukoli z těchto otázek „nevím" nebo „ne", nástroj by neměl být používán v péči o pacienty.
Shrnutí
AI Act není abstraktní nařízení z Bruselu. Mění praxi každé kliniky, v níž lékař sáhne po AI k dokumentování návštěv pacientů. Používání bezplatných spotřebitelských modelů znamená vystavení pokutám až do výše 15 milionů eur dle AI Act, až 20 milionů eur dle GDPR a profesní odpovědnosti.
Bezpečné využívání AI ve zdravotnictví je možné – za předpokladu, že nástroj byl navržen s těmito požadavky na zřeteli. Ověřený, účelový lékařský asistent snímá z bedramen zařízení břemeno shody a umožňuje týmu soustředit se na pacienta, nikoli na právní riziko.