AI Act je v platnosti a mení pravidlá pre každé zdravotnícke zariadenie v EÚ. Ak lekár vloží záznam z návštevy do bezplatnej verzie ChatGPT, zariadenie už súčasne porušuje hneď niekoľko vrstiev predpisov naraz. Vysvetľujeme presne, čo AI Act hovorí o využívaní umelej inteligencie v zdravotníctve, aké riziká nemocnice a kliniky podstupujú a prečo je používanie výhradne overených, účelových nástrojov jedinou rozumnou cestou.
maximálna pokuta podľa AI Act za porušenie povinností týkajúcich sa vysoko rizikových systémov
maximálna pokuta podľa GDPR za nezákonné spracúvanie zdravotných údajov
celosvetového ročného obratu – alternatívny prah pokuty podľa AI Act
minimálna doba uchovávania protokolov pre vysoko rizikový systém AI
Čo je AI Act a prečo sa vzťahuje na každé zdravotnícke zariadenie
AI Act (nariadenie 2024/1689) je prvým komplexným zákonom na svete upravujúcim umelú inteligenciu. Prijíma prístup založený na riziku – čím väčší je dopad systému AI na zdravie, práva a bezpečnosť ľudí, tým prísnejšie sú povinnosti. Zdravotníctvo bolo jednoznačne zaradené do kategórie vysoko rizikových systémov.
AI Act dôležite neupravuje len vývojárov modelov. Vzťahuje sa aj na tzv. prevádzkovateľov – každé zariadenie, ktoré systém AI využíva pri svojej prevádzke. Nemocnica, klinika alebo súkromná ambulancia, v ktorej lekár používa AI na dokumentáciu alebo podporu klinického rozhodovania, sa stáva zodpovednou stranou voči dozorným orgánom.
Kedy sa AI stáva „vysoko rizikovým systémom"
AI Act – v prílohe III a v spojení s nariadením o zdravotníckych pomôckach (MDR) – jasne identifikuje systémy AI využívané na:
- podporu diagnostiky a triedenia pacientov,
- analýzu zdravotných údajov pacientov,
- generovanie zdravotníckej dokumentácie,
- hodnotenie klinického rizika alebo stanovenie priority starostlivosti,
- monitorovanie životných funkcií,
— ako vysoko rizikové systémy. Nezáleží na tom, či lekár „len skopíroval časť rozhovoru do ChatGPT." Rozhodujúci je účel spracúvania a lekársky kontext.
Povinnosti zariadenia využívajúceho AI v zdravotníctve
Prevádzkovateľ vysoko rizikového systému AI musí splniť súbor záväzných povinností podľa článku 26 AI Act. Medzi najdôležitejšie patria:
- Ľudský dohľad – menovaná, kvalifikovaná osoba zodpovedná za sledovanie prevádzky systému.
- Uchovávanie protokolov po dobu najmenej 6 mesiacov vo forme umožňujúcej audit.
- Informovanie pacientov o tom, že AI bola využitá v diagnostickom alebo terapeutickom procese.
- Posúdenie vplyvu na základné práva (FRIA) pre verejné subjekty a určité súkromné subjekty.
- Používanie výhradne systémov označených CE zapísaných v databáze EÚ.
- Dodržiavanie návodu na použitie poskytnutého dodávateľom a monitorovanie incidentov.
Vybudovať túto vrstvu zhody okolo bezplatnej verzie ChatGPT je prakticky nemožné – pretože spotrebiteľský LLM neposkytuje ani protokoly, ani dokumentáciu zhody, ani zmluvu o spracúvaní údajov, ani žiadnu záruku o tom, kde sú údaje spracúvané.
AI Act nenahrádza GDPR – platí súbežne s ním
Mnohí vedúci pracovníci zariadení sa pýtajú: „Keď máme GDPR, na čo potrebujeme AI Act?" Odpoveď je jasná – oba režimy platia súbežne a ich sankcie sa kumulujú. Zadanie záznamu z návštevy do spotrebiteľskej verzie ChatGPT, Claude alebo Gemini súčasne spôsobuje:
- porušenie lekárskej mlčanlivosti (povinnosti profesného tajomstva),
- neoprávnený prenos osobitných kategórií osobných údajov mimo EHP (články 9 a 44 GDPR),
- absenciu zmluvy o spracúvaní osobných údajov so sprostredkovateľom (článok 28 GDPR),
- porušenie povinností AI Act týkajúcich sa vysoko rizikových systémov,
- v niektorých konfiguráciách – využitie údajov pacienta na trénovanie modelov.
Reálne finančné sankcie
alebo 3 % obratu – pokuta AI Act za porušenie povinností pre vysoko rizikové systémy
alebo 4 % obratu – pokuta GDPR za nezákonné spracúvanie zdravotných údajov
alebo 7 % obratu – maximálna pokuta AI Act za zakázané praktiky
Okrem toho hrozia občianskoprávne sankcie (nároky pacientov), profesná zodpovednosť lekárov a riziko straty zmlúv so zdravotnými poisťovňami v prípade závažných incidentov. Pre mnohé zariadenia by jediná pokuta blízka maximu znamenala koniec prevádzky.
Prečo „bezplatný ChatGPT na poznámky" je mimoriadne nákladná úspora
Najčastejšia námietka vedúcich pracovníkov znie: „Prečo potrebujeme dedikovaného asistenta, keď lekári môžu záznam vložiť do ChatGPT a poznámku získať zadarmo?" Z hľadiska AI Act a GDPR je táto úspora iluzórna prinajmenšom z troch dôvodov.
1. Nesúlad s predpismi = vystavenie pokutám až do výšky 15 miliónov eur
Využívanie univerzálneho LLM na lekárske účely okamžite privádza zariadenie do režimu vysoko rizikových systémov – bez splnenia jedinej požiadavky AI Act. To predstavuje otvorené vystavenie pokutám, vyšetrovaniami a strate prevádzkových licencií.
2. Únik zdravotných údajov a porušenie lekárskej mlčanlivosti
Údaje pacienta zadané do spotrebiteľského ChatGPT opúšťajú EHP (zvyčajne smerujú do Spojených štátov), uchovávajú sa až 5 rokov a môžu byť využité na trénovanie modelov. Ide o učebnicové porušenie článku 9 GDPR a profesnej lekárskej mlčanlivosti.
3. Žiadne protokoly, žiadny dohľad, žiadna dokumentácia = žiadna auditovateľnosť
AI Act vyžaduje, aby zariadenie bolo schopné preukázať, kto systém AI používal, kedy a ako. ChatGPT prístupný cez osobný účet lekára žiadne takéto protokoly nevytváraj. V prípade kontroly nemá zariadenie čím sa hájiť.
„Systémy AI využívané v zdravotníctve by mali byť navrhnuté a nasadené spôsobom, ktorý zabezpečuje primeranú mieru transparentnosti, ľudského dohľadu a zodpovednosti voči pacientom."
Spotrebiteľský LLM vs. účelový lekársky asistent
| Požiadavka AI Act / GDPR | Bezplatný ChatGPT / Claude | Účelový lekársky asistent (napr. Cora AI) |
|---|---|---|
| Miesto spracúvania údajov | Zvyčajne USA, mimo EHP | Výhradne EHP, v certifikovaných dátových centrách |
| Zmluva o spracúvaní osobných údajov (DPA) | Chýba alebo obmedzená, nepokrýva zdravotné údaje | Úplná DPA uzavretá so zariadením |
| Trénovanie modelu na údajoch pacienta | Áno v predvolenom nastavení (bezplatná/Plus) | Nikdy – zmluvná záruka |
| Protokoly a auditovateľnosť | Na strane zariadenia žiadne | Úplné protokoly udalostí, exportovateľné pre audítorov |
| Ľudský dohľad | Nedefinovaný | Lekár autorizuje každý záznam |
| Dokumentácia zhody podľa AI Act | Žiadna | Dodávaná spolu so systémom |
| Postavenie pri kontrole | Viaceré regulačné porušenia | Zhoda doložiteľná dokumentáciou |
Prečo treba používať výhradne overené, preverené zdroje
Umelá inteligencia v zdravotníctve nie je „len ďalší kancelársky nástroj". Ide o technológiu, ktorá sa dotýka najcitlivejších údajov celej ekonomiky – údajov o zdraví ľudí. Z tohto dôvodu by výber nástroja mal byť vedomým manažérskym rozhodnutím založeným na overiteľných kritériách, nie na povedomosti lekára s bezplatnou spotrebiteľskou aplikáciou.
Overený zdroj je dodávateľ, ktorý:
- je európsky subjekt podliehajúci AI Act a GDPR,
- spracúva údaje výhradne v EHP,
- podpisuje zmluvu o spracúvaní údajov pokrývajúcu zdravotné údaje,
- netrénuje modely na údajoch pacientov,
- poskytuje úplné systémové protokoly a dokumentáciu zhody,
- navrhuje rozhranie tak, aby lekár zostal osobou s rozhodovacou právomocou (human-in-the-loop),
- zverejňuje bezpečnostnú politiku a podstupuje nezávislé audity.
Ako Cora AI plní požiadavky AI Act
Cora AI bol od základu navrhnutý ako dedikovaný lekársky asistent pre európsky trh. To sa premietá do konkrétnych technických a právnych rozhodnutí, ktoré zariadeniu zabezpečujú regulačnú zhodu:
- Spracúvanie údajov výhradne v EHP – žiadne prenosy mimo EÚ.
- Žiadne trénovanie modelov na údajoch pacientov – zaručené zmluvne.
- Úplná zmluva o spracúvaní osobných údajov (DPA) pokrývajúca osobitné kategórie údajov.
- Kompletné systémové protokoly spĺňajúce 6-mesačný požiadavok na uchovávanie podľa AI Act.
- Human-in-the-loop – každý záznam vyžaduje autorizáciu lekára.
- Hotová dokumentácia zhody na odovzdanie zodpovednej osobe za ochranu údajov a dozorným orgánom.
V praxi to znamená, že zariadenie využívajúce Cora AI nemusí zhodu budovať samostatne – je súčasťou nástroja.
Kontrolný zoznam pre vedúceho zariadenia
Skôr než lekári začnú používať akýkoľvek nástroj AI na prácu s údajmi pacientov, overte:
- Podpisuje dodávateľ zmluvu o spracúvaní údajov pokrývajúcu zdravotné údaje?
- Kde sú údaje fyzicky spracúvané – výhradne v EHP?
- Využívajú sa vstupné údaje na trénovanie modelov?
- Ako dlho sa záznamy a nahrávky uchovávajú?
- Zaznamenáva systém udalosti a sú tieto záznamy dostupné audítorovi?
- Je k dispozícii hotová dokumentácia zhody podľa AI Act pripravená na odovzdanie?
- Vyžaduje rozhranie autorizáciu lekára pre každý záznam?
- Má zariadenie internú „politiku AI" a menovaného správcu AI?
Ak je odpoveď na ktorúkoľvek z týchto otázok „neviem" alebo „nie", nástroj by nemal byť používaný v starostlivosti o pacientov.
Zhrnutie
AI Act nie je abstraktné nariadenie z Bruselu. Mení prax každej kliniky, v ktorej lekár siahne po AI na dokumentovanie návštev pacientov. Používanie bezplatných spotrebiteľských modelov znamená vystavenie pokutám až do výšky 15 miliónov eur podľa AI Act, až 20 miliónov eur podľa GDPR a profesnej zodpovednosti.
Bezpečné využívanie AI v zdravotníctve je možné – za predpokladu, že nástroj bol navrhnutý s týmito požiadavkami na zreteli. Overený, účelový lekársky asistent sníma zo zariadenia bremeno zhody a umožňuje tímu sústrediť sa na pacienta, nie na právne riziko.