Sve češće se susrećemo s domaćim tvrtkama koje su nekako propustile prepoznati da su one dobavljači visokorizičnih AI sustava, najčešće u području softverskih alata za automatiziranu selekciju kandidata za zapošljavanje ili za upravljanje zahtjevima pacijenata.

Odmah ćemo reći da je za dobavljače programskih rješenja baziranih na visokorizičnih AI sustavima takve vrste nezaobilazno važno duboko poznavati zahtjevan regulatorni okvir, prvenstveno AI Akt i GDPR te brojne smjernice u tim područjima, uz pravovremeno prepoznavanje da se njihovi AI-based sustavi nalaze u ovim područjima primjene:

֍ AI sustavi namijenjeni za zapošljavanje ili odabir fizičkih osoba, posebno za postavljanje ciljanih oglasa za posao, za analizu i filtriranje prijava za posao te za evaluaciju kandidata kao i AI sustavi namijenjeni za donošenje odluka koje utječu na uvjete radnog odnosa, promaknuće ili otkazivanje radnih ugovornih odnosa, za dodjelu zadataka na osnovi individualnog ponašanja ili osobnih obilježja odnosno karakteristika te za praćenje i evaluaciju učinkovitosti i ponašanja osoba u takvim odnosima, svi oni spadaju izrijekom u visokorizične sustave

֍ Osim AI sustava koji su implementirani unutar medicinskih proizvoda kroz MDR i IVDR uredbe, u visokorizične spadaju i AI sustavi koji se koriste za profiliranje pacijenata, automatsku trijažu pacijenata i davanje prednosti pri hitnom prijemu, pa i u slučajevima značajnog utjecaja na pravo na zdravstveno osiguranje ili pristup javnim zdravstvenim uslugama ili pak pri određivanju cijena polica životnog ili zdravstvenog osiguranja.

U ovom trenutku naše tvrtke „spašava“ odgoda obveza primjene AI Akta nakon tzv. Omnibus „pojednostavljenja“, čiju svrhu ne možemo shvatiti. Npr. zašto je u srpnju 2026. odgođena primjena registracije visokorizičnih AI sustava u središnji EU Registar?

Koliko je ovo područje regulacije nezaobilazno za očuvanje temeljnih ljudskih prava na sažet način prenosimo tekst kratke i praktične analize s web stranice IAPP (International Association of Privacy Professionals) na temu:

Prava pacijenata i medicinski AI chatbotovi: usklađenost GDPR-a i EU AI Akta o umjetnoj inteligenciji

iz koje izdvajamo:

֍ Kada pacijenti otvore aplikaciju za medicinsko savjetovanje koja se temelji na umjetnoj inteligenciji, obično ne pridaju mnogo pozornosti njezinoj politici privatnosti ili propisima o usklađenosti obrade podataka

֍ U tradicionalnim dijagnostičkim situacijama liječnička procjena temelji se na prepoznatljivim simptomima, rezultatima pretraga i kliničkim smjernicama, što rezultira postupkom zaključivanja koji je jasan, objašnjiv i sljediv

֍ Međutim, medicinski AI chatbotovi ne mogu postići jednak stupanj detaljne transparentnosti. Ako pacijent pita zašto je algoritam utvrdio da ima povećani rizik od određene bolesti, AI platforma često nije u mogućnosti pružiti sveobuhvatan odgovor. Platforma može navesti koje je informacije uzela u obzir, primjerice simptome, povijest bolesti, dob i osnovne osobne okolnosti, ali ne može kvantificirati u kojoj je mjeri svaki pojedini podatak utjecao na konačni rezultat

֍ Iako Akt o umjetnoj inteligenciji naglašava ključnu ulogu objašnjivosti algoritama, on ne može u potpunosti riješiti ovaj inherentni problem. Konačni je rezultat da pacijenti mogu saznati samo „koji su podaci korišteni”, ali ne mogu razumjeti „kako je AI na temelju tih podataka došao do svojeg zaključka”

֍ Pravo na ispravak iz članka 16. GDPR-a predstavlja još veće izazove. GDPR korisnicima omogućuje da u svakom trenutku isprave netočne podatke te zahtijeva da se svaka naknadna obrada podataka temelji na najnovijim i točnim informacijama

֍ Međutim, medicinski AI chatbotovi imaju značajan nedostatak: čak i nakon što korisnik ispravi svoje podatke na korisničkom sučelju, logika treniranja pozadinskog modela ne ažurira se automatski u skladu s time. Posljedično, pogrešni obrasci odlučivanja mogu dugoročno ostati ugrađeni u AI sustav, odnosno, pristranost (Bias) ostaje

֍ Uzmimo za primjer pacijenta u čijem je medicinskom kartonu pogrešno navedena alergija na određenu supstancu. U elektroničkom sustavu tradicionalne bolnice, nakon što se podatak ispravi, sve naknadne dijagnostičke odluke bit će odgovarajuće ažurirane, a pogrešan podatak više neće imati nikakav učinak. Međutim, na platformi za AI savjetovanje ta je netočna informacija već uključena u treniranje modela, čime su nastale ukorijenjene algoritamske preferencije i pristranosti modela

֍ Nevažeće ili netočne informacije trebale bi se ukloniti iz skupa podataka za treniranje te provoditi periodičnu kalibraciju modela kako bi postupno ublažavale ukorijenjene algoritamske pristranosti. Ako platforme koriste AI tehnološke usluge trećih strana, u ugovoru o obradi podataka trebale bi izričito utvrditi obveze pružatelja usluga u pogledu čišćenja podataka, prilagodbe modela i procjene rizika

Cjelovit tekst je objavljen 02.09.2026. na stranici https://iapp.org/news/a/patient-rights-and-ai-medical-chatbots-alignment-between-the-gdpr-and-eu-ai-act.

Prijevod slijedi:

Prava pacijenata i medicinski AI chatbotovi: usklađenost GDPR-a i EU AI Akta o umjetnoj inteligenciji

Kada pacijenti otvore aplikaciju za medicinsko savjetovanje koja se temelji na umjetnoj inteligenciji, obično ne pridaju mnogo pozornosti njezinoj politici privatnosti ili propisima o usklađenosti obrade podataka.

Međutim, regulatorni okvir koji uređuje takve usluge savjetovanja putem interneta postaje sve složeniji. Budući da se u Europi istodobno primjenjuju Opća uredba o zaštiti podataka (GDPR) i Akt o umjetnoj inteligenciji (AI Act), obveze usklađivanja koje proizlaze iz oba propisa predstavljaju ozbiljan izazov s kojim se zdravstvene ustanove i tehnološke tvrtke moraju izravno suočiti.

Dok GDPR propisuje skup pravila upravljanja osmišljenih za tradicionalne podatke koji su statični, mogu se evidentirati i pratiti, umjetna inteligencija u zdravstvu funkcionira kao dinamičan tehnološki sustav koji kontinuirano uči i čiji se parametri neprestano ažuriraju. Te temeljno različite prirode neizbježno dovode do inherentnog sukoba.

Međutim, paralelni regulatorni režimi nisu suvišni. GDPR se bavi upravljanjem osobnim podacima koje obrađuju AI sustavi, pri čemu zdravstvene podatke svrstava među „osjetljive osobne podatke” kojima se pruža stroga zaštita.

Akt o umjetnoj inteligenciji, nasuprot tome, usmjeren je na same AI sustave te propisuje obveze povezane sa sustavnom sigurnošću algoritama i odgovornošću za donošenje odluka. Ako se AI sustav u zdravstvu klasificira kao visokorizičan, mora ispunjavati obvezne zahtjeve kao što su transparentnost algoritama, ljudski nadzor i nediskriminacija.

Ono što vam algoritam ne može reći

Većina praktičnih poteškoća pojavljuje se kada pacijenti ostvaruju svoja zakonska prava. Prema članku 15. GDPR-a, pacijenti imaju pravo na pristup, koje im omogućuje da budu upoznati s logikom automatiziranog donošenja odluka. U tradicionalnim dijagnostičkim situacijama liječnička procjena temelji se na prepoznatljivim simptomima, rezultatima pretraga i kliničkim smjernicama, što rezultira postupkom zaključivanja koji je jasan, objašnjiv i sljediv.

Međutim, medicinski AI chatbotovi ne mogu postići jednak stupanj detaljne transparentnosti. Ako pacijent pita zašto je algoritam utvrdio da ima povećani rizik od određene bolesti, AI platforma često nije u mogućnosti pružiti sveobuhvatan odgovor. Platforma može navesti koje je informacije uzela u obzir, primjerice simptome, povijest bolesti, dob i osnovne osobne okolnosti, ali ne može kvantificirati u kojoj je mjeri svaki pojedini podatak utjecao na konačni rezultat.

To nije namjerni propust platforme, već posljedica tehničkih karakteristika svojstvenih modelima strojnog učenja. Ogroman broj parametara unutar sustava međusobno djeluje, zbog čega je teško sve objasniti isključivo putem uzročno-posljedičnih veza.

Iako Akt o umjetnoj inteligenciji naglašava ključnu ulogu objašnjivosti algoritama, on ne može u potpunosti riješiti ovaj inherentni problem. Konačni je rezultat da pacijenti mogu saznati samo „koji su podaci korišteni”, ali ne mogu razumjeti „kako je AI na temelju tih podataka došao do svojeg zaključka”, zbog čega je pravo na pristup iz GDPR-a u praksi teško u potpunosti ostvariti.

Pristranost ugrađena u sustav

Pravo na ispravak iz članka 16. GDPR-a predstavlja još veće izazove. GDPR korisnicima omogućuje da u svakom trenutku isprave netočne podatke te zahtijeva da se svaka naknadna obrada podataka temelji na najnovijim i točnim informacijama.

Međutim, medicinski AI chatbotovi imaju značajan nedostatak: čak i nakon što korisnik ispravi svoje podatke na korisničkom sučelju, logika treniranja pozadinskog modela ne ažurira se automatski u skladu s time. Posljedično, pogrešni obrasci odlučivanja mogu dugoročno ostati ugrađeni u AI sustav.

Uzmimo za primjer pacijenta u čijem je medicinskom kartonu pogrešno navedena alergija na cefalosporine. U elektroničkom sustavu tradicionalne bolnice, nakon što se podatak ispravi, sve naknadne dijagnostičke odluke bit će odgovarajuće ažurirane, a pogrešan podatak više neće imati nikakav učinak. Međutim, na platformi za AI savjetovanje ta je netočna informacija već uključena u treniranje modela, čime su nastale ukorijenjene algoritamske preferencije i pristranosti modela.

Paradoks privole

Nadalje, pravo na davanje i povlačenje privole također predstavlja praktične izazove. Neovisne internetske platforme za AI savjetovanje nemaju formalni odnos liječnika i pacijenta te se stoga ne mogu osloniti na ugovor o pružanju zdravstvene skrbi niti na bilo koju iznimku dopuštenu člankom 9. stavkom 2. GDPR-a kao pravnu osnovu za obradu. Posljedično, svaka obrada zdravstvenih podataka mora ovisiti o izričitoj privoli korisnika.

Istodobno, usluge savjetovanja utemeljene na umjetnoj inteligenciji u velikoj mjeri ovise o unosu podataka u stvarnom vremenu. Bez podataka o simptomima i zdravstvenih podataka korisnika AI ne može generirati personalizirane savjete. Time nastaje široko prepoznata dilema usklađenosti u cijeloj industriji: čim korisnik povuče svoju privolu, temeljna AI usluga jednostavno prestaje funkcionirati.

Osim toga, Akt o umjetnoj inteligenciji zahtijeva da visokorizični medicinski AI sustavi imaju mehanizme ljudskog nadzora, čime se dodatno naglašava razlika između automatiziranih usluga i usluga koje pružaju ljudi. Taj zahtjev dodatno otežava situacije povlačenja privole, ostavljajući platforme zarobljene u paradoksu u kojem „usklađenost onemogućuje rad, dok rad onemogućuje potpunu usklađenost”.

Uklanjanje nedostataka i omogućavanje stvarnog ostvarivanja prava

Transparentnost informiranja. U obavijestima o privatnosti namijenjenima korisnicima platforme bi trebale jasnim, jednostavnim i razumljivim jezikom objasniti opseg usluga AI savjetovanja, načine korištenja podataka, funkcionalna ograničenja i potencijalne rizike, čime bi korisnicima omogućile potpunu informiranost o pravilima funkcioniranja i granicama mogućnosti AI usluga.

Nadalje, platforme bi trebale voditi sveobuhvatnu evidenciju zapisa o radu sustava, evidenciju aktivnosti obrade podataka i arhivu automatiziranog donošenja odluka. Takva praksa ne samo da ispunjava zahtjeve GDPR-a u pogledu zaštite prava korisnika na informiranje nego je i u skladu sa strogim regulatornim zahtjevima Akta o umjetnoj inteligenciji koji se odnose na sljedivost algoritama i dokumentiranje usklađenosti.

Ispravak podataka od početka do kraja. Kako bi se pravo na ispravak podataka moglo u potpunosti ostvariti, platforme moraju proširiti njegov opseg izvan korisničkog sučelja i obuhvatiti i treniranje modela. Nakon zaprimanja zahtjeva korisnika za ispravak platforme ne bi trebale samo bez odgode ažurirati korisnikove podatke nego i pronaći i ukloniti povijesne netočne podatke.

Nevažeće ili netočne informacije trebale bi ukloniti iz skupa podataka za treniranje te provoditi periodičnu kalibraciju modela kako bi postupno ublažavale ukorijenjene algoritamske pristranosti. Ako platforme koriste AI tehnološke usluge trećih strana, u ugovoru o obradi podataka trebale bi izričito utvrditi obveze pružatelja usluga u pogledu čišćenja podataka, prilagodbe modela i procjene rizika.

Granularna privola. Ključno rješenje dileme povezane s privolom jest razlikovati različite svrhe korištenja podataka te uspostaviti slojevit i neovisan sustav privola. Primjerice, privole korisnika trebalo bi podijeliti u dvije zasebne kategorije: prva bi se odnosila na usluge savjetovanja, za koje bi se prikupljali samo strogo nužni minimalni podaci; druga bi se odnosila na sekundarne svrhe korištenja, kao što su optimizacija algoritama, daljnji razvoj modela i istraživanje.

Te dvije kategorije privola mogle bi se davati i povlačiti zasebno, čime bi se poštovala zabrana uvjetovanja odnosno objedinjavanja privola prema GDPR-u. U takvom okviru pacijent bi mogao koristiti AI uslugu savjetovanja u stvarnom vremenu, a istodobno odbiti dopustiti korištenje svojih podataka za daljnji razvoj modela. Ako pacijent povuče privolu, platforma bi trebala obustaviti samo AI uslugu, bez ograničavanja osnovnih funkcionalnosti korisničkog računa, te bi trebala zadržati zaseban kanal za savjetovanje s čovjekom.

Trebat će još neko vrijeme da Akt o umjetnoj inteligenciji postane u cijelosti primjenjiv. U međuvremenu će Europski prostor za zdravstvene podatke (EHDS) uvesti nove zahtjeve, a regulatorna tijela u budućnosti mogu nastaviti objavljivati dodatne službene smjernice. Kontinuirano unaprjeđivanje mehanizama upravljanja ključno je za usklađivanje tehnoloških inovacija sa zaštitom prava pojedinaca u vezi s njihovim osobnim podacima.

Image from Magnific

#gdprcroatia

#aicroatia