"45 procent systemów AI rejestrujących rozmowy lekarzy z pacjentami i przetwarzających je w notatki dopisywało fałszywe informacje oraz sugerowało plany leczenia, w tym badania krwi, choć w rozmowach nie wspomniano nic na ten temat" - ostrzegła w raporcie audytorka generalna Ontario Shelley Spence.
Jej urząd, ontaryjski odpowiednik polskiej Najwyższej Izby Kontroli, badał wykorzystanie systemów AI w pracy urzędników publicznych, w tym w publicznej służbie zdrowia. Program, w ramach którego narzędzia oparte na sztucznej inteligencji miały pomagać w pracy lekarzom, personelowi pielęgniarskiemu i terapeutom, został sfinansowany w części przez rząd prowincji.
Halucynacje i pominięcia kluczowych informacji
Audytorzy testowali skuteczność transkrypcji AI w symulowanych rozmowach pacjentów z lekarzami i wykryli nie tylko dopisywanie zaleceń, także halucynacje (fałszywe lub wprowadzające w błąd informacje), które "mogłyby wpłynąć na zdrowie pacjentów". Notatki zawierały np. zapisy, że nie znaleziono "skupisk tkanek" lub pacjent odczuwa niepokój, choć takie informacje w ogóle nie padły w rozmowie - podkreślono w raporcie.
W zapisach rozmów sporządzonych przez 12 z 20 używanych systemów rejestracji mowa była o użyciu innego leku niż ten, który został zapisany przez lekarza, a 17 z 20 systemów pominęło kluczowe informacje na temat zdrowia psychicznego pacjenta. Ponad połowa dostawców narzędzi AI nie miała certyfikatów poświadczających ich bezpieczeństwo.
Ryzyko dla zdrowia i danych pacjentów
Systemy transkrypcyjne mogą stanowić zagrożenie nie tylko dla zdrowia pacjentów, także dla bezpieczeństwa ich danych - ostrzegli autorzy raportu. Wymienili przypadek szpitala w Ontario, w którym stosowany system sporządzania notatek zarejestrował prywatne dane pacjenta, o którym dyskutowali lekarze, a następnie rozesłał te dane do obecnych i byłych pracowników placówki.
Kanadyjski nadawca publiczny CBC zacytował oświadczenie ministerstwa zdrowia, z którego wynika, że ok. pięć tys. lekarzy w Ontario używa systemów AI do transkrypcji rozmów z pacjentami i dotychczas nie odnotowano przypadków szkodzenia pacjentom. Resort zapewnił, że lekarze mają obowiązek weryfikowania sporządzonych przez AI notatek, nim zostaną dodane do dokumentacji medycznej pacjenta, a do użycia narzędzia AI wymagana jest zgoda pacjenta przed rozpoczęciem rozmowy z lekarzem.
W raporcie audytorki generalnej przypomniano, że w Wielkiej Brytanii w kwietniu ub.r. wdrożono zasady, które mają zwiększyć bezpieczeństwo użycia systemów transkrypcji notatek, np. zalecenie użycia tylko takich systemów, których bezpieczeństwo było testowane przez odpowiednie urzędy.
Oparte na AI systemy do sporządzania notatek dla pracowników służby zdrowia to tylko część szerszego problemu w użyciu AI przez urzędników - podkreślili autorzy raportu. Rządowi urzędnicy mieli np. dostęp do niebezpiecznych stron internetowych, co oznacza ryzyko nieautoryzowanego dostępu do ważnych danych, a tylko 3 proc. pracowników rządowych instytucji przeszło szkolenie z użycia AI - przy czym szkolenie nie było obowiązkowe. Za dwa lata urząd audytora generalnego chce sprawdzić, jak wdrożono zalecenia w zakresie zwiększenia bezpieczeństwa.