Rosnąca obecność AI w medycynie przyniosła korzyści, ale też realne szkody: zgłoszenia incydentów wzrosły do ponad 100, a w kilku przypadkach pacjenci odnieśli poważne obrażenia, w tym 2 przypadki udaru. Rozwiązanie: rygorystyczna walidacja, model „human-in-the-loop” i jasno określona odpowiedzialność prawna oraz procedury zgłaszania zdarzeń.
Problem jest prosty: narzędzia oparte na AI trafiają do praktyki klinicznej szybciej niż powstają procedury nadzoru. Rozwiązanie nie jest jednowymiarowe — wymaga kombinacji lepszej walidacji, nadzoru medycznego i regulacji prawnej, by ograniczyć ryzyko poważnych zdarzeń, takich jak opisywane przypadki udaru u pacjentów leczonych w systemach wspomagania decyzji.
Skala problemu: zgłoszenia i badania
Wdrożenia narzędzi sztucznej inteligencji w placówkach medycznych doprowadziły do wzrostu zgłoszeń o awariach i zdarzeniach niepożądanych — z kilku przypadków przed adopcją do ponad 100 po wprowadzeniu algorytmów. Te liczby wskazują, że problem ma charakter systemowy i wymaga analizy źródeł błędów oraz nadzoru nad wdrożeniami.
Niezależne badania i analizy branżowe sygnalizują wysokie wskaźniki nieprawidłowości: w testach na modelach klinicznych odnotowano, że narzędzia popełniały błędy w blisko 70% przypadków w określonych scenariuszach, a generowanie niedokładnych źródeł występowało w około 30% przypadków. Te statystyki wymagają kontekstualizacji, ale nie pozwalają bagatelizować ryzyka.
Jak dochodzi do poważnych zdarzeń — mechanizmy błędu
Przyczyny błędów wynikają z kilku poziomów: dane treningowe, projekt modelu, integracja z systemami klinicznymi i decyzje użytkowników. Modele uczone na niekompletnych lub nieodpowiednio zbalansowanych danych mogą przewyższyć oczekiwania w testach, a zawodzić w rutynowych warunkach klinicznych.
Innym elementem są tzw. „hallucinations” modeli językowych — generowanie fałszywych lub nieistniejących odwołań — co w medycynie może prowadzić do błędnych zaleceń diagnostycznych lub terapeutycznych. Brak jasnego rozgraniczenia odpowiedzialności między algorytmem a personelem medycznym potęguje ryzyko wdrożeniowe.
Konkretne przypadki i dane
Najbardziej alarmujące doniesienia mówią o pacjentach, którzy w trakcie leczenia z użyciem systemów wspomagania doznali poważnych komplikacji. Wśród zgłaszanych incydentów znalazły się sytuacje, gdzie decyzje wspomagane algorytmem przełożyły się na opóźnienia w diagnostyce lub błędne zalecenia, a w 2 przypadkach odnotowano udary u pacjentów laryngologicznych.
| Parametr | Wartość |
|---|---|
| Liczba zgłoszonych zdarzeń po wdrożeniu AI | >100 |
| Pacjenci z obrażeniami (co najmniej) | 10 |
| Przypadki udaru powiązane z systemami AI | 2 |
| Odsetek błędów w badaniu symulacyjnym | ~70% |
| Niedokładne źródła generowane przez modele | ~30% |
Tabela ilustruje skalę zgłaszanych problemów i wyniki badań testowych. Trzeba podkreślić, że połączenie incydentów i badawczych wskaźników nie zawsze oznacza bezpośrednią korelację przyczynowo‑skutkową, lecz wskazuje na istotne luki w walidacji i nadzorze przed‑ i powdrożeniowym.
Etyka, regulacje i odpowiedzialność
Wprowadzenie AI w medycynie rodzi pytania etyczne i prawne: kto odpowiada za błąd — producent algorytmu, szpital, czy wykonujący procedurę lekarz? Regulacje w wielu krajach pozostają niedoskonałe, a brak spójnych standardów walidacji klinicznej ułatwia wdrożenia bez pełnej oceny ryzyka.
W praktyce konieczne jest wdrożenie ram regulacyjnych narzucających obowiązek przeprowadzenia prospektywnych badań klinicznych, śledzenia wskaźników bezpieczeństwa i transparentnego raportowania. Równie istotna jest etyka — informowanie pacjenta o udziale systemu AI w decyzji terapeutycznej oraz zgoda na takie wsparcie.
Jak ograniczyć ryzyko — rekomendacje praktyczne
Zmniejszenie ryzyka wymaga wielowarstwowego podejścia: technicznego, organizacyjnego i prawnego. Poniższa lista zawiera praktyczne kroki, które placówki medyczne i twórcy systemów mogą wdrożyć, by poprawić bezpieczeństwo pacjentów i zredukować liczbę poważnych zdarzeń.
- Walidacja kliniczna: przeprowadź prospektywne badania i testy w warunkach rzeczywistych przed komercyjnym wdrożeniem
- Human‑in‑the‑loop: zachowaj ostateczną decyzję medyczną w rękach wykwalifikowanego personelu
- Transparentność algorytmu: dokumentuj ograniczenia modelu i scenariusze, w których może zawieść
- System zgłaszania zdarzeń: wprowadź obowiązkowe raportowanie incidentów związanych z AI i analizę przyczyn
- Szkolenia personelu: regularne treningi z obsługi systemów i rozpoznawania symptomów błędnych rekomendacji
- Ubezpieczenia i odpowiedzialność: jasne umowy z producentami obejmujące odpowiedzialność i mechanizmy odszkodowań
- Aktualizacja danych: zapewniaj regularne retreningi modeli na aktualnych i reprezentatywnych danych
Wdrożenie tych praktyk wymaga inwestycji i zmian proceduralnych, ale stanowią one fundament bezpiecznej integracji AI w opiece zdrowotnej. Najważniejsze jest, by technologie wspierały, a nie zastępowały krytyczną ocenę kliniczną specjalisty.
Podsumowanie i wnioski
Doświadczenia z wdrożeń pokazują, że AI może przynieść realne korzyści, ale bez odpowiednich zabezpieczeń staje się źródłem ryzyka. Zgłoszone incydenty i przypadki udaru zwracają uwagę na brak wystarczającej walidacji oraz konieczność uregulowania kwestii odpowiedzialności i nadzoru.
Rekomendacja praktyczna jest jednoznaczna: wdrażaj AI tylko w modelu wspomagającym decyzję, wymagaj prospektywnych badań klinicznych, wprowadź obowiązkowe systemy raportowania i szkolenia personelu. Tylko takie podejście pozwoli zminimalizować ryzyko i zrealizować potencjał technologii dla zdrowia pacjentów.
Źródła:
antyweb.pl, tvn24.pl, demagog.org.pl, medidesk.pl
