Jako prawnik wspierający firmy technologiczne w procesach wdrażania unijnych regulacji, często spotykam się z pytaniami o rolę ludzkiego czynnika w procesach z udziałem AI. Nadzór człowieka nad takim systemem to jeden z najważniejszych aspektów bezpieczeństwa przewidzianych w nowym europejskim rozporządzeniu. Artykuł 14 rozporządzenia w sprawie sztucznej inteligencji (AI Act) szczegółowo określa, w jaki sposób użytkownicy muszą kontrolować oprogramowanie wysokiego ryzyka. W niniejszym artykule wyjaśniam, jakie konkretnie mechanizmy prawne i techniczne musisz wdrożyć, aby spełnić te wymagania.
Spis treści
Kluczowa rola interfejsu i zrozumienie ograniczeń AI
Zgodnie z art. 14 ust. 1 Aktu o AI, nadzór człowieka nad systemem AI musi być uwzględniony już na samym początku procesu projektowania nowej technologii. Prawidłowy nadzór to nie tylko procedury wewnątrz firmy, ale przede wszystkim odpowiednio zaprojektowany interfejs człowiek-maszyna. Panele kontrolne muszą skutecznie i przejrzyście tłumaczyć działanie algorytmu na zrozumiały dla operatora język. Z kolei art. 14 ust. 4 lit. a) wymaga, aby osoba nadzorująca miała zapewnione pełne zrozumienie ograniczeń technicznych i słabych punktów weryfikowanego systemu. Nadzorca systemu musi wiedzieć, kiedy technologia może się po prostu pomylić. Świadomość takich barier technologicznych pozwala operatorowi na wczesne wykrywanie anomalii oraz nieoczekiwanych wyników generowanych przez system. Odpowiednia budowa interfejsu stanowi zatem fundament bezpiecznego udostępnienia oprogramowania na rynku europejskim.
Czynnik ludzki przewidziany w AI Act
Samo udostępnienie wyników sztucznej inteligencji nie gwarantuje jeszcze należytego bezpieczeństwa jednostki, jeśli zawiedzie sam czynnik ludzki. Artykuł 14 ust. 4 lit. b) Aktu o AI zwraca szczególną uwagę na niezwykle groźne zjawisko określane jako „błąd automatyzacji”. Polega ono na tendencji człowieka do bezrefleksyjnego, nadmiernego polegania na wynikach i propozycjach wygenerowanych przez algorytm. Aby skutecznie zminimalizować to ryzyko, wyznaczony nadzorca nie może być przypadkowym pracownikiem, który po prostu klika zatwierdzenia na ekranie monitora. Prawo wymaga, aby nadzór sprawowała osoba posiadająca wymagane kompetencje, odpowiednie przeszkolenie oraz uprawnienia do podważenia decyzji algorytmu. Konieczne jest regularne szkolenie personelu, by określeni pracownicy potrafili samodzielnie podejmować decyzje o zignorowaniu, unieważnieniu lub całkowitym odwróceniu wyniku wygenerowanego przez sztuczną inteligencję.
Awaryjne zatrzymanie systemu AI
Nawet najlepiej zaprojektowane algorytmy mogą w pewnym momencie wymknąć się spod kontroli. W związku z tym, art. 14 ust. 4 lit. e) Aktu o AI narzuca na twórców wymóg zaimplementowania mechanizmu „Kill Switch”, potocznie nazywanego przyciskiem bezpieczeństwa. Każdy operator obsługujący system sztucznej inteligencji wysokiego ryzyka musi mieć techniczną i proceduralną możliwość przerwania jego dalszego działania. Niezależnie od poziomu autonomii stworzonej technologii, fizyczna kontrola nad jej funkcjonowaniem musi pozostawać w rękach odpowiedzialnego człowieka.
Szczególne wymogi nadzoru dla systemów biometrycznych
Szczególnie wrażliwą kategorię oprogramowania stanowią systemy służące do zdalnej identyfikacji biometrycznej osób fizycznych. Z uwagi na duże ryzyko dla prywatności, art. 14 ust. 5 rozporządzenia wprowadza podwyższony rygor procedur autoryzacyjnych w tym sektorze. W przypadku takich systemów potwierdzenie wyniku przez jednego operatora to z punktu widzenia prawa zdecydowanie za mało. Przepisy wymagają, aby żadne działanie ani decyzja oparta na identyfikacji maszynowej nie zostały podjęte bez odrębnej, dodatkowej weryfikacji. Maszynowy wynik musi zostać niezależnie potwierdzony przez co najmniej dwie osoby fizyczne, które dysponują odpowiednim przygotowaniem zawodowym i nadanymi uprawnieniami.
Podsumowanie
Skuteczny nadzór człowieka nad systemem AI wymaga uporządkowania procesu decyzyjnego po stronie organizacji. Nie wystarczy bowiem, że człowiek formalnie uczestniczy w obsłudze narzędzia. Musi być od początku jasno określone, kto odpowiada za kontrolę działania systemu, w jakich momentach powinien ingerować, jakie sygnały należy uznać za ostrzegawcze oraz kiedy wynik wygenerowany przez AI powinien zostać zakwestionowany, pominięty albo unieważniony. Znaczenie ma tu nie tylko dostęp do rezultatu działania algorytmu, ale również zdolność jego właściwego odczytania i oceny w konkretnym kontekście. Osoba sprawująca nadzór powinna rozumieć, co oznacza dany wynik, jakie są jego ograniczenia i czy można na nim bezpiecznie oprzeć dalsze działanie. Tylko wtedy udział człowieka staje się realnym mechanizmem kontroli, a nie jedynie symboliczną obecnością przy procesie zautomatyzowanym. Z punktu widzenia organizacyjnego oznacza to potrzebę stworzenia jasnych procedur, przypisania odpowiedzialności do konkretnych ról oraz zapewnienia, aby nadzór nad systemem był rzeczywiście wykonywany, a nie tylko deklarowany na poziomie dokumentacji.
