Jako prawnik wspierający twórców oprogramowania podkreślam, że wprowadzenie oprogramowania do obrotu otwiera kolejny etap odpowiedzialności regulacyjnej. W tym kontekście system monitorowania AI wysokiego ryzyka po wejściu na rynek stanowi jeden z kluczowych wymogów unijnego rozporządzenia w sprawie sztucznej inteligencji. Artykuł 72 rozporządzenia w sprawie AI (AI Act) nakłada na dostawców obowiązek aktywnego śledzenia sposobu działania algorytmów w rzeczywistych warunkach użytkowania. Istotne znaczenie ma przy tym zarówno prawidłowe opracowanie planu monitorowania, jak i jego integracja z systemem zarządzania ryzykiem. Znajomość tych zasad pozwala na bieżąco oceniać bezpieczeństwo technologii i ograniczać ryzyko zastrzeżeń ze strony organów nadzoru.
Spis treści
Zasada proporcjonalności w monitorowaniu systemu AI
Projektowanie odpowiednich procedur nadzorczych nie oznacza, że każdy twórca musi wdrażać kosztowne rozwiązania analityczne. Zgodnie z art. 72 ust. 1 Aktu o AI, system monitorowania po wprowadzeniu do obrotu musi opierać się na zasadzie proporcjonalności. Oznacza to, że intensywność i metody kontroli muszą być dostosowane do charakteru danej technologii oraz poziomu ryzyka, jakie ona stwarza. Inny będzie więc zakres weryfikacji dla systemu analizującego tysiące CV w dziale HR, a zupełnie inny, znacznie surowszy reżim obejmie nowoczesne algorytmy wspomagające diagnostykę medyczną. Równie ważne z perspektywy planowania kosztów operacyjnych jest właściwe rozumienie samego cyklu życia produktu cyfrowego. Obowiązek monitorowania kończy się dopiero w dniu, w którym dany system AI zostaje definitywnie i trwale wycofany z użytkowania.
Jak przygotować plan monitorowania po wprowadzeniu systemu do obrotu
Aby skuteczne śledzenie komercyjnego algorytmu było legalne i w ogóle możliwe, organizacja musi dysponować sformalizowaną strategią działania. Zgodnie z art. 72 ust. 3 rozporządzenia, podstawą tych działań jest plan monitorowania po wprowadzeniu do obrotu, który stanowi integralny element dokumentacji technicznej. Ten dokument procesowy musi być gotowy już na etapie ubiegania się o oficjalną certyfikację systemu. Aby taki plan spełniał wymagania ustawodawcy, musi porządkować szereg działań:
- Regularne rejestrowanie bieżących błędów oraz nieoczekiwanych zachowań algorytmu w zmiennym środowisku komercyjnym.
- Mierzenie skuteczności predykcyjnej modelu w kontakcie z nowymi, wcześniej nieznanymi próbkami danych od klientów.
Przepisy wymagają wdrożenia aktywnej pętli informacji zwrotnej, w której dane te trafiają z powrotem do mechanizmu zarządzania ryzykiem opisanego w artykule 9 rozporządzenia. Dzięki takiemu rozwiązaniu dostawca stale ocenia, czy oprogramowanie nadal pozostaje zgodne z normami, a w razie odchyleń może szybko wdrożyć niezbędne poprawki.
Analiza interakcji systemu AI z innymi środowiskami cyfrowymi
Współczesne oprogramowanie analityczne praktycznie nigdy nie działa w całkowitej izolacji technologicznej od innych narzędzi. Art. 72 ust. 2 rozporządzenia AI nakłada obowiązek prowadzenia cyklicznej analizy interakcji z innymi środowiskami cyfrowymi. W odpowiednich przypadkach proces monitoringu po wejściu na rynek musi dokładnie obejmować badanie tego, jak system integruje się i wymienia dane z rozwiązaniami innych dostawców. Nierzadko to właśnie na styku różnych programów dochodzi do najbardziej złożonych awarii i niebezpiecznych wycieków informacji. Obowiązek udostępniania i analizowania informacji uwzględnia wyjątki w obszarach obronności i bezpieczeństwa państwa. Przepisy wyłączają z tego obowiązku wrażliwe dane pozostające w dyspozycji podmiotów stosujących, które pełnią funkcję organów ścigania. Dzięki temu wyłączeniu funkcjonowanie policyjnych czy granicznych algorytmów może być oceniane bez ryzyka ujawnienia poufnych metod operacyjnych państwa.
Integracja monitorowania AI z istniejącymi obowiązkami sektorowymi
Europejski sektor finansowy od wielu lat podlega jednemu z najbardziej restrykcyjnych i złożonych reżimów nadzorczych. Prawodawca postanowił nie powielać już istniejącej biurokracji, dlatego w omawianym przepisie przewidział uproszczenia dla sektora finansowego w zakresie kontroli algorytmów. Zgodnie z art. 72 ust. 4 aktu, banki oraz inne instytucje wdrażające sztuczną inteligencję mogą wykorzystywać swoje wcześniej zatwierdzone mechanizmy nadzoru wewnętrznego. Instytucje z tej branży mają prawo zintegrować plan monitorowania AI z procedurami narzuconymi im na podstawie odrębnych przepisów prawa unijnego. Pozwala to uniknąć tworzenia przez banki zupełnie odrębnych działów kontroli, a jednocześnie utrzymać bardzo wysoki standard ochrony europejskich konsumentów. Podobne zasady konwergencji przewidziano dla wszystkich dostawców oprogramowania objętego innym unijnym prawodawstwem harmonizacyjnym, co dotyczy między innymi rynku nowoczesnych wyrobów medycznych. Umiejętne połączenie dotychczasowych wymogów sektorowych z nowymi standardami dotyczącymi sztucznej inteligencji zapewnia bezpieczeństwo rynkowe przy jednoczesnym ograniczeniu dodatkowych obciążeń dla biznesu.
Podsumowanie
Monitorowanie systemu AI wysokiego ryzyka po wejściu na rynek należī traktować jako element trwałej odpowiedzialności dostawcy. To właśnie na etapie rzeczywistego używania systemu ujawnia się, czy przyjęte założenia bezpieczeństwa, zgodności i kontroli rzeczywiście działają. Dobrze zaprojektowany model monitorowania pozwala szybciej wychwycić odchylenia, właściwie ocenić ich znaczenie i ograniczyć ryzyko dalszych naruszeń. Z perspektywy prawnej i organizacyjnej kluczowe jest więc stworzenie takiego mechanizmu nadzoru, który będzie nie tylko zgodny z AI Act, ale również realnie użyteczny dla samej organizacji. Jakość monitorowania po wdrożeniu może przesądzić o tym, czy dostawca zachowa kontrolę nad systemem także po jego komercyjnym uruchomieniu.
