W doradztwie twórcom nowoczesnych technologii, często spotykam się z pytaniami o nowe unijne regulacje. Wdrożenie unijnego rozporządzenia o sztucznej inteligencji wprowadza szereg nowych obowiązków prawnych dla dostawców oprogramowania. Jednym z kluczowych pojęć jest system zarządzania ryzykiem, uregulowany szczegółowo w artykule 9 i 10 tego aktu prawnego. W tym kontekście należy wyjaśnić kilka kluczowych kwestii, o które najczęściej pytają twórcy nowych rozwiązań technologicznych:
- Jak prawo definiuje proces oceny bezpieczeństwa i z jakich etapów się on składa.
- Jakie wymogi jakościowe muszą spełniać zbiory informacji używane do trenowania modeli.
- W jaki sposób skutecznie unikać dyskryminacji algorytmicznej zgodnie z przepisami.
Zapoznanie się z tymi zasadami pomoże Ci zrozumieć ogólne mechanizmy prawne i lepiej zaplanować proces projektowania rozwiązań AI w zgodzie z obowiązującym prawem europejskim.
Spis treści
Czym jest system zarządzania ryzykiem w świetle AI Act?
System zarządzania ryzykiem nie jest jednorazowym dokumentem, który można schować po wypuszczeniu produktu na rynek. Zgodnie z art. 9 ust. 2 rozporządzenia, przez ten mechanizm rozumie się ciągły, iteracyjny proces oceny i mitygacji zagrożeń. Musi on być planowany i realizowany przez cały cykl życia systemu sztucznej inteligencji wysokiego ryzyka. Oznacza to, że jako dostawca masz prawny obowiązek regularnie i systematycznie przeglądać oraz aktualizować wdrożone procedury bezpieczeństwa. Prawo wymaga, aby system ochrony ewoluował wraz z rozwojem produktu i odpowiednio reagował na nowo pojawiające się luki. Nie wystarczy zatem przeprowadzić audytu wyłącznie na etapie początkowego programowania, lecz należy na bieżąco monitorować działanie sztucznej inteligencji w zmieniającym się otoczeniu.
Zakres analizy ryzyka - od poprawnego użycia po przewidywalne nadużycia
Projektując oprogramowanie, naturalnie skupiamy się na tym, do czego ma ono służyć, jednak prawo nakłada na twórców znacznie szerszą perspektywę. Artykuł 9 ust. 2 lit. b) AI Act narzuca obowiązek identyfikacji i analizy zagrożeń nie tylko podczas wykorzystywania systemu zgodnie z jego głównym przeznaczeniem. Należy również oszacować i ocenić ryzyko, które może wystąpić w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania technologii. Ustawodawca europejski zdaje sobie sprawę, że użytkownicy nierzadko korzystają z narzędzi cyfrowych w sposób niezgodny z instrukcją i zakładanym pierwotnie przeznaczeniem. Dlatego system zarządzania ryzykiem wymaga wybiegania w przyszłość i tworzenia scenariuszy testowych obejmujących potencjalne błędy nieświadomego człowieka lub celowe nadużycia. Taka analiza na wczesnym etapie pozwala na wdrożenie prawnie wymaganych zabezpieczeń jeszcze przed oddaniem oprogramowania do użytku.
Jak minimalizować zagrożenia? Hierarchia środków zaradczych
Rozporządzenie o sztucznej inteligencji wprowadza hierarchię postępowania z wykrytymi zagrożeniami, której nie wolno modyfikować według własnego uznania. Zgodnie z art. 9 ust. 5 rozporządzenia AI, priorytetem jest zawsze usunięcie problemu u jego technicznego źródła, a działania zaradcze należy realizować w ściśle określonej kolejności:
- Całkowita eliminacja lub maksymalne ograniczenie ryzyka poprzez odpowiedni projekt i rozwój samej architektury systemu AI.
- Wdrożenie adekwatnych środków łagodzących i kontrolnych wyłącznie dla tych zagrożeń technicznych, których nie da się całkowicie wyeliminować w procesie tworzenia systemu.
- Przekazanie przejrzystych informacji dla użytkowników końcowych oraz przeszkolenie podmiotów stosujących daną technologię.
Nie możesz zatem po prostu opisać poważnego zagrożenia w instrukcji obsługi, celowo ignorując możliwość jego zneutralizowania na etapie projektowania logiki algorytmu. Taka konstrukcja środków zaradczych w prawie unijnym ma na celu zapewnienie optymalnego poziomu ochrony poprzez wymuszenie rozwiązań inżynieryjnych, a nie przerzucanie odpowiedzialności za błędy na odbiorcę.
Obowiązek testowania systemu AI przed wprowadzeniem na rynek
Skuteczność przyjętych zabezpieczeń musi zostać udowodniona w praktyce, dlatego prawodawca sformułował wymogi analityczne. Artykuł 9 ust. 6-8 Aktu o AI nakłada na dostawców wymóg testowania systemów AI wysokiego ryzyka w celu prawidłowego dobrania środków zarządzania ryzykiem. Czynności te trzeba przeprowadzić w uzasadnionym momencie procesu deweloperskiego, ale zawsze bezwzględnie przed wprowadzeniem produktu do obrotu lub oddaniem go do użytku w Unii Europejskiej. Testy te mają za zadanie wykazanie, że oprogramowanie zachowuje się stabilnie i spełnia wymagania bezpieczeństwa przewidziane w przepisach. Procedury ewaluacyjne weryfikują działanie algorytmu na podstawie precyzyjnie określonych wskaźników i progów probabilistycznych, a w niektórych przypadkach mogą opierać się na testach w warunkach rzeczywistych. Zgromadzona w ten sposób dokumentacja stanowi kluczowy dowód na to, że technologia została zweryfikowana z należytą starannością i w pełnej zgodności z normami unijnymi.
Rola danych w systemach AI wysokiego ryzyka
Standardy jakości danych treningowych
System sztucznej inteligencji jest tak dokładny i obiektywny, jak informacje, na których uczy się podejmowania decyzji. Artykuł 10 rozporządzenia reguluje ramy prawne zarządzania danymi, narzucając kryteria techniczne dla zbiorów treningowych, walidacyjnych i testowych. Zgodnie z ustępem 3 tego przepisu, wprowadzane do algorytmu informacje muszą być możliwie jak najmniej obciążone błędami, odpowiednio kompletne oraz adekwatne do zaplanowanego przeznaczenia modelu. Istotnym wskaźnikiem prawnym jest reprezentatywność bazy danych, co oznacza konieczność uwzględnienia właściwości statystycznych wszystkich docelowych grup osób. Jeśli użyte zbiory nie będą wiernie odzwierciedlać specyfiki otoczenia geograficznego, behawioralnego czy funkcjonalnego, model wysokiego ryzyka może generować krzywdzące wyniki. Właściwa budowa bazy informacyjnej staje się zatem fundamentem zgodności prawnej oraz podstawą do zapewnienia bezpieczeństwa jednostkom.
Zarządzanie stronniczością algorytmów
Jednym z najpoważniejszych ryzyk związanych z automatyzacją na dużą skalę jest utrwalanie i powielanie szkodliwych stereotypów społecznych przez algorytmy. W związku z tym, artykuł 10 ust. 2 lit. f) i g) Aktu o AI obliguje dostawców do wdrożenia procedur wykrywania i korygowania stronniczości algorytmów. W świetle przepisów, dyskryminacja algorytmiczna jest całkowicie niedopuszczalna, jeśli zagraża prawom podstawowym, zdrowiu lub prowadzi do wykluczenia zakazanego na mocy prawa Unii. Wdrażając system zarządzania należy opracować mechanizmy umożliwiające szybką identyfikację nieprawidłowości w danych i zastosować skuteczne środki naprawcze. Proces ten wymaga wnikliwego nadzoru na każdym etapie trenowania modelu. Zarządzanie tym zjawiskiem buduje zaufanie do technologii i stanowi warunek sine qua non legalnego wdrożenia systemów klasyfikowanych jako wysokiego ryzyka.
Przetwarzanie danych wrażliwych a walka z dyskryminacją
Paradoksalnie, aby skutecznie i mierzalnie zwalczać nierówne traktowanie przez algorytmy, deweloperzy czasami muszą sięgnąć po informacje o wysoce prywatnym charakterze. Artykuł 10 ust. 5 AI Act przewiduje w związku z tym wyjątkowe warunki dopuszczalności przetwarzania szczególnych kategorii danych osobowych, takich jak pochodzenie etniczne czy dane o zdrowiu. Przepisy zezwalają na ten wyjątek wyłącznie w ściśle określonym celu wykrywania i korygowania stronniczości, i to tylko wtedy, gdy zadania tego nie da się zrealizować przy pomocy danych syntetycznych lub zanonimizowanych. Musisz przy tym zapewnić najwyższe standardy techniczne ochrony, obejmujące procesy pseudonimizacji, logowanie dostępu dla upoważnionego personelu oraz zakaz udostępniania tych informacji na zewnątrz. Po skutecznym wyeliminowaniu błędu w modelu predykcyjnym lub po upływie niezbędnego czasu, wszystkie wrażliwe dane muszą zostać bezpowrotnie usunięte. Decyzja o zastosowaniu tego wyjątku wymaga solidnego uzasadnienia analitycznego i odpowiedniego udokumentowania w oficjalnym rejestrze czynności przetwarzania wymaganym przez RODO.
