AI Act - obowiązki dla dostawców systemów AI

AI Act a rola dostawcy systemu AI

‍

AI Act to unijne rozporządzenie, które wprowadza horyzontalne zasady dotyczące sztucznej inteligencji. Z perspektywy przedsiębiorców jednym z kluczowych zagadnień jest ustalenie, czy dana firma występuje jako dostawca systemu AI podlegającym pod to rozporządzenie. W ocenie obowiązków regulacyjnych pomocna może być kancelaria prawna Warszawa, zwłaszcza gdy projekt AI wymaga analizy prawnej, technicznej i organizacyjnej.

‍

Nie chodzi wyłącznie o podmiot, który samodzielnie programuje system od podstaw. Dostawcą może być również podmiot, który zleca opracowanie systemu AI, a następnie wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym. W praktyce oznacza to, że obowiązki dostawców AI mogą dotyczyć nie tylko firm technologicznych, ale także przedsiębiorców wdrażających rozwiązania AI jako element własnego produktu lub usługi.

‍

Dla firm kluczowe jest więc nie samo pytanie, czy używają sztucznej inteligencji, lecz pytanie, jaką pełnią rolę w łańcuchu wartości AI. Inne obowiązki będzie miał dostawca systemu AI wysokiego ryzyka, inne importer, dystrybutor, podmiot stosujący, a jeszcze inne dostawca modelu AI ogólnego przeznaczenia.

‍

Dlaczego status dostawcy ma znaczenie

‍

Status dostawcy ma zasadnicze znaczenie dla AI Act compliance. To dostawca odpowiada za wiele obowiązków, które muszą zostać spełnione jeszcze przed wprowadzeniem systemu AI na rynek albo przed oddaniem go do użytku.

‍

W przypadku systemów AI wysokiego ryzyka ciężar regulacyjny spoczywa przede wszystkim na dostawcy. To on powinien zapewnić zgodność systemu z wymaganiami AI Act, przygotować dokumentację techniczną, przeprowadzić odpowiednią procedurę oceny zgodności, zapewnić system zarządzania ryzykiem, wdrożyć system zarządzania jakością oraz prowadzić monitorowanie po wprowadzeniu systemu na rynek.

‍

Regulacje AI dostawcy traktują jako podmiot odpowiedzialny za projekt, przeznaczenie i warunki działania systemu. Z tego powodu nie wystarczy ograniczyć się do oceny własnej i deklaracji, że narzędzie jest „bezpieczne” albo „zgodne z prawem”. AI Act wymaga wykazania zgodności w sposób udokumentowany.

‍

Pierwszy krok - czy rozwiązanie jest systemem AI

‍

Przed analizą obowiązków należy ustalić, czy dane rozwiązanie spełnia definicję systemu AI. AI Act nie obejmuje każdego oprogramowania. System AI według tego rozporządzenia to system maszynowy zaprojektowany do działania z różnym poziomem autonomii, który może wykazywać zdolność adaptacji po wdrożeniu i który, dla wyraźnych lub dorozumianych celów, wnioskuje na podstawie otrzymanych danych wejściowych, jak generować wyniki, takie jak predykcje, treści, zalecenia lub decyzje mogące wpływać na środowisko fizyczne lub wirtualne.

‍

W praktyce analiza powinna obejmować między innymi:

• sposób działania systemu;
• poziom autonomii;
• rodzaj danych wejściowych;
• rodzaj generowanych wyników;
• przeznaczenie systemu;
• wpływ wyników systemu na użytkowników, klientów, pracowników lub inne osoby fizyczne.

‍

Nie każde narzędzie automatyzujące proces biznesowy będzie systemem AI. Jednocześnie wiele systemów wykorzystujących uczenie maszynowe, modele predykcyjne, systemy rekomendacyjne lub generatywną AI będzie wymagało dalszej analizy pod kątem AI Act.

‍

Drugi krok - klasyfikacja ryzyka

‍

AI Act opiera się na podejściu opartym na ryzyku. Oznacza to, że zakres obowiązków zależy przede wszystkim od kategorii systemu AI.

‍

Z perspektywy dostawcy najważniejsze kategorie to:

• systemy AI objęte zakazanymi praktykami;
• systemy AI wysokiego ryzyka;
• systemy AI podlegające obowiązkowi przejrzystości (art. 50 AI Act);
• modele AI ogólnego przeznaczenia.

‍

Największe znaczenie praktyczne mają systemy AI wysokiego ryzyka. To właśnie w ich przypadku wymogi AI Act są najbardziej rozbudowane i wymagają realnego wdrożenia procesów compliance, technicznych zabezpieczeń oraz dokumentacji.

‍

Więcej o tym znajdziesz w tym artykule:  AI Act - klasyfikacja ryzyka systemów AI

‍

Obowiązki dostawcy systemu AI wysokiego ryzyka

Dostawca systemu AI wysokiego ryzyka musi zapewnić, aby system spełniał wymagania określone w AI Act. Nie jest to pojedynczy obowiązek, ale cały pakiet wymogów obejmujących cykl życia systemu.

‍

Do najważniejszych obowiązków dostawcy należą:

System zarządzania ryzykiem

‍

Dostawca powinien ustanowić, wdrożyć, dokumentować i utrzymywać system zarządzania ryzykiem. Taki system powinien obejmować identyfikację, analizę, ocenę i ograniczanie ryzyk związanych z systemem AI.

‍

W praktyce oznacza to konieczność odpowiedzi na pytania:

• jakie szkody może wywołać system;
• kto może być dotknięty jego działaniem;
• jakie błędy są racjonalnie przewidywalne;
• jakie środki ograniczające ryzyko zostały wdrożone;
• jak ryzyka będą monitorowane po wdrożeniu.

‍

System zarządzania ryzykiem nie powinien być dokumentem tworzonym wyłącznie na potrzeby audytu. Powinien być częścią rzeczywistego procesu projektowania, testowania i utrzymywania systemu AI.

‍

Jakość danych i zarządzanie danymi

‍

Jeżeli system AI wysokiego ryzyka jest trenowany, walidowany lub testowany z wykorzystaniem danych, dostawca musi zadbać o odpowiednie praktyki zarządzania danymi. Obejmuje to między innymi adekwatność, reprezentatywność, kompletność i odpowiednią jakość danych.

‍

Ten obowiązek ma szczególne znaczenie w systemach stosowanych w rekrutacji, edukacji, kredytowaniu, ubezpieczeniach, ochronie zdrowia lub dostępie do usług publicznych. Wadliwe dane mogą prowadzić do dyskryminacji, błędnych decyzji lub naruszenia praw podstawowych.

‍

Dokumentacja techniczna

‍

Dostawca powinien sporządzić dokumentację techniczną przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Dokumentacja ma wykazywać, że system spełnia wymogi AI Act i przepisy dotyczące systemów wysokiego ryzyka.

‍

Dokumentacja techniczna powinna opisywać między innymi:

• ogólne cechy systemu;
• jego przeznaczenie;
• architekturę i sposób działania;
• dane wykorzystywane w procesie trenowania, walidacji i testowania;
• mechanizmy nadzoru człowieka;
• środki zarządzania ryzykiem;
• cyberbezpieczeństwo;
• testy i walidację;
• monitorowanie po wprowadzeniu do obrotu.

‍

Brak dokumentacji technicznej może być jednym z najpoważniejszych problemów w razie kontroli organu nadzoru lub sporu z klientem. Na tym etapie przydatny może być także prawnik AI, jeżeli firma potrzebuje oceny obowiązków związanych z wdrożeniem lub rozwojem systemu sztucznej inteligencji.

‍

Rejestrowanie zdarzeń

‍

System AI wysokiego ryzyka powinien umożliwiać automatyczne rejestrowanie zdarzeń, czyli logowanie działania systemu. Celem jest zapewnienie identyfikowalności działania systemu, ułatwienie nadzoru i umożliwienie analizy incydentów.

‍

Logi mogą mieć kluczowe znaczenie, gdy trzeba ustalić, dlaczego system wygenerował określoną rekomendację, decyzję lub wynik. Z perspektywy dostawcy jest to także element ochrony dowodowej.

‍

Przejrzystość i instrukcje używania

‍

Dostawca musi przygotować instrukcje używania systemu. Powinny być one jasne, kompletne i zrozumiałe dla podmiotu stosującego system AI.

‍

Instrukcje powinny obejmować między innymi:

• przeznaczenie systemu;
• warunki prawidłowego używania;
• ograniczenia systemu;
• przewidywalne ryzyka;
• wymagania dotyczące danych wejściowych;
• informacje o wynikach działania systemu;
• środki nadzoru człowieka;
• parametry dokładności, odporności i cyberbezpieczeństwa.

‍

To szczególnie ważne, ponieważ błędne opisanie przeznaczenia systemu może prowadzić do błędnej klasyfikacji ryzyka. Jeżeli materiały sprzedażowe, instrukcje lub dokumentacja sugerują zastosowanie w obszarze wysokiego ryzyka, system może zostać zakwalifikowany jako system wysokiego ryzyka.

‍

Nadzór człowieka

‍

Dostawca powinien zaprojektować system AI wysokiego ryzyka w taki sposób, aby możliwy był skuteczny nadzór człowieka. Nie chodzi o pozorną obecność człowieka w procesie, ale o realną możliwość zrozumienia, monitorowania i - w razie potrzeby - przerwania lub zakwestionowania działania systemu.

‍

Nadzór człowieka powinien być adekwatny do ryzyka, przeznaczenia systemu i potencjalnego wpływu na osoby fizyczne.

‍

Dokładność, odporność i cyberbezpieczeństwo

‍

Wymogi AI Act obejmują również zapewnienie odpowiedniego poziomu dokładności, odporności i cyberbezpieczeństwa. Dostawca powinien określić parametry działania systemu oraz monitorować, czy system utrzymuje wymagany poziom jakości w czasie.

‍

W praktyce oznacza to konieczność testowania systemu nie tylko przed wdrożeniem, ale także po jego aktualizacjach, zmianach danych, zmianach środowiska operacyjnego lub zmianach sposobu używania systemu.

‍

System zarządzania jakością

‍

Dostawca systemu AI wysokiego ryzyka powinien wdrożyć system zarządzania jakością. Taki system powinien obejmować procedury, zasady i odpowiedzialności wewnętrzne dotyczące zgodności z AI Act.

‍

System zarządzania jakością powinien regulować między innymi:

• strategię zgodności z AI Act;
• projektowanie i rozwój systemu;
• testowanie i walidację;
• zarządzanie danymi;
• zarządzanie ryzykiem;
• kontrolę zmian;
• dokumentację;
• monitorowanie po wprowadzeniu na rynek;
• zgłaszanie incydentów;
• komunikację z organami nadzoru.

‍

Dla wielu firm będzie to jeden z najważniejszych elementów AI Act compliance.

‍

Ocena zgodności i oznakowanie CE

‍

Przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku dostawca musi przeprowadzić właściwą procedurę oceny zgodności. W zależności od rodzaju systemu może to być ocena wewnętrzna albo procedura z udziałem jednostki notyfikowanej.

‍

Po pozytywnej ocenie zgodności dostawca powinien sporządzić deklarację zgodności UE i - tam, gdzie ma to zastosowanie - umieścić oznakowanie CE.

‍

Rejestracja w unijnej bazie danych

‍

Niektóre systemy AI wysokiego ryzyka wymagają rejestracji przed ich wprowadzeniem do obrotu lub oddaniem do użytku. Dotyczy to przede wszystkim systemów wysokiego ryzyka wskazanych w załączniku III AI Act, z zastrzeżeniem wyjątków, w tym systemów z załącznika III pkt 2, które podlegają rejestracji na poziomie krajowym.

‍

Rejestracja ma zwiększać przejrzystość i identyfikowalność systemów AI wysokiego ryzyka oraz ułatwiać nadzór nad ich zgodnością z AI Act. W określonych przypadkach informacje w bazie danych UE są publicznie dostępne, natomiast część rejestracji, zwłaszcza w obszarach ścigania przestępstw, migracji, azylu i kontroli granic, trafia do bezpiecznej, niepublicznej sekcji bazy.

‍

Monitorowanie po wprowadzeniu na rynek

‍

Obowiązki dostawcy nie kończą się w chwili sprzedaży lub wdrożenia systemu. Dostawca powinien prowadzić monitorowanie po wprowadzeniu systemu na rynek. Celem jest zbieranie informacji o działaniu systemu w rzeczywistych warunkach i reagowanie na nowe ryzyka.

‍

Monitorowanie po wprowadzeniu na rynek powinno obejmować między innymi analizę skarg, błędów, incydentów, zmian parametrów działania oraz informacji od podmiotów stosujących system.

‍

Zgłaszanie poważnych incydentów

‍

Dostawcy systemów AI wysokiego ryzyka mają obowiązki związane ze zgłaszaniem poważnych incydentów właściwym organom nadzoru rynku. Poważny incydent może obejmować między innymi śmierć osoby, poważną szkodę dla zdrowia, poważne i nieodwracalne zakłócenie infrastruktury krytycznej, naruszenie obowiązków prawa UE chroniących prawa podstawowe albo poważną szkodę dla mienia lub środowiska.

‍

Ten obowiązek wymaga posiadania procedury wewnętrznej. Firma powinna wiedzieć, kto identyfikuje incydent, kto ocenia jego kwalifikację, kto kontaktuje się z organem oraz jakie dane należy zabezpieczyć.

‍

Obowiązki dostawców z art. 50 AI Act

‍

Odrębne znaczenie mają obowiązki dostawców wynikające z art. 50 AI Act. Nie dotyczą one wyłącznie systemów AI wysokiego ryzyka, ale są odrębną kategorią AI Act. Są to obowiązki przejrzystości, które mogą obejmować także systemy niższego ryzyka, w szczególności chatboty, wirtualnych asystentów oraz systemy generujące treści syntetyczne.

‍

Po pierwsze, dostawcy systemów AI przeznaczonych do bezpośredniej interakcji z osobami fizycznymi muszą zapewnić, aby system był zaprojektowany i opracowany w taki sposób, że dana osoba zostanie poinformowana, iż wchodzi w interakcję z systemem AI. Obowiązek ten nie będzie miał zastosowania, jeżeli z okoliczności i kontekstu użycia jest to oczywiste dla osoby fizycznej należycie poinformowanej, uważnej i rozsądnej.

‍

Po drugie, dostawcy systemów AI, w tym systemów AI ogólnego przeznaczenia, które generują syntetyczne treści audio, obrazy, wideo lub tekst, muszą zapewnić, aby wyniki działania systemu były oznaczone w formacie nadającym się do odczytu maszynowego oraz wykrywalne jako sztucznie wygenerowane lub zmanipulowane.

‍

Trzeba odróżnić obowiązki dostawców od obowiązków podmiotów stosujących. Dostawca ma przede wszystkim zaprojektować system i jego funkcjonalności tak, aby umożliwić przejrzystość i wykrywalność treści. Podmiot stosujący może mieć natomiast własne obowiązki ujawniania, na przykład przy publikacji deepfake'ów lub tekstów wygenerowanych przez AI w celu informowania społeczeństwa o sprawach leżących w interesie publicznym.

‍

Obowiązki dostawców AI wynikające z art. 50 AI Act powinny być traktowane jako osobna część wdrożenia AI Act, obok klasyfikacji ryzyka, obowiązków dla systemów wysokiego ryzyka i obowiązków dotyczących modeli AI ogólnego przeznaczenia.

‍

Dostawcy modeli AI ogólnego przeznaczenia

‍

Odrębną kategorię stanowią dostawcy modeli AI ogólnego przeznaczenia, czyli modeli, które mogą być wykorzystywane w wielu różnych zastosowaniach. Obowiązki takich dostawców różnią się od obowiązków dostawców klasycznych systemów AI.

‍

W zależności od rodzaju modelu dostawca może być zobowiązany między innymi do:

• sporządzenia i aktualizowania dokumentacji technicznej modelu;
• udostępniania informacji dostawcom systemów AI, którzy integrują model w swoich rozwiązaniach;
• wdrożenia polityki zgodności z prawem autorskim UE;
• publikowania odpowiedniego streszczenia treści wykorzystanych do trenowania modelu.

‍

Jeżeli model AI ogólnego przeznaczenia zostanie uznany za model stwarzający ryzyko systemowe, obowiązki są dalej idące. Mogą obejmować ocenę modelu, ograniczanie ryzyk systemowych, dokumentowanie poważnych incydentów i zgłaszanie ich do właściwych organów.

‍

Kiedy dystrybutor, importer lub użytkownik może stać się dostawcą

‍

AI Act przewiduje sytuacje, w których inny podmiot może zostać potraktowany jak dostawca systemu AI wysokiego ryzyka. Może to dotyczyć między innymi dystrybutora, importera, podmiotu stosującego lub innej osoby trzeciej.

‍

Taki skutek może powstać w szczególności, gdy podmiot:

• umieszcza własną nazwę lub znak towarowy na systemie AI wysokiego ryzyka;
• dokonuje istotnej zmiany systemu AI wysokiego ryzyka;
• zmienia przeznaczenie systemu w taki sposób, że system staje się systemem wysokiego ryzyka.

‍

To istotne dla firm, które kupują gotowe rozwiązania AI, a następnie oferują je klientom pod własną marką albo modyfikują ich funkcje. W takim scenariuszu firma może przejąć część obowiązków typowych dla dostawcy.

‍

AI Act compliance jako proces, a nie jednorazowy dokument

‍

AI Act compliance nie powinien być traktowany jako jednorazowe przygotowanie polityki AI. W przypadku dostawców systemów AI zgodność wymaga procesu obejmującego projektowanie, rozwój, testowanie, wdrożenie, monitorowanie, aktualizacje i reagowanie na incydenty.

‍

W praktyce wdrożenie powinno obejmować co najmniej:

• mapowanie systemów AI;
• ustalenie roli firmy w łańcuchu wartości AI;
• klasyfikację ryzyka;
• analizę przeznaczenia systemu;
• analizę danych;
• ocenę obowiązków technicznych;
• przygotowanie dokumentacji;
• wdrożenie procedur zarządzania ryzykiem;
• wdrożenie procedur nadzoru człowieka;
• przygotowanie procesu obsługi incydentów;
• aktualizację umów z klientami, dostawcami i integratorami.

‍

Dobrze przygotowana firma powinna być w stanie wykazać, dlaczego zakwalifikowała system do określonej kategorii ryzyka i jakie środki wdrożyła, aby spełnić wymogi AI Act. Przy projektach obejmujących wdrożenie, rozwój lub komercjalizację systemów AI istotna może być również obsługa prawna projektów AI.

‍

Najczęstsze błędy dostawców systemów AI

‍

W praktyce największe ryzyka prawne wynikają zwykle nie z samego używania AI, lecz z braku uporządkowanego procesu zgodności.

‍

Do najczęstszych błędów należą:

• brak ustalenia, czy rozwiązanie spełnia definicję systemu AI;
• brak określenia przeznaczenia systemu;
• zbyt ogólne materiały marketingowe sugerujące szerokie zastosowania, także w obszarach wysokiego ryzyka;
• brak dokumentacji technicznej;
• brak procedury zarządzania ryzykiem;
• brak testów jakości danych;
• pozorny nadzór człowieka;
• brak procedury zgłaszania incydentów;
• nieuwzględnienie AI Act w umowach z klientami i partnerami technologicznymi;
• traktowanie zgodności z AI Act wyłącznie jako zadania działu prawnego.

‍

Tymczasem przepisy AI Act projektują regulację łączącą prawo, technologię, zarządzanie ryzykiem, cyberbezpieczeństwo, dokumentację i odpowiedzialność organizacyjną.

‍

Podsumowanie

‍

Obowiązki dostawców AI należą do najważniejszych elementów AI Act. Dostawca nie odpowiada wyłącznie za stworzenie technologii, ale także za jej zgodność regulacyjną, dokumentację, bezpieczeństwo, przejrzystość, zarządzanie ryzykiem i monitorowanie po wdrożeniu.

‍

Dla przedsiębiorców oznacza to konieczność przejścia od podejścia „budujemy narzędzie AI” do podejścia „budujemy system AI zgodny z prawem, bezpieczny i możliwy do audytu”. Im wcześniej firma ustali swoją rolę, kategorię ryzyka systemu i właściwe wymogi AI Act, tym łatwiej ograniczy ryzyka prawne, kontraktowe i reputacyjne.

‍