Główne wnioski
- Dynamika rozwoju AI wymaga ciągłego testowania modeli na każdym etapie ich cyklu życia – znacznie szerzej niż w przypadku tradycyjnego oprogramowania IT.
- Testowanie zwiększa jakość, odporność i zgodność systemów AI, wspierając budowanie zaufania do tej technologii.
- Jasne przypisanie odpowiedzialności oraz rozwój kultury testowania pomagają ograniczać ryzyko i wspierają bezpieczne skalowanie AI.
- Proaktywne podejście do zgodności i standardów pozwala lepiej wykorzystać inwestycje w AI.
To ósmy artykuł z serii poświęconej temu, w jaki sposób odpowiedzialne podejście do AI wspiera zarządzanie ryzykiem, tworzenie wartości oraz skalowanie innowacji w organizacjach. Przeczytaj poprzednie.
Wraz z rosnącą popularnością generatywnej AI i agentów AI rośnie liczba ich zastosowań w organizacjach. W konsekwencji firmy mierzą się z wyzwaniem jak skutecznie testować rozwiązania wykorzystujące AI oraz jak mierzyć ich działanie.
Testowanie i monitorowanie modeli AI to pojęcia odnoszące się do działań, które wspierają zapewnienie:
- jakości,
- odporności,
- stabilności,
- odpowiedzialnego podejmowania decyzji z wykorzystaniem systemów AI.
Działania te umożliwiają również wykrywanie sytuacji, w których funkcjonowanie modelu zaczyna odbiegać od założeń lub przyjętych wskaźników.
Przykład: Wyobraźmy sobie system, w którym wykorzystywany jest model AI, służący do oceny kandydatów do przyjęcia na dane stanowisko pracy. Z perspektywy użytkownika takiego systemu, miarą sukcesu jego działania jest pewność, że dostarcza on dobre, wiarygodne rekomendacje, czyli nie odrzuca kandydatów, którzy mogliby mieć odpowiednie kwalifikacje oraz nie przepuszcza tych, którzy nie pasują do roli.
W jaki sposób praktyki testowania i monitorowania modelu mogą pomóc w tym kontekście?
Umożliwią spójną ocenę funkcjonowania opartego na AI systemu rekrutacji, mającą na celu potwierdzenie, że działa on zgodnie z oczekiwaniami w odniesieniu do różnych typów kandydatów, profili stanowisk, lokalizacji czy też innych warunków.
W praktyce, weryfikacja działania modelu AI nie kończy się na etapie wdrożenia. Obejmuje cały cykl życia rozwiązania:
Przed wdrożeniem: walidacja jakości, identyfikacja ograniczeń i ocena stabilności.
Po wdrożeniu: ciągłe monitorowanie działania i wydajności, danych i efektów biznesowych.
Zgodność: niezależna weryfikacja zgodności z wymogami regulacyjnymi i standardami.
Kto powinien to robić?
Powyższe zadania mogą być realizowane przez:
- zespół, który tworzy lub zarządza zastosowaniem AI (potocznie „pierwsza linia”),
- wewnętrzny, lecz niezależny zespół, zwykle powiązany z funkcjami w obszarze ryzyka („druga linia”),
- lub też przez całkowicie niezależną stronę trzecią.
Jak zmienia się status quo w testowaniu i monitorowaniu modeli?
Organizacje działające w mniej regulowanych sektorach gospodarki, które dotąd często nie posiadały (ponieważ nie musiały) zdefiniowanych, opartych o regulacje lub standardy praktyk testowania modeli uczenia maszynowego i modeli statystycznych, zaczynają dostrzegać lukę (w tym lukę kompetencyjną w zespołach przygotowanych do realizacji tych zadań). Jednocześnie zauważają wartość, która wynika ze spójnego podejścia do testowania i monitorowania modeli AI.
Nawet organizacje z dużym doświadczeniem w testowaniu modeli uczenia maszynowego czy uczenia głębokiego, napotykają wyzwania dotyczące rozwiązań wykorzystujących GenAI i Agenty AI, których możliwości techniczne i szybkie tempo rozwoju tworzą potrzebę opracowania nowych praktyk testowania.
Niektóre organizacje uważają, że ich dotychczasowe praktyki testowania klasycznych systemów informatycznych przed wdrożeniem, wystarczą do testowania rozwiązań AI. Polegają one głównie na weryfikacji danych wejściowych i wyjściowych (testy QA). Systemy AI rzadko jednak generują takie same, powtarzalne i przewidywalne wyniki jak standardowe systemy IT.
Kluczowe różnice:
Tworzenie oprogramowania niewykorzystującego AI przebiega w sposób liniowy, podczas gdy rozwój modeli polega na eksperymentach i ma charakter iteracyjny.
Utrzymanie wysokiej jakości działania systemu AI po wdrożeniu, z perspektywy jego dokładności i odporności wymaga regularnego monitorowania i okresowego ponownego testowania.
Metodyki zwinne wykorzystywane w wytwarzaniu oprogramowania niewykorzystującego AI, które zakładają pracę w sprintach, mogą okazać się niepraktyczne przy testowaniu modeli AI. Tego typu rozwiązania powinny być weryfikowane w trybie ciągłym, a nie okresowym, z uwzględnieniem profilu ryzyka danego przypadku użycia.
Wyniki działania oprogramowania niewykorzystującego AI są deterministyczne – są rezultatem logiki zaszytej w kodzie źródłowym. Natomiast wyniki generowane przez AI są zmienne w czasie i mogą być kształtowane przez relacje istniejące w danych źródłowych, mających zaszyte elementy skutkujące wystąpieniem stronniczości lub uprzedzeń w działaniu algorytmu.
W organizacjach mogą istnieć luki w procesach i praktykach dotyczących zarządzania rozwiązaniami wykorzystującymi AI. Poza tym, odpowiedzialność za monitorowanie działających rozwiązań jest często rozproszona, rozwój i wykorzystanie są AI wysoce zdecentralizowane, a ramy regulacyjne dotyczące sztucznej inteligencji niewdrożone.
Przykład: Asystent AI do rekrutacji z naszego przykładu mógł powstać poza zespołami standardowo odpowiedzialnymi za rozwój i wdrażanie oprogramowania, a więc bez uwzględnienia obowiązujących i ustandaryzowanych praktyk. Mógł on zostać zbudowany przez zespół HR, który może nie mieć wiedzy na temat oczekiwanego zakresu testów, najlepszych praktyk w tym zakresie ani potrzeby bieżącego monitorowania i weryfikacji poprawności działania systemu. Pomimo dobrej znajomości prawa pracy, zespół HR może nie posiadać wystarczającej świadomości w zakresie szybko rozwijającego się krajobrazu regulacyjnego wokół technologii i systemów AI, w tym tych, które wpływają na decyzje rekrutacyjne.
Aby bezpiecznie wykorzystywać modele AI przy podejmowaniu decyzji o wysokim poziomie istotności i złożoności, organizacja powinna rozważyć zainwestowanie w ustandaryzowane procesy testowania i monitorowania tych modeli na wszystkich etapach cyklu życia. Praktyki te muszą wykraczać poza standardowe podejście stosowane w testowaniu oprogramowania IT. Ponadto, kluczowe jest wypracowanie konsensusu w kwestii tego, co należy testować, kto ma to robić, kiedy oraz w jaki sposób problemy będą eskalowane i rozwiązywane.
Szanse wynikające z testowania modeli i odpowiedzialnej AI
Praktyki w zakresie testowania modeli AI służą nie tylko do zarządzania ryzykiem. Dobre zarządzanie może wspierać zwrot z inwestycji w rozwój modeli i systemów AI, poprawiając ich niezawodność i przewidywalność wyników. Testowanie pozwala też lepiej zrozumieć, jakie są ograniczenia wydajności modelu, jak wprowadzać poprawki i gdzie zaangażowanie człowieka może być najbardziej efektywne.
Dzięki skutecznemu testowaniu modeli organizacja zyskuje większą pewność działania, co pozwala wykorzystywać AI w szerszym zakresie i realizować bardziej ambitne cele transformacyjne. Dotychczas trudne do wdrożenia przypadki użycia wymagające wysokiego poziomu niezawodności, mogą teraz mieścić się w akceptowalnym poziomie ryzyka przyjętym w organizacji.
Kluczowe działania, które warto priorytetyzować
Uzgodnij podejście do cyklu życia modelu
Wypracuj spójne podejście do cyklu życia, testowania i monitorowania modeli AI, uwzględniając zarówno rozwiązania tworzone wewnętrznie, jak i dostarczane przez podmioty zewnętrzne.
Buduj kulturę testowania
Pomóż zespołom identyfikować potencjalne punkty awarii w systemie AI i jego środowisku programistycznym, aby proaktywnie projektować mechanizmy kontrolne. Zachęcaj do przyjmowania dociekliwej postawy wobec testowania.
Połącz wytyczne dotyczące testów z ramami zarządzania
Doprecyzuj obowiązki zespołów deweloperskich i właścicieli systemów AI, a także pracowników uprawnionych do tworzenia rozwiązań. Uzupełnij te działania o wsparcie ze strony zespołów ds. ryzyka i zgodności. Zrozum podejście organizacji do ryzyk związanych z AI i odpowiednio zaprojektuj wytyczne do testowania i monitorowania.
Zastanów się, jakie praktyki są potrzebne do zapewnienia zgodności z przepisami
Niektóre przepisy mogą wymagać niezależnego testowania pod kątem stronniczości lub przeprowadzenia innych, specyficznych testów. Współpracuj z działem prawnym i compliance, aby wbudować takie działania w ramy zarządzania, procesy oceny ryzyka i praktyki testowania modeli.
Jak możemy pomóc?
Pomagamy klientom w budowaniu i rozwijaniu zasad i praktyk związanych z testowaniem modeli AI. Wspieramy ich również działając jako niezależna trzecia strona w testowaniu, ocenie i wdrażaniu monitoringu systemów AI.
Niezależnie od tego, czy Twoje działania są podyktowane wymaganiami prawnymi, czy chęcią zwiększenia zaufania – nie musisz działać w pojedynkę.
Źródło: https://www.pwc.com/us/en/tech-effect/ai-analytics/responsible-ai-model-testing.html
Zapisz się na newsletter technologia
Skontaktuj się z nami
