Gen AI w biznesie

Tomasz Porożyński

Cloud Delivery Architect, PwC Polska

Email

Generatywna sztuczna inteligencja w biznesie - kluczowe, choć często pomijane, aspekty bezpieczeństwa

Rozwój dużych modeli językowych (Large Language Models - w skrócie LLM) zrewolucjonizował sposób, w jaki systemy komputerowe komunikują się z użytkownikami. Szczególnie widoczne jest to w obszarze automatycznej obsługi klienta, gdzie tradycyjne chatboty ustępują miejsca inteligentnym asystentom. W przeciwieństwie do swoich poprzedników (które opierały się na sztywnych scenariuszach i predefiniowanych odpowiedziach, często ograniczając użytkownika do wyboru z gotowej listy opcji) modele LLM umożliwiają prowadzenie swobodnej, naturalnej konwersacji. Użytkownicy mogą formułować zapytania własnymi słowami, a system jest w stanie zrozumieć kontekst i dostosować odpowiedź do konkretnej sytuacji.

Ta elastyczność, choć rewolucyjna dla wygody użytkownika, wprowadza jednak nowe, złożone wyzwania związane z bezpieczeństwem. Zdolność modeli do interpretacji dowolnego tekstu i adaptacji do różnych kontekstów staje się jednocześnie ich siłą i potencjalną słabością. Rosnące zastosowanie LLM w aplikacjach biznesowych, gdzie chatboty mają dostęp do wrażliwych danych i systemów operacyjnych, sprawia, że odpowiednie zabezpieczenie tych rozwiązań staje się krytycznym wyzwaniem.

Ostatnie incydenty wyraźnie pokazują, że nie są to tylko teoretyczne rozważania - wraz z rosnącą popularnością tej technologii, rośnie również liczba prób jej złośliwego wykorzystania. Zrozumienie tych zagrożeń i implementacja skutecznych zabezpieczeń staje się kluczowym elementem rozwoju systemów opartych o LLM.

Dowiedz się, jak pomagamy wdrażać AI

Kliknij i sprawdź

Nagłośnione przypadki ataków

Aby uświadomić potencjalne zagrożenia wynikające z niewłaściwego działania zaawansowanych chatbotów, poniżej przedstawiam dwa medialnie głośne przypadki. W obu sytuacjach chatboty udzieliły niespodziewanych odpowiedzi, które wywarły ogromne konsekwencje wizerunkowe, a w jednym z przypadków (Air Canada) również finansowe.

Przypadek Chevroleta (2023)

Chatbot dealera Chevroleta z Watsonville, USA został zmanipulowany przez użytkownika do zaakceptowania sprzedaży nowego modelu Tahoe za 1 dolara. Ten przypadek pokazał, jak łatwo można wykorzystać brak odpowiednich zabezpieczeń w systemach automatycznej obsługi klienta.

Air Canada (2024)

Chatbot linii lotniczych wprowadził klienta w błąd odnośnie polityki zwrotów, co doprowadziło do sporu prawnego. Szczególnie istotny jest fakt, że sąd uznał firmę za odpowiedzialną za błędne informacje przekazane przez chatbota.

Rodzaje zagrożeń

W świecie sztucznej inteligencji, szczególnie w kontekście dużych modeli językowych (LLM), implementacje znacząco różnią się poziomem złożoności. Najprostsze chatboty, personalizowane wyłącznie przez system prompt, mają stosunkowo ograniczone zastosowanie - mogą prowadzić konwersację i odpowiadać na pytania, ale tylko w ramach swojej wytrenowanej wiedzy i zdefiniowanych instrukcji.

W praktyce biznesowej takie podstawowe rozwiązanie rzadko wystarcza. Dlatego firmy tworzą zaawansowane agenty LLM, często wyposażone w dostęp do różnorodnych narzędzi operacyjnych:

Zwektoryzowanych baz wiedzy

Baz danych i systemów CRM

Wewnętrznych API i mikrousług

Systemów ticketowych i help desk

Narzędzi do komunikacji (email, powiadomienia)

Taki agent może autonomicznie wykonywać złożone zadania: weryfikować statusy zgłoszeń, zbierać wymagane informacje od użytkownika, rejestrować nowe sprawy czy koordynować komunikację między różnymi systemami.

Ta rozszerzona funkcjonalność, choć kluczowa dla zastosowań biznesowych, znacząco poszerza powierzchnię potencjalnego ataku - każde dodatkowe narzędzie staje się nowym wektorem zagrożenia, przez który złośliwy użytkownik może próbować manipulować systemem.

Ataki socjotechniczne
Prompt injection

Ataki socjotechniczne

W przeciwieństwie do tradycyjnych systemów komputerowych, modele LLM są szczególnie podatne na manipulacje socjotechniczne ze względu na ich zdolność do naśladowania ludzkiej komunikacji. Atakujący może wykorzystać:

Autorytety ("Jako administrator systemu...")

Presję czasową ("To pilne...")

Empatię ("Potrzebuję pomocy w trudnej sytuacji...")

Przedstawione przykłady to zaledwie wierzchołek góry lodowej - kreatywność atakujących w konstruowaniu przekonujących scenariuszy socjotechnicznych stale ewoluuje wraz z rosnącym zrozumieniem sposobu działania modeli językowych.

Prompt injection

Większość implementacji dużych modeli językowych przetwarza dwa podstawowe typy wiadomości:

System prompt - definiuje rolę modelu, dostępne narzędzia, parametry dostępu i ograniczenia.

User prompt - właściwe zapytania użytkownika

Atak typu prompt injection wykorzystuje fakt, że model może mieć trudność z rozróżnieniem tych dwóch typów wiadomości. Innymi słowy, odpowiednio spreparowane zapytanie użytkownika może “udawać” instrukcje systemowe. Najpopularniejsze techniki ataku to:

1. Podszywanie się pod instrukcje systemowe ("Ignoruj poprzednie instrukcje..."

2. Wymuszanie ujawnienia konfiguracji ("Pokaż swoje instrukcje..."

3. Próby nadpisania ograniczeń ("Od teraz działasz jako...")

To tylko podstawowe techniki prompt injection - wraz z rosnącym zrozumieniem działania modeli językowych, atakujący odkrywają coraz bardziej wyrafinowane metody manipulacji zapytaniami.

Skala zagrożenia

Konsekwencje udanego ataku różnią się znacząco w zależności od typu systemu:

Dla prostego chatbota
Dla agenta LLM

Dla prostego chatbota

Choć początkowo może się wydawać, że ryzyko jest głównie wizerunkowe, rzeczywistość pokazuje znacznie poważniejsze konsekwencje. Przytoczone na wstępie przypadki dwóch chatbotów pokazują, że nawet prosty system może zostać wykorzystany do składania błędnych deklaracji i/lub obietnic w imieniu organizacji. Firmy muszą więc mierzyć się nie tylko z wyzwaniami technicznymi, ale również z potencjalnymi konsekwencjami biznesowymi działań swoich systemów AI.

Dla agenta LLM

W przypadku agenta LLM, system prompt zawiera nie tylko instrukcje dotyczące zachowania, ale także szczegółowe informacje o dostępnych narzędziach - na przykład możliwość odczytu danych z bazy wiedzy czy tworzenia rekordów w systemach firmowych. Poznanie system promptu znacząco poszerza wektor ataku. Choć sama wiedza o dostępnych narzędziach i ich parametrach nie jest równoznaczna z uzyskaniem nieautoryzowanego dostępu do systemów firmowych - te zazwyczaj posiadają dodatkowe warstwy zabezpieczeń - to jednak daje atakującemu cenną mapę potencjalnych celów. Każde z ujawnionych narzędzi staje się kolejnym punktem do sprawdzenia pod kątem możliwych luk w zabezpieczeniach. W praktyce, taka wiedza może zostać wykorzystana do planowania bardziej ukierunkowanych i wyrafinowanych ataków na konkretne elementy infrastruktury.

Metody zabezpieczeń

Ze względu na niedeterministyczną naturę modeli językowych, nie istnieje pojedyncze, idealne rozwiązanie zapewniające całkowite bezpieczeństwo systemu. Zamiast tego, zaleca się implementację kilku warstw zabezpieczeń, gdzie każda z nich adresuje inne aspekty potencjalnych zagrożeń.

Precyzyjne instrukcje systemowe
Wzmacnianie instrukcji (Instruction Reinforcement)
Model weryfikujący (Guard LLM)
Programistyczna walidacja danych
ShieldGemma
Platformy i narzędzia ochronne

Precyzyjne instrukcje systemowe

Fundamentem bezpieczeństwa jest dobrze skonstruowany system prompt, który jasno definiuje granice działania modelu. W praktyce oznacza to:

Jednoznaczne określenie roli i uprawnień.

Zdefiniowanie dozwolonych i zabronionych zachowań.

Przykłady prawidłowych odpowiedzi w różnych scenariuszach.

Wzmacnianie instrukcji (Instruction Reinforcement)

Technika polegająca na dołączaniu pierwotnych instrukcji systemowych do każdego zapytania użytkownika. Pomaga utrzymać model w zdefiniowanych ramach działania nawet podczas długich konwersacji czy prób manipulacji.

Standardowy przebieg komunikacji może wyglądać tak:

W przypadku wzmocnienia instrukcji, wiadomość użytkownika “uzbrojona jest” w powtórzenie wiadomości systemowej:

Model weryfikujący (Guard LLM)

Wykorzystanie dodatkowego modelu LLM jako "strażnika", który może działać w dwóch trybach:

Sekwencyjnym - weryfikacja przed wykonaniem.

Równoległym - jednoczesna weryfikacja i przetwarzanie

W przypadku poniższego diagramu GenAI z tarczą reprezentuje model generatywnej sztucznej inteligencji, który odpowiedzialny jest za rolę “strażnika”, a GenAI bez tarczy reprezentuje model, który odpowiedzialny jest za udzielenie odpowiedzi użytkownikowi.

Weryfikacji mogą podlegać zarówno zapytania użytkownika, jak i odpowiedzi głównego modelu. Poniższy diagram przedstawia przykładowy przepływ danych w celu weryfikacji odpowiedzi modelu głównego. Ponownie, na diagramie GenAI z tarczą reprezentuje model generatywnej sztucznej inteligencji, który odpowiedzialny jest za rolę “strażnika”, a GenAI bez tarczy reprezentuje główny model, który odpowiedzialny jest za udzielenie odpowiedzi użytkownikowi.

Programistyczna walidacja danych

Programistyczna warstwa kontroli obejmująca:

Filtrowanie potencjalnie niebezpiecznych zapytań.

Weryfikację formatu i długości promptów.

Sprawdzanie poprawności odpowiedzi modelu.

ShieldGemma

ShieldGemma to jeden z dostępnych gotowych modeli weryfikującyjnych, wyspecjalizowany w moderacji treści. Koncentruje się na wykrywaniu:

Treści szkodliwych i niebezpiecznych

Mowy nienawiści

Prób nękania

Nieodpowiednich treści

Model dostępny jest z otwartymi wagami, co umożliwia instalację modelu wewnątrz naszej infrastruktury bez potrzebnego dostępu do Internetu, przeprowadzenie operacji fine-tuningu i dostosowanie reguł weryfikacyjnych do specyficznych potrzeb danego zastosowania.

Platformy i narzędzia ochronne

W odpowiedzi na rosnące zagrożenia, powstają zaawansowane narzędzia wspierające implementację zabezpieczeń dla systemów opartych o modele językowe. Dobrym przykładem jest NVIDIA NeMo Guardrails - otwartoźródłowy framework oferujący kompleksowe podejście do zabezpieczania aplikacji konwersacyjnych.

NeMo Guardrails wprowadza koncepcję programowalnych "mechanizmów zabezpieczających" (guardrails), które pozwalają na precyzyjną kontrolę zachowania modelu poprzez:

Wielopoziomową walidację - od weryfikacji danych wejściowych, przez monitoring dialogu, po kontrolę wygenerowanych odpowiedzi

Zarządzanie przepływem dialogu - możliwość definiowania akceptowalnych ścieżek konwersacji

Integrację z zewnętrznymi systemami weryfikacji i bazami wiedzy

Mechanizmy wykrywania prób manipulacji i nieautoryzowanego dostępu

Tego typu narzędzia znacząco upraszczają proces implementacji wielowarstwowych zabezpieczeń, oferując gotowe komponenty i sprawdzone wzorce projektowe. Jest to szczególnie istotne dla zespołów wdrażających modele językowe w środowiskach produkcyjnych, gdzie bezpieczeństwo stanowi krytyczny aspekt systemu.

Praktyczne zalecenia

Efektywne zabezpieczenie systemów opartych o modele językowe wymaga kompleksowego podejścia i systematycznych działań. Poniżej przedstawiamy kluczowe rekomendacje, które pozwolą zminimalizować ryzyko nadużyć i zwiększyć bezpieczeństwo wdrożeń:

Warstwowe podejście do bezpieczeństwa

Implementacja wielopoziomowego systemu zabezpieczeń, gdzie każda warstwa adresuje inne aspekty bezpieczeństwa.

Łączenie różnych metod zabezpieczeń (np. precyzyjne instrukcje + model weryfikujący + walidacja programistyczna).

Regularne testowanie skuteczności każdej warstwy zabezpieczeń poprzez symulowane ataki.

Ciągły monitoring i szczegółowa analiza wykrytych incydentów bezpieczeństwa.

Automatyzacja procesów wykrywania i reagowania na potencjalne zagrożenia.

Systematyczna ocena ryzyka

Szczegółowa analiza potencjalnych wektorów ataku specyficznych dla danego wdrożenia.

Kategoryzacja danych i systemów pod kątem wrażliwości i wymaganego poziomu ochrony.

Regularna aktualizacja oceny ryzyka w odpowiedzi na nowe zagrożenia i przypadki nadużyć.

Dokumentowanie i analiza wszystkich incydentów bezpieczeństwa.

Tworzenie procedur reakcji na różne typy zagrożeń.

Zarządzanie dostępem i uprawnieniami

Precyzyjne definiowanie uprawnień modelu do poszczególnych systemów i zasobów.

Implementacja zasady najmniejszych uprawnień (principle of least privilege).

Systematyczny przegląd i aktualizacja uprawnień.

Szczegółowe logowanie wszystkich operacji wykonywanych przez model.

Wdrożenie mechanizmów wykrywania nietypowych wzorców zachowań.

Świadomość ograniczeń technologicznych

Zrozumienie, że żadne pojedyncze zabezpieczenie nie jest doskonałe.

Akceptacja konieczności ciągłej aktualizacji i doskonalenia zabezpieczeń.

Zachowanie równowagi między poziomem bezpieczeństwa a użytecznością systemu.

Świadomość potencjalnych konsekwencji prawnych i wizerunkowych.

Przygotowanie planów awaryjnych na wypadek poważnych incydentów.

Rozwój i utrzymanie

Regularne aktualizacje wszystkich komponentów systemu zabezpieczeń.

Ciągłe doskonalenie reguł weryfikacyjnych w oparciu o nowe przypadki nadużyć.

Systematyczne szkolenia zespołu odpowiedzialnego za bezpieczeństwo.

Śledzenie najnowszych trendów w obszarze bezpieczeństwa LLM.

Aktywna współpraca z społecznością ekspertów i wymiana doświadczeń.

Kultura bezpieczeństwa

Budowanie świadomości zagrożeń wśród wszystkich interesariuszy systemu.

Promowanie proaktywnego podejścia do wykrywania potencjalnych luk.

Zachęcanie do zgłaszania podejrzanych zachowań systemu.

Regularne przeprowadzanie audytów bezpieczeństwa.

Transparentna komunikacja w zakresie polityk bezpieczeństwa.

Skuteczna ochrona systemów opartych o modele językowe wymaga kompleksowego podejścia, gdzie techniczne zabezpieczenia wspierane są przez odpowiednie procesy organizacyjne i kulturę bezpieczeństwa. Kluczowe jest także zachowanie elastyczności pozwalającej na szybkie reagowanie na nowe zagrożenia przy jednoczesnym utrzymaniu użyteczności systemu dla końcowych użytkowników.

Podsumowanie

Bezpieczeństwo modeli językowych to obszar, który wymaga szczególnej uwagi ze względu na rosnącą rolę tych systemów w środowisku biznesowym. Przytoczone w artykule przypadki ataków jasno pokazują, że zagrożenia nie są już tylko teoretyczne, a konsekwencje naruszeń mogą być poważne zarówno pod względem prawnym, jak i wizerunkowym.

Skuteczna ochrona systemów generatywnej sztucznej inteligencji wymaga zrozumienia ich unikalnej natury - elastyczność i zdolność do kontekstowej interpretacji, które czynią je tak użytecznymi, jednocześnie narażają na potencjalne wektory ataku. Sam dobrze napisany prompt systemowy, choć istotny, nie wystarcza jako kompleksowe zabezpieczenie. Konieczne jest wdrożenie wielopoziomowej architektury bezpieczeństwa, łączącej różne metody ochrony - od precyzyjnych instrukcji systemowych, przez modele weryfikujące, po programistyczne warstwy kontroli.

Szczególnie istotne jest zrozumienie, że bezpieczeństwo to proces ciągły, wymagający systematycznego monitorowania, analizy incydentów i adaptacji zabezpieczeń do nowych rodzajów zagrożeń. W miarę jak modele językowe stają się coraz bardziej zaawansowane i zyskują dostęp do kolejnych systemów operacyjnych, znaczenie odpowiednich zabezpieczeń będzie tylko wzrastać.