Model i polecenia systemowe
Prompt injection, obchodzenie instrukcji, ujawnienie promptu systemowego, treści niezgodne z polityką firmy.
Audyt agentów AI · LLM · MCP · RAGTwój agent AI czyta wszystko.
Twój agent AI czyta wszystko.
Także polecenia atakującego.
Testujemy chatboty, agentów, serwery MCP i bazy wiedzy tak, jak zrobiłby to atakujący, zanim zrobi to ktoś inny.
Audyt bezpieczeństwa agentów AI to kontrolowane testy systemów opartych na modelach językowych: chatbotów dla klientów, wewnętrznych asystentów, agentów wykonujących działania przez narzędzia i serwery MCP (Model Context Protocol) oraz systemów RAG, które odpowiadają na podstawie dokumentów firmy. Sprawdzamy odporność na prompt injection bezpośredni i pośredni (przez treść maila, dokumentu lub strony), możliwość wycieku danych między użytkownikami i z bazy wiedzy, zakres uprawnień narzędzi, obsługę sekretów, rejestrowanie działań agenta i miejsca, w których decyzję musi zatwierdzić człowiek. Opieramy się na OWASP Top 10 for LLM Applications i MITRE ATLAS. Wynikiem jest raport z dowodami i plan zabezpieczeń.
Co testujemy
Cztery warstwy systemu AI.
Dane i RAG
Kto widzi które dokumenty, wycieki między użytkownikami, zatrute źródła, dane osobowe w kontekście modelu.
Narzędzia i MCP
Uprawnienia narzędzi, zapis i wysyłka bez zgody, łańcuchy wywołań, zaufanie do zewnętrznych serwerów MCP.
Operacje
Sekrety i klucze API, rejestrowanie działań, limity kosztów, akceptacja człowieka przy działaniach nieodwracalnych.
Testy
Atak przychodzi w treści, nie w kodzie.
Agent, który czyta maile, dokumenty i strony, może wykonać polecenie ukryte w tej treści. Sprawdzamy, co się stanie, gdy ktoś wyśle mu odpowiednio przygotowaną wiadomość.
- Scenariusze ataków przygotowane pod Twój system
- Testy na kopii lub środowisku testowym, gdy działania są nieodwracalne
- Każde ustalenie z zapisem rozmowy jako dowodem
- Poprawki: ograniczenie uprawnień, filtry, zatwierdzanie przez człowieka
Punkty odniesienia
Sprawdzone ramy, nie autorska lista.
OWASP Top 10 for LLM Applications
- Prompt injection
- Ujawnienie informacji wrażliwych
- Nadmierna sprawczość agenta
- Ujawnienie promptu systemowego
- Słabości wektorów i osadzeń (RAG)
MITRE ATLAS i dobre praktyki
- Taktyki ataków na systemy AI
- Zasada najmniejszych uprawnień dla narzędzi
- Rejestrowanie i audyt działań agenta
- Kontrola człowieka przy działaniach nieodwracalnych
Pytania
Częste pytania.
Co to jest prompt injection?
To atak, w którym ktoś umieszcza polecenia dla modelu AI w treści, którą model przetwarza: wiadomości, dokumencie, opisie produktu lub stronie internetowej. Model może potraktować je jak instrukcje i np. ujawnić dane albo wykonać działanie przez narzędzie. Szczególnie narażone są agenty, które czytają treści z zewnątrz i mają dostęp do narzędzi.
Czym jest MCP i dlaczego wymaga audytu?
Model Context Protocol to standard łączenia modeli AI z narzędziami i danymi: plikami, bazami, pocztą, systemami firmy. Każdy serwer MCP rozszerza to, co agent może zrobić. Audyt sprawdza, czy uprawnienia są ograniczone do potrzeb, czy serwery pochodzą z zaufanych źródeł i czy działania o skutkach zewnętrznych wymagają zgody człowieka.
Czy testujecie systemy AI zbudowane przez innych dostawców?
Tak. Testujemy rozwiązania własne klienta, gotowe produkty i systemy innych wykonawców, w zakresie dostępów, jakie klient może zapewnić. Jeśli testujemy system, który sami zbudowaliśmy, opisujemy to w raporcie jako przegląd własny.
Czy testy mogą coś zepsuć?
Działania nieodwracalne, np. wysyłkę wiadomości czy zapis danych, testujemy na kopii lub środowisku testowym albo z wyłączonymi narzędziami. Zasady testów i okno prac ustalamy przed startem.
Jak często powtarzać audyt systemu AI?
Po każdej większej zmianie: nowym modelu, nowym narzędziu lub serwerze MCP, nowym źródle danych w RAG albo rozszerzeniu grupy użytkowników. Systemy AI zmieniają się szybciej niż zwykłe aplikacje.
Sprawdź agenta,
zanim zrobi to ktoś inny.
Opisz system: model, narzędzia, źródła danych i użytkowników. Zaproponujemy scenariusze testów.