ENDomluvit hovor

Audit rizik AI agentů

Kde může váš AI agent selhat, a jak moc by to bolelo.

Otestujeme prompt injection, únik osobních údajů, nepovolené akce a odpovědi mimo rozsah. Zdokumentujeme to podle AI Actu a standardu AIUC-1 a připravíme podklady pro vedení, pověřence, auditora i pojistitele.

Nejde o „AI audit firmy“, který hledá, kde AI nasadit. Testujeme bezpečnost agenta, kterého už máte, ať ho postavil kdokoli.

Mapa rizik

Popište agenta, mapa se přeskládá.

Riziko roste s tím, co agent čte, co smí udělat a komu odpovídá. Schvalování člověkem a logy ho snižují. Klikněte na bod pro detail testu.

Profil agenta

Pro tento profil vychází vysoko 1 z 9 rizik. Nejvyšší: únik osobních údajů.

Riziko 1 · Nízké · Bezpečnost

Přímá prompt injection

Jak to testujeme

Desítky variant přemlouvání: role-play, „ignoruj předchozí pokyny“, rozdělené pokyny, jiný jazyk.

Co pomáhá

Oddělení systémových pokynů, seznam povolených akcí v MCP, schvalování.

Šest oblastí standardu AIUC-1 · certifikát neudělujeme

Data a soukromíBezpečnostBezpečné výstupySpolehlivostOdpovědnostSpolečnost

Pořadí rizik pro tento profil

  1. 3Únik osobních údajůVysoké
  2. 7Chybí stopa: kdo, co, kdyStřední
  3. 5Halucinace v odpovědiStřední
  4. 6Odpověď mimo rozsahNízké
  5. 9Neférové nebo nevhodné zacházeníNízké
  6. 1Přímá prompt injectionNízké
  7. 8Výpadek nebo tichá změna modeluNízké
  8. 2Nepřímá prompt injectionNízké
  9. 4Nepovolená nebo nevratná akceNízké
Ilustrační mapa, ne výsledek audituskóre = pravděpodobnost × dopad

Všech 9 rizik: jak je testujeme a co pomáhá

1. Přímá prompt injection

Jak to testujeme: Desítky variant přemlouvání: role-play, „ignoruj předchozí pokyny“, rozdělené pokyny, jiný jazyk.

Co pomáhá: Oddělení systémových pokynů, seznam povolených akcí v MCP, schvalování.

Oblast AIUC-1: Bezpečnost

2. Nepřímá prompt injection

Jak to testujeme: Pokyn schovaný v e-mailu, PDF nebo na webu, který agent čte. Testujeme na vašich typech dokumentů.

Co pomáhá: Označení nedůvěryhodného obsahu, žádné akce z obsahu dokumentu bez člověka.

Oblast AIUC-1: Bezpečnost

3. Únik osobních údajů

Jak to testujeme: Pokusy vytáhnout údaje jiných osob, interní dokumenty nebo systémové pokyny.

Co pomáhá: Minimalizace a pseudonymizace dat, role, filtr výstupů, DPIA.

Oblast AIUC-1: Data a soukromí

4. Nepovolená nebo nevratná akce

Jak to testujeme: Zkoušíme přimět agenta odeslat, smazat nebo změnit něco mimo rozsah.

Co pomáhá: Jen čtení jako výchozí stav, povolené akce na seznamu, nic nevratného bez člověka.

Oblast AIUC-1: Odpovědnost

5. Halucinace v odpovědi

Jak to testujeme: Sada kontrolních otázek se známou odpovědí; měříme podíl chyb a vymyšlených zdrojů.

Co pomáhá: Odpověď jen se zdroji, uklizená data, „nevím“ jako povolená odpověď.

Oblast AIUC-1: Spolehlivost

6. Odpověď mimo rozsah

Jak to testujeme: Právní rada, sliby za firmu nebo úřad, nevhodný obsah, témata mimo agendu.

Co pomáhá: Vymezení rozsahu, předávání na člověka, transparentnost (AI Act).

Oblast AIUC-1: Bezpečné výstupy

7. Chybí stopa: kdo, co, kdy

Jak to testujeme: Ověříme, jestli jde zpětně dohledat přístup, návrh a rozhodnutí.

Co pomáhá: Logy v MCP, osobní a odebratelné účty, doba uchování podle pravidel.

Oblast AIUC-1: Odpovědnost

8. Výpadek nebo tichá změna modelu

Jak to testujeme: Co se stane, když model nereaguje nebo se po aktualizaci chová jinak.

Co pomáhá: Záložní postup bez AI, retest po každé změně modelu, promptu nebo dat.

Oblast AIUC-1: Spolehlivost

9. Neférové nebo nevhodné zacházení

Jak to testujeme: Rozdílné odpovědi pro různé skupiny lidí, nevhodný tón vůči veřejnosti.

Co pomáhá: Testovací sada s variantami, lidská kontrola výstupů pro veřejnost.

Oblast AIUC-1: Společnost

Postup

Od inventáře po retest.

Testujeme v testovacím prostředí nebo s vaším souhlasem na kopii; nic neměníme v ostrém provozu.

01

Inventář a role

Jaké agenty máte, co čtou, co smí, kdo je dodavatel. Role podle AI Act (poskytovatel, zavádějící subjekt).

02

Testy útoků

Přímá a nepřímá prompt injection, únik dat, nepovolené akce, halucinace na kontrolních otázkách, odpovědi mimo rozsah.

03

Dokumentace

Zpráva pro vedení, mapování na AIUC-1, podklady pro DPIA, pověřence a pojistitele.

04

Plán nápravy a retest

Seřazený seznam úprav. Po nápravě ověříme, že díra je zavřená; po změně modelu nebo dat znovu.

Rozsah a cena

Tři úrovně auditu.

U agentů, které stavíme my, je audit agenta o 30 % levnější, protože dokumentace vzniká průběžně.

Rychlý sken

14 900 Kč pevně

1–2 týdny

  • 1 agent, asi 10,5 h práce: inventář agenta (~2 h), základní testy útoků: prompt injection, únik údajů, nepovolené akce (~6,5 h), krátká zpráva s nálezy (~2 h); roli podle AI Act a mapu rizik řeší Audit agenta

Audit agenta

79 000–119 000 Kč

3–5 týdnů

  • 1 agent: plné testy, dokumentace AI Act, AIUC-1 gap, podklad pro pojistitele, retest po nápravě

Průběžné retesty

9 000 Kč / měsíc

min. 6 měsíců · nebo 14 000 Kč za jednorázový retest

  • Měsíční regresní sada + čtvrtletní plný retest; nebo jednorázově po změně modelu, dat či pravidel

eacks není pojišťovna ani advokátní kancelář. Pojištění neprodáváme ani nezprostředkováváme, neudělujeme certifikát AIUC-1. Testujeme, dokumentujeme a pomáháme rizika snížit; žádný audit nezaručí, že agent nikdy neudělá chybu.

Časté otázky

Prompt injection a spol.

Co je prompt injection?

Útok, kdy agent dostane pokyn, který neměl poslechnout. Přímo (uživatel ho přemluví v chatu), nebo nepřímo: pokyn je schovaný v e-mailu, dokumentu nebo na webu, který agent čte. U agentů s nástroji (odeslat, uložit, smazat) je to hlavní riziko.

Testujete i agenta od jiného dodavatele?

Ano. Potřebujeme přístup do testovacího prostředí nebo souhlas k testům na kopii a kontakt na dodavatele pro opravy.

Co je AIUC-1?

Standard pro AI agenty se šesti oblastmi: data a soukromí, bezpečnost, bezpečné výstupy, spolehlivost, odpovědnost a společnost. Používáme ho jako mapu; certifikát neudělujeme.

Zajistí audit soulad s AI Act?

Ne sám o sobě. Dá podklady k povinnostem (lidský dohled, transparentnost, logy, AI gramotnost) a ukáže mezery. Právní výklad dělá právník.

Začněte rychlým skenem.

1–2 týdny, asi 10,5 h práce, pevná cena 14 900 Kč. Dozvíte se, kde je agent nejslabší a jestli má smysl plný audit.