GuardrailsGuardrails

Guardrails är regler och mekanismer som begränsar vad en agent får göra. De är säkerhetsnätet som fångar farliga, kostsamma eller otillåtna handlingar innan de utförs.

Typer av guardrails

Verktygsrestriktioner. Vilka verktyg agenten har tillgång till, och med vilka parametrar. En agent som kan läsa filer behöver kanske inte kunna radera dem.

Godkännandeflöden. Vissa handlingar kräver mänsklig bekräftelse. Filskrivning, externa API-anrop, destruktiva kommandon.

Nätverksisolering. Begränsa vilka system agenten kan nå. En agent som arbetar med intern data behöver kanske inte internetåtkomst.

Inputvalidering. Kontrollera att agentens verktygsanrop är rimliga innan de exekveras. Skyddar mot prompt-injection.

Human-in-the-loop

Den vanligaste guardrail-strategin: en människa som godkänner eller avvisar agentens föreslagna handlingar. Graden av autonomi kan ställas in i harnessen: från "fråga alltid" till "fråga bara vid destruktiva handlingar" till "full autonomi".

I praktiken

I ett kundprojekt med fakturakontroll hittade vi under säkerhetsgranskningar SSRF-risker och auth-brister. Guardrails, i form av inputvalidering och exakt path-matchning, var skillnaden mellan en sårbar och en säker agent.