TracingTracing / Observability
Förmågan att följa agentens resonemang steg för steg: vilka verktyg den anropade, vad den tänkte, och varför den tog ett visst beslut.
Tracing innebär att varje steg i agentens arbete loggas: vad den tänkte, vilka verktyg den anropade, vad som returnerades, och hur lång tid det tog. Det är agentens "svarta låda".
Varför det behövs
En agent som ger fel svar ger sällan tydliga felmeddelanden. Utan tracing vet du bara att svaret var fel, inte varför. Med tracing kan du följa resonemangskedjan och identifiera exakt var det gick snett.
Vad en trace innehåller
- Thinking. Modellens interna resonemang
- Verktygsanrop. Vilka verktyg som anropades, med vilka parametrar
- Verktygsresultat. Vad som returnerades
- Tidsstämplar. Hur lång tid varje steg tog
- Token-användning. Kostnad per steg
I praktiken
I ett fakturakontrollprojekt exporterade vi traces som markdown och analyserade mönster: varför misslyckades agenten på en viss faktura? Analysen visade att agenten aldrig sökte på ett specifikt fält, en insikt som ledde till en ny instruktionsvariant som sänkte kostnaden per körning från $1.20 till $0.30.
Fördjupning
- agent-evals-i-praktiken — Tracing som grund för eval-analys