EvalsEvaluations (Evals)
Systematisk testning av en agentlösning i sin helhet: hela kedjans prestation i en specifik domän, inte modellens generella förmåga.
Evals (evaluations) är domänspecifik testning av en hel agentlösning, från input till output. Till skillnad från LLM-benchmarks (som mäter modellens generella förmåga) mäter evals om din agent gör rätt i din domän.
Varför det är svårare än det låter
Tre problem dyker upp omedelbart:
- Facit-problemet. I många domäner finns inget entydigt rätt svar
- Tolerans-problemet. Hur mycket får agenten avvika?
- Input-problemet. Beror felet på agenten eller på hur den tolkade data?
Eval-mognadstrappan
Manuell grading → Semi-automatiserad → Helautomatiserad
"Ser det rätt ut?" "Extrahera och jämför" "Pipeline mot facit"
De flesta börjar med manuell grading och det är rätt. Semi-automatiserad med toleranser per fält är sweet spot.
Antagandedivergens
Det mest värdefulla eval-resultatet är ofta inte "agenten har fel" utan insikter om fall där agenten och experten gör olika men giltiga val. Varje sådant fall driver en diskussion om vad "rätt" egentligen innebär i domänen.
Facit-frågan avgör strategin
| Facit-typ | Strategi |
|---|---|
| Deterministiskt facit finns | Automatiserad jämförelse med toleranser |
| Expertkunskap varierar | Konsensusprocess → referenscase |
| Inget facit möjligt | A/B-varianter + trace + mänsklig granskning |
Fördjupning
- agent-evals-i-praktiken — Fullständig genomgång med tre kundprojekt
- eval-driven-prompt-engineering — Hur eval-pipelinen styr prompt-iteration mätbart
- solution-criteria-i-prompt-iteration — Fördjupning i grading-mekaniken som gör iterationen ärlig