Solution criteriaSolution Criteria

Solution criteria är specifika påståenden om vad ett enskilt eval-case kräver för att räknas som godkänt, placerade i datasetet och inte i grader-prompten. De är facit per case.

Problemet de löser

En model grader som ombeds bedöma "är detta en bra output?" driftar mot 5–7 av 10. Modellen har inget att förankra bedömningen mot: den måste själv hitta på vilka kriterier som spelar roll. Två körningar mot samma data kan ge olika scores eftersom gradern vägt kriterier olika mellan körningarna.

Genom att flytta bedömningskriterierna in i varje test case ({task, format, solution_criteria}) får gradern konkreta påståenden att checka mot. En måltidsplan för en marathon-löpare har andra kriterier (kolhydratrik, järn-källor, B12) än en plan för en styrkelyftare (högt protein, energiöverskott). Generella grader-instruktioner kan inte fånga den skillnaden.

Mandatory vs secondary

Solution criteria delas ofta in i två lager:

• Sekundära (solution_criteria per case): varierar mellan cases, tas in i grader-prompten som ankarpunkter.
• Obligatoriska (extra_criteria gemensamma): icke-förhandlingsbara krav vars brott automatiskt ger score ≤3 (t.ex. "outputen måste vara giltig JSON" eller "alla restriktioner i profilen måste respekteras").

Tillsammans med eval-pipelinens scoring brackets (1–3 fail / 4–6 partial / 7–8 mostly / 9–10 ideal) ger detta en kalibrerad grader som producerar konsekventa scores. Det är det som gör prompt-iteration meningsfull över tid.