HallucineringHallucination
När modellen genererar information som låter övertygande men är påhittad. Det mest missförstådda problemet med språkmodeller.
Hallucinering innebär att modellen genererar text som låter korrekt och övertygande, men som är helt eller delvis påhittad. Den "hittar på" med samma övertygelse som den anger fakta.
Varför det händer
En språkmodell förutsäger nästa token baserat på mönster. Den har ingen intern modell av "sant" och "falskt": den producerar text som ser ut som ett korrekt svar. Om den inte har tillräcklig information fyller den i luckorna med plausibla gissningar.
Vanliga former
- Påhittade källor. Refererar till artiklar eller böcker som inte existerar
- Felaktiga siffror. Anger statistik med hög precision men utan grund
- Blandad fakta. Kombinerar korrekt information på felaktiga sätt
- Självsäkra generaliseringar. Påstår saker med säkerhet trots osäkerhet
Hur agenter minskar risken
Det här är ett av de starkaste argumenten för agenter framför chatbotar. En agent med verktyg kan verifiera: slå upp i en databas, söka i filer, kontrollera mot ett register. En chatbot kan bara gissa.
I kombination med evals (systematisk testning) och guardrails (regler som begränsar agenten) kan hallucinering reduceras kraftigt, inte elimineras men hanteras.