TokenToken
Grundenheten som språkmodeller arbetar med: varje ord, siffra och tecken bryts ner till tokens innan modellen bearbetar dem.
En token är den minsta enheten som en språkmodell arbetar med. Innan text når modellen bryts den ner i tokens: bitar som ungefär motsvarar 0,75 ord på engelska (svenska ord är ofta längre och kräver fler tokens).
Varför det spelar roll
Allt i agentvärlden mäts i tokens:
- Kostnad. Du betalar per token, både in och ut
- Kontextfönster. Begränsningen uttrycks i tokens (t.ex. 200 000)
- Hastighet. Modellen genererar ett visst antal tokens per sekund
Tumregler
- 1 token ≈ 4 tecken på engelska, ≈ 3 tecken på svenska
- 1 000 tokens ≈ 750 engelska ord
- En A4-sida text ≈ 500–800 tokens
- Kod tenderar att kräva fler tokens per rad än löptext
Vad det innebär i praktiken
När en agent ska läsa en stor fil "kostar" det tokens ur kontextfönstret. En 50-sidig PDF kan ta 25 000–40 000 tokens, en betydande del av ett 200 000-tokens fönster. Därför arbetar moderna agentverktyg med selektiv laddning: läs bara de sidor som behövs, inte hela dokumentet.