Hopp til hovedinnhold
d.
Automatisering

Tokens

Grunnenheten AI bruker for å behandle tekst – ca. 4 tegn eller ¾ av et ord på engelsk.

Oppdatert: 2026-01

Hva er tokens?

Tokens er de grunnleggende enhetene som språkmodeller bruker for å prosessere tekst. En token er typisk:

  • Et kort ord ("the", "er")
  • Del av et lengre ord ("un-" + "believ-" + "able")
  • Tegn eller mellomrom

På engelsk ≈ 1 token per 4 tegn eller ¾ ord. På norsk brukes ofte flere tokens per ord.

Hvorfor er det viktig?

Tokens påvirker:

  • Pris: API-er prises per token
  • Kontekstvindu: Max antall tokens modellen kan håndtere
  • Responstid: Flere tokens = tregere

GPT-4 koster ca. $0.03/1000 tokens. Et dokument på 1000 ord ≈ 1300-1500 tokens.

Hvordan bruke det?

  1. Estimer kostnad: Tokens × pris = kostnad
  2. Optimaliser prompts: Kortere prompts = billigere
  3. Sjekk grenser: Modeller har token-grenser
  4. Bruk tokenizers: OpenAIs tiktoken for nøyaktig telling
  5. Vær bevisst på norsk: Norsk tekst bruker flere tokens
Tilbake til ordlisten
SynlighetKonverteringOpplevelseTeknologiAutomatiseringInfrastruktur