Checklista för AI-evaluering (evals)

# AI-evaluering – checklista och testprotokoll

Lösning: [Namn på AI-funktion]
Ägare: [Roll]
Modell/version: [t.ex. leverantör + modellnamn + datum]
Datum: [ÅÅÅÅ-MM-DD]
Version: 1.0

## 1. Syfte och kravbild
[ ] Användningsfall och målgrupp är beskrivna i en mening.
[ ] Vad som räknas som ett korrekt svar är definierat med exempel.
[ ] Oacceptabla fel är listade (t.ex. felaktig prisuppgift, juridiskt råd, persondata i svar).
[ ] Kostnads- och latenstak per ärende är satta.

## 2. Testset (evalset)
[ ] Minst [100-300] testfall är samlade från verklig data eller realistiska scenarier.
[ ] Facit (förväntat svar eller bedömningskriterier) finns per testfall.
[ ] Kantfall ingår: tvetydiga frågor, saknad information, felstavningar, långa inputs.
[ ] Fall där systemet ska vägra eller eskalera ingår.
[ ] Testsetet är versionshanterat och separerat från utvecklingsdata.
[ ] Persondata i testsetet är pseudonymiserad eller borttagen.

## 3. Mätvärden och resultat
| Mätvärde | Mål | Utfall | Kommentar |
| --- | --- | --- | --- |
| Andel korrekta svar | [>= 90 %] | [ ] | |
| Andel svar med korrekt källa | [>= 95 %] | [ ] | |
| Andel hallucinationer | [<= 2 %] | [ ] | |
| Andel korrekta vägranden | [>= 95 %] | [ ] | |
| Median-latens | [< 4 s] | [ ] | |
| Kostnad per ärende | [< X kr] | [ ] | |

[ ] Bedömning görs av minst två personer, eller av modell + mänsklig stickprovskontroll.
[ ] Bedömningsskalan är dokumenterad (t.ex. 1–5 med definitioner).

## 4. Hallucinationer och grundning
[ ] Systemet anger källa när svaret bygger på dokument.
[ ] Systemet svarar "vet inte" när underlag saknas – testat med [X] fall.
[ ] Felaktiga påståenden loggas och kategoriseras efter orsak.

## 5. Bias och rättvisa
[ ] Relevanta grupper för användningsfallet är identifierade.
[ ] Utfall jämförs mellan grupper där det är relevant och lagligt.
[ ] Skillnader dokumenteras med åtgärd eller motivering.
[ ] Vid högrisk enligt EU AI Act: resultatet bifogas den tekniska dokumentationen.

## 6. Säkerhet och robusthet
[ ] Promptinjektion är testad (i användarinput och i inhämtade dokument).
[ ] Systemet läcker inte systemprompt, nycklar eller andra kunders data.
[ ] Känsliga och olämpliga ämnen hanteras enligt policy.
[ ] Verktygs- och API-anrop begränsas till godkända åtgärder.
[ ] Beteende vid modellfel, timeout och nedtid är definierat.

## 7. Regression
[ ] Baslinjeresultat är sparat med datum, modellversion och prompt-version.
[ ] Evalset körs om vid varje ändring av prompt, modell, data eller verktyg.
[ ] Försämring över [X] procentenheter blockerar release.
[ ] Historik över körningar sparas och är tillgänglig för granskning.

## 8. Godkännande och drift
[ ] Release-kriterier är uppfyllda och dokumenterade.
[ ] Godkännande av [Roll] finns skriftligt.
[ ] Loggning i produktion är påslagen (input, output, källor, feedback).
[ ] Användare kan flagga felaktiga svar och flaggningar följs upp.
[ ] Stickprov görs [veckovis/månadsvis] i produktion.
[ ] Nästa fullständiga eval är inbokad: [datum]

Beslut: [ ] Godkänd för produktion  [ ] Godkänd med begränsningar  [ ] Ej godkänd
Motivering: [Fritext]

• Ett versionshanterat testset med facit — inte ad hoc-frågor i en chatt.
• Minst ett mätvärde för korrekthet och ett för hallucinationer.
• Fall där systemet ska vägra svara.
• Promptinjektionstest innan lansering.
• Sparad baslinje att jämföra mot vid modellbyte.
• Skriftligt godkännande från en namngiven ansvarig.
• Loggning och feedbackknapp i produktion.
• Inbokad återkommande omkörning av evalset.