Hur hanterar man att AI hittar på saker i affärsflöden?

Vad en hallucination är

En AI-modell formulerar text som låter rimlig. Ibland är den rimliga texten fel: ett belopp som inte stod någonstans, ett möte som aldrig hölls, en kontaktperson som inte finns. Det kallas att modellen hallucinerar, och det beror inte på ett fel som kan rättas en gång för alla. Det följer av hur modellerna fungerar. Frågan för ett bolag är därför inte hur ni undviker det helt, utan hur flödet är byggt så att ett fel inte får konsekvenser.

Var det är farligt, och var det inte är det

• Låg risk: utkast som en människa läser, sammanfattningar där originalet finns att kontrollera, förslag som kan avslås.
• Hög risk: siffror som förs in utan kontroll, ändringar av befintlig data, svar till kunder som skickas automatiskt, och allt som rör pengar eller avtal.

Samma modell kan vara ofarlig i ett flöde och farlig i ett annat. Det är flödet som avgör, inte modellen.

Sju sätt att minska risken

1. Låt modellen läsa sina källor, inte minnas

Ett svar som bygger på text som hämtats ur era egna dokument är mer pålitligt än ett som bygger på vad modellen ”vet”. Se Vad är RAG? och Prompt eller verktyg.

2. Kräv källhänvisning

Varje uppgift i svaret ska peka på var den kommer ifrån. Saknas källan ska användaren se det. Det gör att en människa kan kontrollera på några sekunder.

3. Låt den säga ”det vet jag inte”

Instruera agenten att svara att underlag saknas i stället för att gissa, och testa att den gör det. Se Hur skriver man en kravspecifikation för en AI-agent?.

4. Hämta fakta ur system, räkna i kod

Ett belopp ska komma från en databasfråga, inte från modellens huvudräkning. Låt modellen välja vilket verktyg som ska användas och låt verktyget leverera siffran. Se Hur ser ett bra MCP-verktyg ut? och När räcker vanliga regler, och när behövs AI?.

5. Låt en människa godkänna det som ändrar befintligt

En felaktig ändring som stoppas i en kö är ett småproblem. En som går igenom är ett större. Se Hur ser en godkännandekö ut som människor orkar läsa?.

6. Testa med frågor där svaret saknas

En testuppsättning som bara innehåller frågor med svar visar inte hur agenten beter sig när underlag saknas. Lägg till sådana fall. Se Hur testar man en AI-agent innan den får arbeta på riktigt?.

7. Följ upp felen

Samla de fel som upptäcks, och titta på mönstren. Ofta pekar de på ett vagt verktyg eller dålig data snarare än på modellen. Se Agenten gjorde fel – hur tar man reda på varför? och Hur förbereder man sin data för AI?.

Tre varningstecken

• Svaret är mer detaljerat än underlaget.
• Det saknar källa, men låter säkert.
• Siffror som inte går att hitta i något system.

Vad ni inte ska göra

Lita inte på instruktionen ”hitta inte på något” som enda skydd. Den hjälper, men inte alltid. Skyddet ska ligga i flödet: källor, kontroll och godkännande. Det är samma princip som för andra risker med agenter, se Vad är prompt injection?.

Fråga er själva

• Vad är det värsta som händer om ett svar här är fel?
• Hur snabbt upptäcker vi det?
• Vem ser det före en kund gör det?

Vill ni ha hjälp att bygga flöden där fel stoppas i tid? Hör av er.