Hur ändrar man ett verktyg utan att bryta de agenter som använder det?
Gustav Brochmann
Ett verktyg som en AI-agent använder ändras tryggast genom att ni lägger till i stället för att ändra eller ta bort: nya fält ska vara valfria, nya namn ska ligga bredvid de gamla och betydelsen av ett befintligt fält ska aldrig ändras. Kör testuppsättningen före och efter, släpp ändringen till en liten grupp först, markera det gamla som utgående och håll verktygen i ett enda register.
Verktygen är ett åtagande
När en agent har börjat använda ett verktyg finns det saker som beror på det: instruktioner, rutiner, kanske andra agenter och användares vanor. Ändrar ni verktyget utan eftertanke går något sönder, ofta utan att något felmeddelande syns. Agenten börjar bara välja annorlunda, eller fylla i fel. Här är hur ni ändrar verktyg på ett kontrollerat sätt.
Fem sorters ändringar, med olika risk
1. Ändra beskrivningen
Modellen väljer verktyg utifrån beskrivningen, så även en liten omformulering kan ändra beteendet. Det är ofta bra, om beskrivningen var otydlig, men ändringen ska testas. Se Hur ser ett bra MCP-verktyg ut?.
Risk: måttlig. Resultat: ändrat urval.
2. Lägga till ett valfritt fält
Ett nytt fält som inte är obligatoriskt påverkar inte det som redan fungerar. Beskriv det väl, så att modellen vet när det ska användas.
Risk: låg.
3. Byta namn på ett verktyg
Namnet är hur modellen och era instruktioner hänvisar till verktyget. Ett nytt namn betyder att allt som nämner det gamla slutar fungera.
Risk: hög. Lägg hellre till ett nytt verktyg och låt det gamla leva en tid.
4. Ändra vad ett fält betyder
Om ”belopp” plötsligt ska anges i kronor i stället för ören blir resultatet fel utan att något ser fel ut. Ändra aldrig betydelsen av ett befintligt fält. Skapa ett nytt.
Risk: mycket hög, eftersom felet är tyst.
5. Ändra klassningen från läsning till skrivning
Då gäller andra regler: godkännande, logg och behörighet. Se Hur låter man en AI-agent uppdatera ett CRM utan att den förstör något?. Ett verktyg som tidigare bara läste och nu skriver bör behandlas som ett nytt verktyg, inklusive ny granskning.
Risk: hög.
En fungerande ordning
- Skriv ned ändringen och varför. En mening räcker.
- Lägg till, ta inte bort. Behåll det gamla tills det nya är beprövat.
- Kör testuppsättningen. Samma uppgifter som före, och några nya för ändringen. Se Hur testar man en AI-agent innan den får arbeta på riktigt?.
- Släpp till en liten grupp först. Låt några användare prova och titta i loggen och godkännandekön. Se Så planerar ni en avgränsad AI-pilot.
- Markera det gamla som utgående. Skriv i beskrivningen att det inte ska användas och vad som ersätter det.
- Ta bort det när det inte används längre. Kontrollera i loggen att ingen anropar det.
Håll ett enda register
Ni ska ha en plats där verktygen definieras, med namn, beskrivning, indata och klassning. Det som definieras på flera ställen ändras olika på olika ställen.
Berätta för användarna
Om ett verktyg ändras på ett sätt som syns, till exempel att något numera köas i stället för att gå direkt, ska den som använder agenten få veta det. Annars uppfattas det som ett fel. Se Hur ser en godkännandekö ut som människor orkar läsa?.
När något går fel efter en ändring
Titta i loggen efter vilket verktyg som anropades och med vilka indata, och jämför med före ändringen. Stegen finns i Agenten gjorde fel – hur tar man reda på varför?.
Kontrollfrågor
- Vilka instruktioner och rutiner hänvisar till det här verktyget?
- Är ändringen ett tillägg eller en ändring av något befintligt?
- Har vi kört testuppsättningen före och efter?
- Går det att backa?
Vill ni ha hjälp att organisera verktygen så att de går att förändra tryggt? Hör av er.