Problemet med hallucinationer består, trots stora framsteg inom AI. Frågan är om opålitligheten riskerar att bromsa AI-företagen – eller om användarna helt enkelt måste lära sig leva med felen.
När stora språkmodeller som Chat GPT, Gemini och Claude ger ett felaktigt svar kallas det populärt AI-hallucinationer.
– Hallucinationer är ett påtagligt problem även med de bästa modellerna, och redan några procent felaktiga svar är för mycket i branscher som medicin, juridik och finans, säger Eva Nahari, produktchef på AI- och teknikbolaget Vectara i Silicon Valley.
"Företag drar sig från att använda AI"
Ett tecken på problemets allvar är det växande antalet rättsfall i USA mot advokater, konsulter och andra som låtit sig luras av AI-modellernas hallucinationer. Även Google och Open AI har i olika mål krävts på skadestånd.
Frågan är om hallucinationerna är så allvarliga att de kan bromsa hela AI-utbyggnaden. För om kunderna inte litar på modellerna, vad händer då med efterfrågan på nya produkter?
– Riskerna om hallucinationerna inte minskar är att företag, särskilt i hårt reglerade sektorer, drar sig för att använda AI i kritiska processer av rädsla för fel, sanktioner och skador på varumärket, säger Eva Nahari.
Det finns också en påtaglig risk för skador, påpekar hon, om en AI-modell används för att till exempel tolka en produktbeskrivning eller säkerhetsföreskrifter.
Men även om såväl små oberoende företag som Vectara som stora AI-bolag som Open AI, Google och Meta lägger ner mängder av resurser på att minska hallucinationer så verkar få tro att det går att stoppa dem helt.
I Open AI:s podcast i somras sade också företagets vd Sam Altman något som fick många att höja på ögonbrynen:
”Människor har ett mycket stort förtroende för Chat GPT, vilket är intressant eftersom AI ju hallucinerar.”
Sam Altman säger det i förbifarten, som del av en diskussion om att erbjuda annonser. Men uttalandet har plockats upp som ”problemet Open AI inte vill prata om”: att AI är en teknik vi inte kan – eller bör – lita fullt ut på. Andra menar att Sam Altman pekar på något annat: användarnas benägenhet att tro att allt AI säger är sant.
Professor Ahmed Banafa på San José State University i Kalifornien säger att den okritiska tilliten kanske till och med är värre än själva hallucinationerna.
– Ju mer kapabla modellerna blir, desto mer tenderar människor att slå av sitt eget kritiska tänkande, säger han.
Hittar på falska rättfall inför domstol
Den okritiska tilliten har börjat bli ett problem i flera professioner och branscher. Den amerikanska advokatbyrån Morgan & Morgan skickade tidigare i år, enligt Reuters, ut ett brådskande mejl till sina anställda. I mejlet varnas juristerna för att AI kan hitta på falska rättsfall och att användning av sådant material i en domstol kan få allvarliga konsekvenser.
Bakgrunden var att en federal domare i Wyoming hotat att sanktionera två av byråns advokater. De hade lämnat in en stämningsansökan mot Walmart där flera citerade rättsfall inte existerade. En av advokaterna erkände att han använt ett AI-verktyg som ”hallucinerade” fallen.
Google begär att en domstol i Delaware avvisar influencern Robby Starbucks stämning. Han hävdar att Googles AI-system förtalade honom genom att kalla honom saker som ”child rapist” och ”serial sexual abuser”.
Google säger att Robby Starbuck medvetet fick AI-verktygen att ”hallucinera” fram de påstådda uttalandena och att stämningen inte nämner någon som faktiskt blivit vilseledd.
Robby Starbuck stämde även Meta tidigare i år, men den tvisten har sedan dess förlikats.
Efter att det uppdagats att en rapport som Australiens arbetsmarknadsdepartement beställt av Deloitte innehöll åtskilliga fel valde konsultbolaget, enligt The Guardian, att betala tillbaka delar av arvodet. Deloitte erkände att generativ AI hade använts, och uppdaterade rapporten. Kritiker menar att hela rapporten borde ha kasserats. En politiker anklagade konsultbolaget för att ha problem med ”mänsklig intelligens”.
Open AI uppdaterade nyligen sina villkor med en tydlig varning för att använda Chat GPT i yrken som kräver certifiering. Modellen kan fortfarande ge information, men svaren får inte användas som professionell rådgivning
Då generas felaktiga svar
Generativ AI bygger på stora språkmodeller som tränas på enorma mängder text för att lära sig språkmönster och förutsäga vilket ord som kommer härnäst. Det innebär att modellen inte ”vet” fakta, utan gör avancerade gissningar. När den saknar tillräcklig eller korrekt information kan den ändå skapa svar som låter rimliga men som är felaktiga eller helt påhittade.
– Modellen sätter ihop riktiga delar på fel sätt eller skapar sådant som inte finns i underlaget, säger Eva Nahari.
Samma mekanism gör att AI:n kan generera allt från ny text till musik och bilder, egenskaper som uppskattas och används av många.
Även mer avancerade system, som använder metoder för att slå upp information i dokument eller databaser, kan hallucinera. Det händer när modellen hämtar fel uppgifter eller feltolkar det som faktiskt står, och blandar ihop eller lägger till sådant som inte finns där.
Sammanfattningsvis: generativ AI är en kraftfull och kreativ teknik, men eftersom den bygger på sannolikhetsberäkningar snarare än verklig förståelse kan den leverera övertygande men felaktiga svar.
"Vi ser vad som kommer ut, men inte exakt varför"
Det pratas också om de oförklarliga hallucinationerna, något som nästan är lite mystiskt.
Professor Ahmed Banafa liknar modellerna vid svarta lådor.
– Vi ser vad som kommer ut, men inte exakt varför. Även om vi vet hur modellerna tränas kan vi sällan förklara varför just en viss del av modellen skapade ett felaktigt svar, säger Ahmed Banafa.
Har det blivit bättre eller sämre?
– De nya reasoningmodellerna gör tyvärr problemet större. De är byggda för att vara mer kreativa och arbeta över större datamängder, vilket ökar risken för påhittade svar, säger Eva Nahari.
För att komma åt hallucinationerna tränar Open AI, Google och andra sina modeller på större och mer kontrollerade datamängder. De använder också nya tekniker som låter en AI granska och korrigera en annan AI:s svar innan det når användaren.
Både Google och Open AI satsar också på RAG-teknik (retrieval-augmented generation), där modellen får stöd av faktiska dokument för att kontrollera svaren. Detta ger modellen mindre utrymme att ”hitta på”. Men hallucinationer kan fortfarande hända.
Dessutom testar flera bolag system som stoppar modellen när den är osäker. Men, då är risken att den kreativa förmågan hotas.
RAG och RIG ska stoppa hallucinationer
RAG (retrieval-augmented generation) kopplar ihop stora språkmodeller med externa fakta. I stället för att bara använda sina träningsdata hämtar modellen först information från en databas och bygger svaret utifrån både det materialet och sin egen språkförmåga. Målet är att minska hallucinationer och ge mer korrekta svar.
RIG (retrieval interleaved generation) går ett steg längre. Här vägs den hämtade informationen in redan när modellen börjar formulera sitt svar, i stället för att sökning och generering sker var för sig. Det ska ge ännu färre fel och mer precisa svar i frågor som kräver hög noggrannhet.
Flera mindre fristående bolag har utvecklat egna metoder för att stoppa hallucinationer.
Även Vectaras plattform bygger på RAG.
Hur skiljer sig Vectaras plattform från de metoder Google och Open AI använder?
– Vi har byggt ut vår plattform med agenter som kan arbeta både mot företagens egna data och externa källor, säger Eva Nahari.
Men eftersom agenter inte bara besvarar frågor utan också kan utföra uppgifter finns en risk att fel förstärks i kedjor av agenter. Vectara har därför lagt till en mekanism som granskar agenternas planer i förväg och stoppar misstag innan de sker.