Hallucináció
Röviden
A hallucináció az a jelenség, amikor egy nyelvi modell magabiztos, hihetőnek tűnő, de valótlan vagy forrással alá nem támasztott állítást fogalmaz meg, például nem létező hivatkozást, számadatot vagy jogszabályhelyet.
A hallucináció abból fakad, hogy a nyelvi modell valószínű szöveget állít elő, nem pedig ellenőrzött tényeket keres vissza. Ha a kérdésre nincs pontos információja, gyakran akkor is gördülékeny, meggyőző választ ad. A kockázat csökkenthető: a RAG forrásokhoz köti a választ, az utasítás előírhatja, hogy forrás hiányában a modell jelezze, ha nem tudja a választ, a számokat a forrásrendszerből lehet ellenőrizni, a kritikus lépéseknél pedig ember hagy jóvá.
Példa a gyakorlatból
Egy webáruház chatbotjától egy vásárló a garancia időtartamáról kérdez. Forrás nélkül a modell egy általánosan jellemző értéket mondhat, amely nem egyezik a cég valós feltételeivel. Ha a chatbot az általános szerződési feltételekből dolgozik és hivatkozik is rájuk, a válasz ellenőrizhető, és a cég nem vállal olyat, amit nem akart.
Mire nem elég a védekezés?
A hallucináció teljesen nem zárható ki, csak ritkítható és kezelhető. Jogi, egészségügyi vagy pénzügyi döntést előkészítő folyamatban ezért az emberi ellenőrzés nem hagyható el. Ha egy folyamatban egyetlen hiba is elfogadhatatlan, és nincs mód ellenőrzésre, ott nyelvi modell helyett szabályalapú megoldás kell.
Hogyan dolgozunk vele a Composite-nál?
A válaszoknak forrást kell megjelölniük, és ha a rendszer nem talál forrást, ezt jelzi találgatás helyett. A ténybeli pontosságot tesztkérdés-készlettel mérjük, és a mérést minden modell- vagy promptváltás után megismételjük.
Kapcsolódó fogalmak
- RAG (Retrieval-Augmented Generation)A RAG (Retrieval-Augmented Generation) olyan módszer, amelyben a nyelvi modell a válasz megírása előtt kikeresi a releváns részeket a cég saját dokumentumaiból, és ezekre támaszkodva, forrásmegjelöléssel válaszol, a modell újratanítása nélkül.
- Human-in-the-loop (emberi jóváhagyás)A human-in-the-loop olyan munkafolyamat-kialakítás, amelyben az AI előkészíti a munkát vagy javaslatot tesz, de a kritikus lépéseknél, például küldés, fizetés vagy szerződéskötés előtt, egy felelős ember ellenőriz és hagy jóvá.
- Nagy nyelvi modell (LLM)A nagy nyelvi modell (LLM, Large Language Model) óriási szövegmennyiségen tanított neurális hálózat, amely képes szöveget értelmezni, összefoglalni, fordítani és új szöveget létrehozni. Ismert példái a Claude, a GPT és a Gemini modellcsaládok.