Nagy nyelvi modell (LLM)
Röviden
A nagy nyelvi modell (LLM, Large Language Model) óriási szövegmennyiségen tanított neurális hálózat, amely képes szöveget értelmezni, összefoglalni, fordítani és új szöveget létrehozni. Ismert példái a Claude, a GPT és a Gemini modellcsaládok.
A nyelvi modell a tanítás során mintázatokat tanul meg a nyelvből, és ezek alapján újra és újra megjósolja, milyen szövegrész következik a legvalószínűbben. Ebből a látszólag egyszerű képességből lesz a szövegértés, az összefoglalás, a fordítás vagy a programkód írása. A modell tudása a tanítóadatok lezárásának időpontjánál megáll, és a cég belső adatait sem ismeri, hacsak azokat a kérdéssel együtt meg nem kapja. Egy modell egyszerre korlátozott mennyiségű szöveget tud figyelembe venni, ezt nevezik kontextusablaknak.
Példa a gyakorlatból
Egy szolgáltató cég ügyfélszolgálatára naponta több száz levél érkezik. A nyelvi modell minden levelet besorol (reklamáció, számlázási kérdés, időpontkérés), kiemeli a sürgős eseteket, és a cég hangnemében megírja a válasz tervezetét, amelyet a munkatárs átnéz és elküld.
Mikor nem ez a jó választás?
A nyelvi modell nem adatbázis és nem számológép. Pontos számításra, könyvelési tételek összesítésére vagy szabályok kötelező betartatására a hagyományos program megbízhatóbb. A modell tévedhet, ezért ahol a pontosság kritikus, forrásra hivatkozó megoldás (RAG) és emberi ellenőrzés kell mellé. Személyes vagy üzleti titkot tartalmazó adatoknál fontos, melyik szolgáltató, milyen szerződési feltételekkel és hol dolgozza fel az adatokat.
Hogyan dolgozunk vele a Composite-nál?
A modellt a feladathoz választjuk: a pontosság, a magyar nyelvi teljesítmény, a költség és az adatkezelési feltételek alapján. Egy rendszeren belül gyakran több modellt is használunk, a nehezebb feladatokra erősebbet, a tömeges, egyszerű lépésekre olcsóbbat.
Kapcsolódó fogalmak
- RAG (Retrieval-Augmented Generation)A RAG (Retrieval-Augmented Generation) olyan módszer, amelyben a nyelvi modell a válasz megírása előtt kikeresi a releváns részeket a cég saját dokumentumaiból, és ezekre támaszkodva, forrásmegjelöléssel válaszol, a modell újratanítása nélkül.
- HallucinációA hallucináció az a jelenség, amikor egy nyelvi modell magabiztos, hihetőnek tűnő, de valótlan vagy forrással alá nem támasztott állítást fogalmaz meg, például nem létező hivatkozást, számadatot vagy jogszabályhelyet.
- Finomhangolás (fine-tuning)A finomhangolás (fine-tuning) egy már betanított nyelvi modell továbbtanítása saját, célzott példákon, hogy egy szűk feladatban, például adott stílusban, kimeneti formátumban vagy szakterületen pontosabban és megbízhatóbban teljesítsen.
- Prompt engineeringA prompt engineering a nyelvi modellnek adott utasítások (promptok) tudatos megtervezése, tesztelése és karbantartása annak érdekében, hogy a modell kimenete pontos, ellenőrizhető, megfelelő formátumú és ismételten is egyenletes minőségű legyen.