Prompt engineering
Röviden
A prompt engineering a nyelvi modellnek adott utasítások (promptok) tudatos megtervezése, tesztelése és karbantartása annak érdekében, hogy a modell kimenete pontos, ellenőrizhető, megfelelő formátumú és ismételten is egyenletes minőségű legyen.
Egy jó prompt több elemből áll: rögzíti a modell szerepét, megadja a szükséges háttér-információt, pontosan leírja a feladatot, mintapéldákat mutat, előírja a kimenet formátumát (például strukturált JSON-t), és kimondja, mit nem szabad tennie. Éles rendszerben a prompt ugyanúgy a szoftver része, mint a programkód: verziókezelni, tesztelni és dokumentálni kell, mert egy apró módosítás is megváltoztathatja az eredményt.
Példa a gyakorlatból
Egy könyvelőiroda a beérkező ügyféllevelekből szeretné automatikusan kigyűjteni a kért teendőket és a határidőket. A prompt meghatározza a kategóriákat, minden kategóriához mintalevelet ad, és rögzített mezőkből álló kimenetet vár. Mielőtt élesbe kerül, a megoldást néhány száz korábbi levélen tesztelik, és csak akkor élesítik, ha a pontosság eléri az előre kitűzött szintet.
Mikor nem ez a jó választás?
A prompt nem pótolja a hiányzó tudást: ha a modell nem ismeri a cég termékeit vagy szabályait, azokat RAG-gal kell átadni. Ha a modell egy feladatra alapvetően alkalmatlan, a prompt csiszolása sem segít, ilyenkor más modell vagy más megközelítés kell. A nagyon hosszú promptok drágák és lassíthatják a választ, modellváltáskor pedig az összes promptot újra kell tesztelni.
Hogyan dolgozunk vele a Composite-nál?
A promptokat a kódbázisban, verziókezelve tartjuk, és minden módosítás után lefuttatjuk rajtuk a tesztpéldákat. Generatív tartalomgyártásra épülő platformra példa a New Gen Content.
Kapcsolódó fogalmak
- Nagy nyelvi modell (LLM)A nagy nyelvi modell (LLM, Large Language Model) óriási szövegmennyiségen tanított neurális hálózat, amely képes szöveget értelmezni, összefoglalni, fordítani és új szöveget létrehozni. Ismert példái a Claude, a GPT és a Gemini modellcsaládok.
- Finomhangolás (fine-tuning)A finomhangolás (fine-tuning) egy már betanított nyelvi modell továbbtanítása saját, célzott példákon, hogy egy szűk feladatban, például adott stílusban, kimeneti formátumban vagy szakterületen pontosabban és megbízhatóbban teljesítsen.
- HallucinációA hallucináció az a jelenség, amikor egy nyelvi modell magabiztos, hihetőnek tűnő, de valótlan vagy forrással alá nem támasztott állítást fogalmaz meg, például nem létező hivatkozást, számadatot vagy jogszabályhelyet.