Hogyan ellenőrizd az AI válaszát? A hallucináció felismerése

Az AI-csevegők egyik legfurcsább tulajdonsága, hogy a téves állítást ugyanolyan gördülékenyen és magabiztosan írják le, mint a helyeset. Ezt nevezik hallucinációnak: a modell olyan adatot, idézetet vagy forrást közöl, amely hihetően hangzik, de nem létezik vagy nem igaz.

Ez nem ritka üzemzavar, hanem a működésből következik. A modell nem adatbázisból keres, hanem a legvalószínűbb folytatást írja meg. Ha nincs meg a tudása valamiről, a „valószínűnek hangzó” szöveg akkor is megszületik.

Hol a legnagyobb a kockázat?

Nem minden válasz egyformán veszélyes. Ezekre a területekre figyelj leginkább:

• Pontos számok és dátumok: árak, statisztikák, határidők, évszámok.
• Források és idézetek: cikkek címe, szerzők, oldalszámok, szó szerinti idézetek.
• Friss események: minden, ami a közelmúltban változott.
• Helyi tudás: magyar jogszabályok, hivatali eljárások, kisebb cégek, települések.
• Szűk szakterületek: ahol kevés a nyilvános szöveg, a modell többet találgat.
• Számolás: hosszabb műveletsoroknál előfordul elírás vagy rossz részeredmény.

Kisebb a kockázat ott, ahol a modell a tőled kapott szöveggel dolgozik: összefoglal, átfogalmaz, rendszerez. Itt is hibázhat, de van mihez visszanézned.

Öt gyors ellenőrzési módszer

1. Kérj szó szerinti idézetet a forrásból

Ha dokumentumot adtál meg, kérd: „minden állítás mellé idézd azt a mondatot, amelyre támaszkodsz”. Amihez nem tud idézetet adni, azt valószínűleg hozzátette.

2. Válasszátok szét a tényt és a következtetést

Kérd meg, hogy három csoportba sorolja az állításait: szerepel a megadott anyagban, abból következik, vagy saját feltevés. A harmadik csoportot kezeld gyanúval.

3. Kérdezz rá más szavakkal

Tedd fel ugyanazt a kérdést egy új beszélgetésben, másképp megfogalmazva. Ha a két válasz ellentmond egymásnak a lényeges ponton, egyikben sem bízhatsz meg ellenőrzés nélkül.

4. Ellenőrizd azt az egy adatot, amin a döntés múlik

Nem kell mindent visszakeresni. Keresd meg azt a két-három állítást, amelyre építeni fogsz, és azokat nézd meg az eredeti forrásban: a hivatal honlapján, a szerződésben, a tankönyvben.

5. A számokat számold újra

Összeget, százalékot, átlagot táblázatkezelővel vagy számológéppel ellenőrizz. A modellt megkérheted, hogy mutassa a számítás lépéseit, így gyorsabban megtalálod a hibát.

Árulkodó jelek

Néhány jel, amelynél érdemes megállni:

• Túl kerek vagy túl pontos szám forrás nélkül („a felhasználók 73,4 százaléka”).
• Forrás, amelynek nincs elérhető linkje, vagy a link nem oda vezet.
• A válasz pontosan azt igazolja, amit a kérdésed sugallt.
• Részletgazdag leírás valamiről, amiről alig lehet nyilvános információ.

Mit kérhetsz előre?

A hallucinációt megelőzni könnyebb, mint utólag megtalálni. Ezek a mondatok sokat segítenek a prompt végén:

Csak a megadott anyagból dolgozz. Ha valami nem derül ki belőle, írd azt, hogy nem derül ki, és ne pótold.

Ne adj meg forrást, szerzőt vagy idézetet fejből.

Mennyi ellenőrzés kell?

Annyi, amekkora a tét. Egy születésnapi köszöntőnél elég elolvasni. Egy ügyfélnek küldött ajánlatnál a számokat és az ígéreteket ellenőrizd. Jogi, egészségügyi és pénzügyi kérdésben az AI válasza kiindulópont, amelyet szakemberrel vagy hivatalos forrással kell megerősítened.