OpenAI oznámila 31. mája svoje úsilie o zlepšenie schopností ChatGPT na riešenie matematických problémov s cieľom znížiť výskyt halucinácií umelej inteligencie (AI). OpenAI zdôraznila zmiernenie halucinácií ako zásadný krok smerom k rozvoju zosúladeného AGI.
V marci predstavenie najnovšej verzie ChatGPT, GPT-4, ďalej posunulo umelú inteligenciu do hlavného prúdu. Generatívne chatboty AI však už dlho zápasia s faktickou presnosťou a občas generujú nepravdivé informácie, bežne označované ako „halucinácie“. Úsilie znížiť tieto halucinácie AI bolo oznámené prostredníctvom príspevku na ich webovej stránke.
Halucinácie AI sa týkajú prípadov, keď systémy umelej inteligencie generujú výstupy, ktoré sú fakticky nesprávne, zavádzajúce alebo nepodporované údajmi z reálneho sveta. Tieto halucinácie sa môžu prejavovať rôznymi formami, ako je generovanie nepravdivých informácií, vymýšľanie si neexistujúcich udalostí alebo ľudí alebo poskytovanie nepresných podrobností o určitých témach.
OpenAI vykonala výskum na preskúmanie účinnosti dvoch typov spätnej väzby – „dohľad nad výsledkom“ a „dohľad nad procesom“. Dohľad nad výsledkom zahŕňa spätnú väzbu založenú na konečnom výsledku, zatiaľ čo dohľad nad procesom poskytuje vstup pre každý krok v reťazci myšlienok. OpenAI vyhodnotila tieto modely pomocou matematických úloh, vygenerovala viacero riešení a vybrala najvyššie hodnotené riešenie podľa každého modelu spätnej väzby.
Po dôkladnej analýze výskumný tím zistil, že dohľad nad procesom priniesol vynikajúci výkon, pretože povzbudil model, aby dodržiaval proces schválený ľuďmi. Na rozdiel od toho sa ukázalo, že kontrola výsledkov je náročnejšia na dôslednú kontrolu.
OpenAI uznala, že dôsledky procesného dohľadu presahujú matematiku a na pochopenie jeho účinkov v rôznych oblastiach je potrebné ďalšie skúmanie. Vyjadrila možnosť, že ak pozorované výsledky platia v širších súvislostiach, procesný dozor by mohol ponúknuť priaznivú kombináciu výkonu a zosúladenia v porovnaní s dohľadom nad výsledkom. Na uľahčenie výskumu spoločnosť verejne zverejnila kompletný súbor údajov o dohľade nad procesom, ktorý vyzýva k prieskumu a štúdiu v tejto oblasti.
Súvisiace: Dopyt AI nakrátko katapultuje Nvidiu do klubu $1T
Hoci OpenAI neposkytla explicitné prípady, ktoré podnietili ich vyšetrovanie halucinácií, dva nedávne udalosti ilustrovali tento problém v reálnych scenároch.
V nedávnom incidente právnik Steven A. Schwartz v prípade Mata v. Avianca Airlines priznal, že sa spolieha na chatbota ako na zdroj výskumu. Ukázalo sa však, že informácie, ktoré poskytol ChatGPT, boli úplne vymyslené a poukázali na daný problém.
ChatGPT od OpenAI nie je jediným príkladom systémov umelej inteligencie, ktoré sa stretávajú s halucináciami. Umelá inteligencia spoločnosti Microsoft počas demonštrácie technológie chatbotov v marci preskúmala správy o príjmoch a vygenerovala nepresné údaje pre spoločnosti ako Gap a Lululemon.
Časopis: 25 XNUMX obchodníkov vsádza na výber akcií ChatGPT, AI je nanič pri hodoch kockami a ďalšie
Zdroj: https://cointelegraph.com/news/here-s-how-openai-plans-to-cleanse-chatgpt-from-false-information