V nedávnej štúdii publikovanej v The Annals of Family Medicine výskumníci hodnotili účinnosť Chat Generative Pretrained Transformer (ChatGPT) pri zhrnutí lekárskych abstraktov na pomoc lekárom. Štúdia bola zameraná na určenie kvality, presnosti a zaujatosti v súhrnoch generovaných ChatGPT a poskytla informácie o ich potenciáli ako nástroja na trávenie obrovského množstva lekárskej literatúry v časových obmedzeniach, ktorým čelia zdravotnícki pracovníci.
Vysoké hodnotenia kvality a presnosti
Štúdia využila ChatGPT na kondenzáciu 140 lekárskych abstraktov zo 14 rôznych časopisov, čím sa znížil obsah v priemere o 70 %. Napriek niektorým nepresnostiam a halucináciám zisteným v malej časti súhrnov lekári hodnotili súhrny vysoko z hľadiska kvality a presnosti. Zistenia naznačujú, že ChatGPT má potenciál pomôcť lekárom pri efektívnom preskúmaní lekárskej literatúry a ponúka stručné a presné zhrnutia uprostred obrovského množstva informácií.
Výskumníci vybrali 10 článkov z každého zo 14 časopisov pokrývajúcich rôzne medicínske témy a štruktúry. ChatGPT poverili zhrnutím týchto článkov a vyhodnotili vygenerované súhrny z hľadiska kvality, presnosti, zaujatosti a relevantnosti v desiatich medicínskych odboroch. Štúdia zistila, že ChatGPT úspešne zhustil lekárske abstrakty v priemere o 70%, čím získal vysoké hodnotenie od lekárov recenzentov za kvalitu a presnosť.
Dôsledky pre zdravotníctvo
Napriek vysokým hodnoteniam štúdia identifikovala v malom počte súhrnov vážne nepresnosti a halucinácie. Tieto chyby sa pohybovali od vynechaných kritických údajov až po nesprávne interpretácie návrhov štúdií, ktoré by mohli potenciálne zmeniť interpretáciu výsledkov výskumu. Výkon ChatGPT pri sumarizácii lekárskych abstraktov sa však považoval za spoľahlivý, pričom sa pozorovala minimálna zaujatosť.
Zatiaľ čo ChatGPT preukázal silné zladenie s ľudskými hodnoteniami na úrovni časopisu, jeho výkon pri určovaní relevantnosti jednotlivých článkov pre konkrétne lekárske špeciality bol menej pôsobivý. Tento nesúlad poukázal na obmedzenie schopnosti ChatGPT presne identifikovať relevantnosť jednotlivých článkov v širšom kontexte lekárskych odborov.
Štúdia poskytuje cenné poznatky o potenciáli AI, najmä ChatGPT, pri pomoci lekárom pri efektívnom preskúmavaní lekárskej literatúry. Zatiaľ čo ChatGPT ukazuje sľubné zhrnutie lekárskych abstraktov s vysokou kvalitou a presnosťou, je potrebný ďalší výskum na riešenie obmedzení a zlepšenie jeho výkonu v špecifických medicínskych kontextoch.
Budúci výskum by sa mohol zamerať na zdokonalenie schopnosti ChatGPT rozpoznať relevantnosť jednotlivých článkov pre konkrétne lekárske špeciality. Okrem toho úsilie o zmiernenie nepresností a halucinácií vo vytvorených súhrnoch by mohlo ďalej zvýšiť užitočnosť nástrojov AI v prostredí zdravotnej starostlivosti.
Zdroj: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/