GPT-4, najnovšia verzia chatbota s umelou inteligenciou (AI), ChatGPT, dokáže prejsť stredoškolskými testami a skúškami na právnickej fakulte so skóre v 90. percentile a má nové možnosti spracovania, ktoré v predchádzajúcej verzii neboli možné.
Čísla z výsledkov testov GPT-4 zdieľal 14. marca jeho tvorca OpenAI, ktorý odhaľuje, že dokáže konvertovať obrazové, zvukové a obrazové vstupy na text okrem toho, že kreatívnejšie a spoľahlivejšie zvládne „oveľa jemnejšie inštrukcie“.
„Prechádza simulovanou advokátskou skúškou so skóre okolo 10 % najlepších účastníkov testu,“ dodal OpenAI. "Naopak, skóre GPT-3.5 bolo okolo spodných 10%."
Čísla ukazujú, že GPT-4 dosiahol skóre 163 v 88. percentile na skúške LSAT – test, ktorý musia študenti vysokých škôl absolvovať v Spojených štátoch, aby mohli byť prijatí na právnickú fakultu.
Skóre GPT4 by ju postavilo do dobrej pozície na prijatie do 20 najlepších právnických fakúlt a chýba mu len niekoľko bodov od hláseného skóre potrebného na prijatie na prestížne školy ako Harvard, Stanford, Princeton alebo Yale.
Predchádzajúca verzia ChatGPT zaznamenala iba 149 bodov na LSAT, čím sa umiestnila na spodných 40%.
GPT-4 tiež dosiahol skóre 298 zo 400 v Uniform Bar Exam – teste, ktorý absolvovali nedávno absolventi právnických fakúlt, ktorý im umožňuje vykonávať právnickú prax v ktorejkoľvek jurisdikcii USA.
Stará verzia ChatGPT mala v tomto teste problémy a skončila v spodných 10 % so skóre 213 zo 400.
Čo sa týka skúšok SAT Evidence-Based Reading & Writing a SAT Math, ktoré absolvovali študenti stredných škôl v USA na meranie ich pripravenosti na vysokú školu, GPT-4 skóroval na 93. a 89. percentile.
GPT-4 vynikal aj v „tvrdých“ vedách, keď zaznamenal výrazne nadpriemerné percentilové skóre v AP Biológii (85 – 100 %), chémii (71 – 88 %) a fyzike 2 (66 – 84 %).
Avšak jeho skóre AP Calculus bolo pomerne priemerné a zaradilo sa na 43. až 59. percentil.
Ďalšou oblasťou, v ktorej GPT-4 chýbala, boli skúšky z anglickej literatúry, kde boli zaznamenané skóre v 8. až 44. percentile v dvoch samostatných testoch.
OpenAI uviedla, že GPT-4 a GPT-3.5 absolvovali tieto testy z praktických skúšok 2022-2023 a že nástroje na spracovanie jazyka neabsolvovali „žiadne špecifické školenie“:
„Na tieto skúšky sme neabsolvovali žiadne špeciálne školenie. Menšinu problémov na skúškach videl model počas tréningu, ale veríme, že výsledky budú reprezentatívne.“
Výsledky vyvolali strach aj v komunite Twitter.
Súvisiace: Ako ovplyvní ChatGPT priestor Web3? Priemysel odpovedá
Nick Almond, zakladateľ FactoryDAO Hovoril som jeho 14,300 14 sledovateľov na Twitteri 4. marca, že GPTXNUMX „vystraší ľudí“ a „zrúti“ globálny vzdelávací systém.
Teória hodnotenia bola veľkým kusom môjho života niekoľko rokov. Už pred mnohými rokmi som narážal na tento deň. Doslova som v tom čase znela ako rezident.
Ale... v skutočnosti to znamená, že od tohto momentu všetko okrem nekontrolovaného hodnotenia skončilo.
— drnick ️² (@DrNickA) March 14, 2023
Bývalý riaditeľ Coinbase, Conor Grogan, povedal, že do GPT-4 vložil živú inteligentnú zmluvu Ethereum a okamžite poukázal na niekoľko „bezpečnostných chýb“ a načrtol, ako možno kód zneužiť:
Do GPT-4 som vložil živú zmluvu Ethereum.
Okamžite poukázala na množstvo bezpečnostných nedostatkov a poukázala na povrchové oblasti, kde by bolo možné zmluvu zneužiť. Potom overil konkrétny spôsob, akým by som mohol zmluvu využiť pic.twitter.com/its5puakUW
— Conor (@jconorgrogan) March 14, 2023
Skoršie audity inteligentných zmlúv na ChatGPT zistili, že jeho prvá verzia bola tiež schopná v primeranej miere odhaliť chyby kódu.
Rowan Cheung, zakladateľ informačného bulletinu AI „The Rundown“ zdieľal video, na ktorom GPT prepisuje ručne nakreslenú falošnú webovú stránku na kúsok papiera do kódu.
Práve som sledoval, ako GPT-4 premieňa ručne nakreslenú skicu na funkčnú webovú stránku.
To je šialené. pic.twitter.com/P5nSjrk7Wn
— Rowan Cheung (@rowancheung) March 14, 2023
Zdroj: https://cointelegraph.com/news/chatgpt-v4-aces-the-bar-sats-and-can-identify-exploits-in-eth-contracts