ChatGPT V4 je na čele rebríčka, SAT a dokáže identifikovať exploity v ETH kontraktoch

GPT-4, najnovšia verzia chatbota s umelou inteligenciou (AI), ChatGPT, dokáže prejsť stredoškolskými testami a skúškami na právnickej fakulte so skóre v 90. percentile a má nové možnosti spracovania, ktoré v predchádzajúcej verzii neboli možné.

Čísla z výsledkov testov GPT-4 zdieľal 14. marca jeho tvorca OpenAI, ktorý odhaľuje, že dokáže konvertovať obrazové, zvukové a obrazové vstupy na text okrem toho, že kreatívnejšie a spoľahlivejšie zvládne „oveľa jemnejšie inštrukcie“.

„Prechádza simulovanou advokátskou skúškou so skóre okolo 10 % najlepších účastníkov testu,“ dodal OpenAI. "Naopak, skóre GPT-3.5 bolo okolo spodných 10%."

Čísla ukazujú, že GPT-4 dosiahol skóre 163 v 88. percentile na skúške LSAT – test, ktorý musia študenti vysokých škôl absolvovať v Spojených štátoch, aby mohli byť prijatí na právnickú fakultu.

Výsledky skúšok GPT-4 a GPT-3.5 na rade nedávnych skúšok v USA. Zdroj: OpenAI

Skóre GPT4 by ju postavilo do dobrej pozície na prijatie do 20 najlepších právnických fakúlt a chýba mu len niekoľko bodov od hláseného skóre potrebného na prijatie na prestížne školy ako Harvard, Stanford, Princeton alebo Yale.

Predchádzajúca verzia ChatGPT zaznamenala iba 149 bodov na LSAT, čím sa umiestnila na spodných 40%.

GPT-4 tiež dosiahol skóre 298 zo 400 v Uniform Bar Exam – teste, ktorý absolvovali nedávno absolventi právnických fakúlt, ktorý im umožňuje vykonávať právnickú prax v ktorejkoľvek jurisdikcii USA.

Skóre UBE bolo potrebné prijať na výkon práva v každej jurisdikcii USA. Zdroj: Národná konferencia advokátskych komisárov

Stará verzia ChatGPT mala v tomto teste problémy a skončila v spodných 10 % so skóre 213 zo 400.

Čo sa týka skúšok SAT Evidence-Based Reading & Writing a SAT Math, ktoré absolvovali študenti stredných škôl v USA na meranie ich pripravenosti na vysokú školu, GPT-4 skóroval na 93. a 89. percentile.

GPT-4 vynikal aj v „tvrdých“ vedách, keď zaznamenal výrazne nadpriemerné percentilové skóre v AP Biológii (85 – 100 %), chémii (71 – 88 %) a fyzike 2 (66 – 84 %).

Výsledky skúšok GPT-4 a GPT-3.5 na rade nedávnych skúšok v USA. Zdroj: OpenAI.

Avšak jeho skóre AP Calculus bolo pomerne priemerné a zaradilo sa na 43. až 59. percentil.

Ďalšou oblasťou, v ktorej GPT-4 chýbala, boli skúšky z anglickej literatúry, kde boli zaznamenané skóre v 8. až 44. percentile v dvoch samostatných testoch.

OpenAI uviedla, že GPT-4 a GPT-3.5 absolvovali tieto testy z praktických skúšok 2022-2023 a že nástroje na spracovanie jazyka neabsolvovali „žiadne špecifické školenie“:

„Na tieto skúšky sme neabsolvovali žiadne špeciálne školenie. Menšinu problémov na skúškach videl model počas tréningu, ale veríme, že výsledky budú reprezentatívne.“

Výsledky vyvolali strach aj v komunite Twitter.

Súvisiace: Ako ovplyvní ChatGPT priestor Web3? Priemysel odpovedá

Nick Almond, zakladateľ FactoryDAO Hovoril som jeho 14,300 14 sledovateľov na Twitteri 4. marca, že GPTXNUMX „vystraší ľudí“ a „zrúti“ globálny vzdelávací systém.

Bývalý riaditeľ Coinbase, Conor Grogan, povedal, že do GPT-4 vložil živú inteligentnú zmluvu Ethereum a okamžite poukázal na niekoľko „bezpečnostných chýb“ a načrtol, ako možno kód zneužiť:

Skoršie audity inteligentných zmlúv na ChatGPT zistili, že jeho prvá verzia bola tiež schopná v primeranej miere odhaliť chyby kódu.

Rowan Cheung, zakladateľ informačného bulletinu AI „The Rundown“ zdieľal video, na ktorom GPT prepisuje ručne nakreslenú falošnú webovú stránku na kúsok papiera do kódu.