Stanfordští vědci zjistili, že GPT-4 je postupem času hloupější
Různé / / July 20, 2023
Přesnost placené verze ChatGPT byla nižší než přesnost bezplatného chatbota.
Nový studie od vědců ze Stanfordské univerzity potvrdili to, na co si netizeni stěžovali týdny: ChatGPT Plus, na základě GPT-4 se opravdu stal hloupějším – na rozdíl od GPT-3.5, na kterém běží bezplatná verze chatbota.
Ve své studii autoři porovnávali odpovědi na různé požadavky od chatbota na základě GPT-4 a GPT-3.5. Ony zjistili, že chování chatbota a přesnost odpovědí na některé požadavky v nové verzi výrazně zhoršila.
Autoři porovnávali jazykové modely GPT-4 a GPT-3.5 vydané v březnu a lednu. Zjistili, že během této doby přesnost GPT-4 znatelně klesla, zatímco přesnost GPT-3.5 naopak vzrostla.
Například přesnost odpovědi na otázku, zda je 17077 prvočíslo, klesla o 95,2 %, zatímco GPT-3,5 naopak vzrostla ze 7,4 % na 86,8 %. V současných verzích obou modelů se také snížila šance na úspěšné provedení kódu napsaného neuronovou sítí.
V minulosti již viceprezident OpenAI Peter Welinder odpověděl k obviněním uživatelů ChatGPT Plus:
Ne, neudělali jsme z GPT-4 hloupější. Všechno je přesně naopak: každou novou verzi děláme chytřejší než předchozí.
Nyní máme tuto hypotézu: když něco používáte aktivněji, začnete si všímat problémů, které jste předtím neviděli.
Petr Welinder
VP produktu ve společnosti OpenAI
V jedné z odpovědí na tento tweet Welinder zeptal se poskytnout důkaz, že se chatbot zhoršil. Studie od vědců ze Stanfordu se objevila 5 dní poté - a dosud nepřišla odpověď od OpenAI.
Není to poprvé, co byl GPT-4 obviněn z poskytování nepravdivých informací. V březnu analytici NewsGuard objevilže ChatGPT založený na GPT-4 je snazší lhát - zatímco samotné OpenAI tvrdí 40% zvýšení přesnosti odpovědí ve srovnání s GPT-3.5. V zejména v testech NewsGuard bylo méně pravděpodobné, že nová verze neuronové sítě vyvrací nepravdivé informace – včetně nepravdivých údajů o moderních událostech a teoriích spiknutí.
Přečtěte si také🧐
- 6 analogů ChatGPT
- James Cameron o nebezpečích AI: „Varoval jsem vás už v roce 1984, ale neposlouchali jste“
- 8 mýtů o umělé inteligenci, kterým věří i programátoři