ChatGPT-4 за полгода «отупел» и почти не дает верных ответов

ChatGPT-4 за полгода «отупел» и почти не дает верных ответов

ChatGPT-4 за полгода «отупел» и почти не дает верных ответов

Языковая модель GPT-4, выпущенная OpenAI в марте 2023 года, начала деградировать после общения с людьми на протяжении полугода. Именно к такому выводу пришли ученые из Стэнфордского университета, которые сравнили ответы чат-бота в июне 2023 года и сразу же после его запуска.

Так, GPT-4 поставили перед задачей определить, является ли число 17 077 простым. При этом, чтобы максимально улучшить результаты, ИИ было предложено решать данную задачу пошагово. Однако результаты оказались неожиданными.

Если в марте 2023 года GPT-4 давала правильные ответы в 97,6% случаев, то в июне этот показатель упал до 2,4%. Таким образом, получить верный ответ от чат-бота становится затруднительно или почти нереально. На фоне этого GPT-3.5 наоборот улучшила свои показатели с 7,4% до 86,8%.

У GPT-4 также появились проблемы с генерацией кода. Когда исследователи использовали набор из 50 простых задач LeetCode, чтобы определить, сколько ответов от GPT-4 можно было применить без изменений, то оказалось, что таких всего 10% (против 52% в марте).

Деградацию ChatGPT-4 заметили и пользователи, в частности все больше ответов от бота являются выдуманными и абсолютно никак не подтверждаются информацией из открытых источников. Причины снижения интеллектуальных способностей пока неясны.

Выбор редакции

От MagSafe
до геймпада

Смотреть подборку

Шесть полезных аксессуаров для тех, кому мало одного iPhone.