OpenAI анонсировала CriticGPT: новую модель для улучшения точности GPT-4

OpenAI разработала CriticGPT, основанную на GPT-4, для помощи тренерам-людям в проверке программного кода, генерируемого ChatGPT. Модель анализирует код и указывает на потенциальные ошибки, облегчая обнаружение недочетов, которые могли бы остаться незамеченными.

Преимущества CriticGPT

В исследованиях, проводимых OpenAI, аннотаторы предпочли замечания CriticGPT замечаниям людей в 63% случаев с естественными ошибками языковых моделей. Это предпочтение объясняется тем, что CriticGPT генерировала меньше ложных срабатываний и бесполезных замечаний. Совместная работа людей и CriticGPT также привела к созданию более полных отчетов об ошибках, чем при работе только людей. Кроме того, использование CriticGPT помогло снизить уровень галлюцинаций, возникающих при работе только модели.

Обучение CriticGPT

Для разработки CriticGPT использовался большой набор данных с преднамеренно внесенными ошибками. Эксперты модифицировали код ChatGPT, внося ошибки и предоставляя примеры обратной связи, что позволило модели научиться выявлять и критиковать различные типы ошибок.

Новые техники и возможности

Исследователи разработали новую технику Force Sampling Beam Search (FSBS), которая помогает CriticGPT писать более подробные отчеты об ошибках. Этот метод позволяет регулировать степень тщательности поиска проблем и частоту генерации несуществующих ошибок, что можно настраивать в зависимости от конкретных задач.

Интересно, что CriticGPT продемонстрировала свои возможности не только в анализе кода. В экспериментах модель выявила ошибки в 24% случаев в обучающих данных ChatGPT, которые ранее считались безупречными по оценке людей. Эти ошибки позже подтвердились экспертами.

Ограничения и перспективы

Несмотря на успехи, у CriticGPT есть ограничения. Модель обучалась на относительно коротких ответах ChatGPT, что может быть недостаточным для оценки более длинных и сложных задач. Хотя CriticGPT и снижает количество ложных срабатываний, полностью устранить их не удается, и тренеры-люди могут ошибаться в маркировке на основе ложных результатов. Модель эффективнее обнаруживает ошибки, локализованные в определенной точке кода, тогда как ошибки могут быть распределены по нескольким частям ответа, что представляет проблему для будущих версий модели.

Будущие планы

OpenAI планирует использовать модели, подобные CriticGPT, для помощи тренерам в оценке выходных данных языковых моделей, что улучшит инструменты оценки и повысит эффективность работы. Однако даже с помощью ИИ сложные задачи могут быть проблемой для людей.