Minecraft бот Voyager программирует себя с помощью GPT-4

Voyager использует GPT-4 для управления обучающимся агентом Minecraft в пиксельном мире. Вместо обучения с подкреплением, Voyager полагается на генерацию кода.

Исследователи из Nvidia, Caltech, UT Austin, Stanford и ASU представляют Voyager, первый пожизненный обучающийся агент, играющий в Minecraft. В отличие от других агентов Minecraft, использующих классические методы обучения с подкреплением, например, Voyager использует GPT-4 для постоянного самосовершенствования. Для этого он пишет, улучшает и передает код, хранящийся во внешней библиотеке навыков.

В результате появляются небольшие программы, которые помогают ориентироваться, открывать двери, добывать ресурсы, делать кирку или сражаться с зомби. «GPT-4 открывает новую парадигму, — говорит исследователь Джим Фан из Nvidia, который консультировал проект. В этой парадигме «обучение» — это выполнение кода, а «обученная модель» — это база навыков, которую итеративно собирает Voyager».

Voyager состоит из трех основных компонентов:

1. Итеративный механизм подсказок, который включает в себя обратную связь от игры, ошибки выполнения и самопроверку для совершенствования программ.
2. Библиотека навыков с кодом для хранения и извлечения сложных моделей поведения.
3. Автоматизированный учебный план для максимального изучения.

Агент Voyager Minecraft обучается в контексте

Агент Minecraft обучается итеративным способом: Voyager пишет программу с помощью GPT-4 для достижения цели и использует обратную связь от игровой среды и возможные ошибки Javascript для доработки программы с помощью GPT-4. Таким образом, Voyager постепенно создает библиотеку навыков и сохраняет успешные программы в векторной базе данных. Сложные навыки формируются из более простых.

Чтобы исследовать разнообразный мир Minecraft, команда использует автоматизированную программу обучения, которая предлагает соответствующие задачи по исследованию на основе текущих навыков агента и текущего состояния мира. Например, агент учится собирать песок и кактусы в пустыне, прежде чем копать железо.

Все вместе это создает агента, который постоянно учится и может выполнять различные задачи. Команда проводит все эксперименты в среде MineDojo.

В настоящее время Voyager может строить дома только с помощью обратной связи с человеком.

Команда сравнивает Voyager с другими агентами на основе языковых моделей, такими как ReAct, Reflection или Auto-GPT в Minecraft. Voyager обнаружил 63 различных объекта за 160 итераций подсказки — в 3,3 раза больше, чем следующий лучший подход, говорит команда.

Автоматический поиск ранее неизвестных объектов заставляет «Вояджер» много путешествовать: В целом, агент Minecraft проходит более чем в два раза большее расстояние и посещает больше биомов. Авто-GPT и другие методы, с другой стороны, часто застревают в своей локальной области.

Библиотека навыков, созданная Voyager, также совместима с Auto-GPT: ИИ-агент в Minecraft достигает с ним значительно лучших результатов, но все еще отстает от Voyager.

В настоящее время Voyager работает только с текстом и не может видеть, что происходит в мире блоков. Поэтому он не может строить дома. Однако в одном из ранних экспериментов команда использовала людей, чтобы дать агенту визуальную обратную связь — таким образом, Voyager может научиться строить дома и порталы в Nether, например.

Более подробная информация и примеры доступны на странице проекта Voyager.

Код доступен на GhitHub.