Stability AI представила нейросеть для генерации и объяснения кода

Компания Stability AI только что объявила о выпуске StableCode, своего первого LLM-генеративного ИИ-продукта для кодирования. Этот продукт призван помочь программистам в их повседневной работе, а также стать отличным инструментом обучения для начинающих разработчиков, готовых выйти на новый уровень.

StableCode предлагает уникальный способ повышения эффективности разработчиков за счет использования трех различных моделей для помощи в написании кода. Базовая модель была сначала обучена на разнообразном наборе языков программирования из набора данных stack-dataset (v1.2) от BigCode, а затем дообучена на таких популярных языках, как Python, Go, Java, Javascript, C, markdown и C++. В общей сложности мы обучили наши модели на 560 Б лексем кода на нашем кластере высокопроизводительных вычислений.

После создания базовой модели модель инструкций была настроена на конкретные случаи использования для решения сложных задач программирования. Для достижения этого результата на базовой модели было обучено ~120 000 пар «инструкция/ответ» кода в формате Alpaca.

StableCode — идеальный строительный блок для тех, кто хочет узнать больше о кодинге, а модель с длинным контекстным окном — идеальный помощник для обеспечения доступности однострочных и многострочных предложений автозаполнения для пользователя. Эта модель рассчитана на одновременную работу с большим объемом кода (в 2-4 раза больше, чем ранее выпущенные открытые модели с контекстным окном в 16 000 лексем), позволяя пользователю одновременно просматривать или редактировать эквивалент пяти файлов Python среднего размера, что делает ее идеальным инструментом обучения для новичков, желающих перейти к более серьезным задачам.

А вот как мы сравниваемся с другими моделями с аналогичным числом параметров и количеством обученных лексем. Мы используем стандартные метрики pass@1 и pass@10, используя популярный бенчмарк HumanEval.

Цель Stability AI — сделать технологии более доступными, и StableCode — значительный шаг на пути к этой цели. В скором времени люди с любым уровнем подготовки смогут создавать код для решения своих повседневных проблем и улучшения жизни с помощью искусственного интеллекта, и мы хотели бы помочь этому случиться. Мы надеемся, что StableCode поможет следующему миллиарду разработчиков программного обеспечения научиться писать код и обеспечит более справедливый доступ к технологиям во всем мире.