Андрей Карпатый, ранее работавший в OpenAI, представил новый проект под названием nanochat на платформе GitHub. Этот проект предлагает открытый набор инструментов, позволяющий разработчикам создавать языковые модели практически с нуля. Nanochat включает в себя все необходимые компоненты: токенизатор, скрипты для обучения, код для взаимодействия в чате и веб-интерфейс для общения с моделью.
Среди возможностей проекта можно выделить:
► Токенизатор, реализованный на языке Rust
► Предварительная подготовка на основе корпуса FineWeb для оценки метрик CORE
► Среднесрочное обучение, включая диалоги с помощником SmolTalk
► Супервизируемая дообучение (SFT) для проверки знаний в математике и программировании
► Обучение с использованием GRPO на задачах GSM8K
► Механизм вывода с поддержкой кэширования и инструментальных вызовов
► Автоотчёты, формирующие Markdown-карточки с результатами
Для обучения модели потребуется сервер с восемью видеокартами Nvidia H100, что займет около 4 часов и обойдется в $100. В течение 12 часов модель сможет превзойти GPT-2 по метрике CORE, решая базовые задачи в математике и программировании.