8️⃣ mini-AGI: continual learning модель, обучаемая с нуля на 8 ГБ VRAM

Разработчик volotat опубликовал на GitHub mini-AGI - byte-level языковую модель с непрерывным обучением, которая тренируется с нуля на одной потребительской видеокарте с 8 ГБ памяти и продолжает учиться на всём, что читает.

Веса хранятся на диске обычными файлами и пейджатся в VRAM по мере надобности: число параметров ограничено свободным местом, а не памятью GPU. Архитектура собирает себя сама - два dense-прелюд-блока, затем один рекуррентный блок, применяемый до 24 раз, каждая итерация выбирает свои top-8 экспертов из общего пула. Halting-голова по рецепту PonderNet останавливает вычисления, как только следующий проход уже не меняет ответ.

Пул растёт при нехватке ёмкости: новые эксперты собираются рекомбинацией обученных частей и удаляются, если их перестали выбирать. Главный результат - обучение на едином потоке без катастрофического забывания: trunk learning rate на уровне 0.1x от скорости экспертов снижает забывание с 2.23 до 0.0067 nats. Пока это toy-уровень (243 млн символов, генерация повторяется), веса ещё не выложены - автор ждёт первого полного прохода по корпусу.

#AI #ContinuAllearning #LLM #GitHub #OpenCode