📖 Дистилляция знаний стала достаточно дешёвой для масштабирования
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
👍1👏1