d‑OPSD

Самодистилляция с опорой на собственное будущее для dLLM

Решает проблему несовместимости классических OPSD‑методов с архитектурой dLLM (диффузных LLM)

• реализует суффиксное условие - обучение на собственных сгенерированных ответах
• переключает контроль с токенов на шаги обучения
• синхронизирует обучение с итеративным шумоподавлением dLLM

• на бенчмарках для рассуждений обходит RLVR и SFT
• сокращает число шагов оптимизации до 10 % от RLVR
• экономит вычислительные ресурсы

Гитхаб

#optimization #llm #dllm