Для совсем гиков: эра чистого масштабирования диффузионных трансформеров (DiT) ради улучшения пикселей закончилась. Сегодня узкое горлышко видеогенерации сместилось из рендеринга в семантический контроль и мультимодальное понимание. Поскольку видеогенераторы обучаются на порядки меньшем объеме данных, чем языковые LLM, качество картинки на 100% определяется тем, насколько точно модель понимает физику, свет и связку текста с объектами.

Разработчики выделили ключевые архитектурные инсайты пайплайна:

1. Плотный кэпшнинг как семантический контракт. Если модель обучается на коротких описаниях («мужчина бежит»), диффузия вынуждена додумывать детали наугад. Kling ввела концепцию «семантического контракта» с максимальной плотностью описания (description density): позы, физика материалов, ракурсы и траектории строго фиксируются. Для режима Image-to-Video используется Reference-grounded кэпшнинг, где части исходного изображения жестко привязываются к объектам в тексте.

2. Сильная LLM не делает видео лучше. Инженеры выяснили, что простое подключение более «умной» языковой модели в качестве текстового энкодера не улучшает видеогенерацию. Текстовому энкодеру нужно перцептивное (зрительное) обучение: он должен понимать пространственные отношения, оптику и композицию, а не решать логические задачи.

3. Prompt Enhancer с обучением прямо внутри генератора. Пользователи обычно пишут краткие промпты из 3-5 слов. Двухуровневый улучшайзер Kling переводит пользовательский ввод на «язык модели»: базовый уровень оптимизируется через Generator-in-the-loop RL (награда алгоритму улучшения промпта выдается по качеству итогового видео, собранного DiT), а агентный уровень (Agentic PE) достраивает драматургию и логику сцены.

4. Двойная система Reward-моделей. Для отсева брака используются две независимые модели: General Reward Model (дает локализованную и объяснимую критику дефектов конкретных областей кадра - расплывшихся пальцев или мигающего света) и Decision Reward Model (быстрый скоринг для массового RL-выравнивания).

• Датасет из 100 000+ трехмерных объектов (Objaverse, CAD, подвижная механика) в едином кодовом представлении
• Параметрическая модель: каждый размер задан аргументом, а все составные части строго разделены и поименованы
• Экономия токенов: синтаксис sand3d на 74% компактнее стандартного Python API Blender (в 3.8 раза меньше токенов)
• Полностью открытый стек: библиотека на GitHub, коллекция датасетов и интерактивный веб-эксплорер на Hugging Face

• Полный локальный цикл: от текстового сценария и раскадровки на холсте до нелинейного монтажа и таймлайн-экспорта
• Интеграция локального инференса на базе vLLM-Omni и видеомодели MiniMax H3 (FastH3)
• Пресеты консистентности: трехпроекционные листы персонажей, предметов и мультикамерные раскадровки
• Профессиональный экспорт: прямой рендеринг в MP4, выгрузка в FCPXML для монтажных программ и JSON