🤝 NVIDIA NeMo Automodel и Hugging Face Diffusers: масштабный fine-tuning видео и изображений
NVIDIA и Hugging Face объявили о совместной интеграции, которая позволяет запускать production-grade распределённое обучение диффузионных моделей на базе NeMo Automodel для любой модели в формате Diffusers из Hugging Face Hub. Решение не требует конвертации чекпоинтов или переписывания кода.
NeMo Automodel — это open-source библиотека на PyTorch DTensor, часть фреймворка NVIDIA NeMo. Она поддерживает загрузку моделей напрямую с Hub через
Ключевая особенность — масштабирование без переписывания кода: параллелизм (FSDP2, tensor parallel, expert parallel, context parallel, pipeline parallel) настраивается конфигурацией, а не изменением модели. Сейчас Automodel поддерживает только flow-matching модели, используя обучение в латентном пространстве с предварительно закодированными VAE выходами и мультирезолюционную bucketed загрузку данных.
#Business #NVIDIA #HuggingFace #Diffusers #NeMo #AI
NVIDIA и Hugging Face объявили о совместной интеграции, которая позволяет запускать production-grade распределённое обучение диффузионных моделей на базе NeMo Automodel для любой модели в формате Diffusers из Hugging Face Hub. Решение не требует конвертации чекпоинтов или переписывания кода.
NeMo Automodel — это open-source библиотека на PyTorch DTensor, часть фреймворка NVIDIA NeMo. Она поддерживает загрузку моделей напрямую с Hub через
pretrained_model_name_or_path, использует стандартные классы Diffusers (например, WanTransformer3DModel) и пайплайны для генерации. Чекпоинты полностью совместимы с экосистемой Diffusers.Ключевая особенность — масштабирование без переписывания кода: параллелизм (FSDP2, tensor parallel, expert parallel, context parallel, pipeline parallel) настраивается конфигурацией, а не изменением модели. Сейчас Automodel поддерживает только flow-matching модели, используя обучение в латентном пространстве с предварительно закодированными VAE выходами и мультирезолюционную bucketed загрузку данных.
#Business #NVIDIA #HuggingFace #Diffusers #NeMo #AI
👍1
Black Forest Labs выпустила FLUX.3 Image Klein - одну модель, которая совмещает text-to-image, image-to-image с несколькими референсами и новую функцию layout control. Управление композицией задаётся через bounding box прямо в промпте: координаты в шкале 0-1000 указывают, где рисовать каждый элемент или куда переместить часть референсного изображения при редактировании.
Оба открытых чекпоинта доступны в коллекции на Hugging Face. Дистиллированный вариант генерирует кадр 1024×1024 примерно за 2 секунды на H100 - 16 шагов, без CFG. Базовая модель работает в 50 шагов с CFG. Квантованные веса NVFP4 и FP8 загружаются через
from_single_file, что позволяет запускать модель на небольших GPU. В комплекте - скрипты обучения LoRA как для генерации, так и для редактирования изображений.Pipeline собран в формате Modular Diffusers: блоки можно вынимать или заменять своими, а текстовый энкодер берётся от Qwen3-VL. Для работы нужны свежие версии
diffusers и transformers - запустить генерацию можно в публичном Space, не поднимая окружение локально.🎨 qvabo.studio/tg · картинки и видео
#AI #FLUX #Diffusers #BlackForestLabs #ImageGen #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1👏1