📱VeOmni.

VeOmni — фреймворк от ByteDance Seed Team для масштабируемого обучения любых моделей (одно- и мультимодальных) на любых ускорителях, при этом полностью на PyTorch и без “тренеров”.

🧠 Основные идеи:

🔘Гибкость и модульность.

🔘Без классов-тренеров.

🔘Omni-модель нативно.

🔘PyTorch-native.

🧩 Ключевые фичи:

#️⃣Параллелизм.
FSDP1/2, DeviceMesh, Expert Parallel, Ulysses, активации, оффлоады, GroupGEMM.

🔹Модели.
Qwen2.5, Qwen2.5-VL, LLaMA 3, DeepSeek, Seed-Omni.

🛠Инфраструктура.
🔘Dynamic batching, ByteCheckpoint, Docker, YAML-конфиги, профайлинг.

#AIFramework #MLFramework #PyTorchLightningAlternative #TransformerTraining #OpenAI #DeepLearningTools #AIResearch #ModelScaling #TorchFSDP #ModelCheckpoint #TrainingFramework

📱Ссылка на репозиторий:
https://github.com/ByteDance-Seed/VeOmni