ClawEnvKit

Открытый инструментарий для генерации сред и тестирования claw-подобных агентов

• генерирует тренировочные среды по тексту
• оценивает агентов с помощью 20 моковых сервисов
• поддерживает 10 оценочных хасбендов в трёх уровнях интеграции
• создаёт задачи с YAML-конфигами, фикстурами, инструментами и рубриками оценки
• проверяет задачи через 15 типов проверок (14 на основе правил + оценка LLM) и 2 проверки безопасности

#agent #qa

MolmoMotion

Визуально‑языковая модель (4B) от Allen AI
Предсказывает 3D‑траектории движения объектов по видео и текстовым инструкциям

• прогнозирует перемещение объектов в пространстве с течением времени
• работает с видеоданными и языковыми командами
• строит 3D‑траектории

#vlm #video2trajectory #qa

DeepSeek добавили в чат Vision в режиме бета - понимание изображений.

Не только текста с изображения, но понимание всего изображения

#vlm #qa

OmniVideo‑7B_Qwen2.5‑Omni

Мультимодальная модель на базе OmniVideo-7B, инициализирована из Qwen2.5‑Omni. Понималка видео в рилтайме с говорилкой

• обрабатывает текст, изображения, аудио и видео
• генерирует текстовые ответы
• озвучивает ответы (несколько типов голоса)
• работает с фрагментарным вводом, поддерживает потоковую обработку

• дообучена на датасете OmniVideo‑100K
• архитектура Thinker‑Talker и метод TMRoPE
• для 60‑секундного видео нужно ~ 60 ГБ VRAM в BF16
• Apache‑2.0

#vlm #realtime #qa

GLM-5.2-Vision-NVFP4

Версия GLM-5.2 с видением

тянет текст и картинки, отвечает на вопросы, описывает, руссуждает по изображениям

Прикрутили визуальный энкодер MoonViT от Kimi-K2.6

• работа с высоким разрешением без сильного падения скорости
• оптимизация под NVFP4
• мультимодальные эмбеддинги, лучше стыкует текст и визуал
• до 4096 токенов на картинку, контекст 1М

#vlm #nfvp4 #vqa #qa

GigaChat3.1-Audio-10B-A1.8B

Аудио LLM для работы с длинными записями (2 часа)

* Распознавание речи (ASR) - переводит аудио в текст
* Перевод - упомянуты русский и английский
* Ответы на вопросы по аудио (QA)
* Распознавание эмоций
* Временная привязка (temporal grounding). находит в какой части аудио происходит то или иное событие. заявлено 48.3 mIoU на задачах для записей до 2 часов

• 10B #MoE декодер, активно 1.8B параметров
• энкодер GigaAM

Демо

#alm #qa #asr #stt #translation #russian

MOSS-VL-Realtime

Потоковая видеоязыковая модель от OpenMOSS на 11B параметров, понимает видео в реальном времени

• обработка кадров с привязкой к таймстампам
• прерываемое взаимодействие в потоке
• динамическая коррекция ответов по новым кадрам
• режим проактивной тишины при отсутствии событий

• контекстное окно 256K
• работа с потоковым видео без ожидания конца

Демо
Демо2

#streaming #vlm #qa #realtime