Forwarded from Machinelearning
🦾 Google представил Gemini Robotics-ER 1.5 - новую модель для роботов, которая умеет видеть, рассуждать, планировать и действовать в реальном мире.
Что она может:
- Понимать пространство и объекты вокруг.
- Разбивать задачу на шаги (например: «убери стол» → план действий).
- Подключать внешние инструменты - поиск, модели для анализа изображений и др.
- Балансировать скорость и точность: быстро реагировать или глубже анализировать.
- Работать безопаснее: учитывать вес предметов и физические ограничения.
Мир слишком сложен для роботов: окружение, сцены, объекты постоянно меняются.
Gemini Robotics-ER помогает роботам соединять понимание и действие.
📌 Пример: робот сортирует мусор.
Он узнаёт местные правила, распознаёт предметы, планирует действия и выполняет всё безопасно.
https://developers.googleblog.com/en/building-the-next-generation-of-physical-agents-with-gemini-robotics-er-15/
@ai_machinelearning_big_data
#Google #Gemini #Robotics #AI #PhysicalAgents
Что она может:
- Понимать пространство и объекты вокруг.
- Разбивать задачу на шаги (например: «убери стол» → план действий).
- Подключать внешние инструменты - поиск, модели для анализа изображений и др.
- Балансировать скорость и точность: быстро реагировать или глубже анализировать.
- Работать безопаснее: учитывать вес предметов и физические ограничения.
Мир слишком сложен для роботов: окружение, сцены, объекты постоянно меняются.
Gemini Robotics-ER помогает роботам соединять понимание и действие.
📌 Пример: робот сортирует мусор.
Он узнаёт местные правила, распознаёт предметы, планирует действия и выполняет всё безопасно.
https://developers.googleblog.com/en/building-the-next-generation-of-physical-agents-with-gemini-robotics-er-15/
@ai_machinelearning_big_data
#Google #Gemini #Robotics #AI #PhysicalAgents
Forwarded from RuCode Festival
В столице прошла торжественная церемония вручения первой RuCode.Премии в области искусственного интеллекта. Награда, учрежденная МФТИ в рамках фестиваля RuCode, призвана отметить и поддержать лидеров, активно внедряющих и популяризирующих технологии ИИ.
Событие собрало под одной крышей представителей науки, образования, индустрии, а также амбициозных молодых специалистов, студентов и школьников.
Ключевые цифры:
• 700+ заявок из 23 регионов России
• 53 номинанта, чьи инициативы рассмотрел экспертный совет
• 3 млн рублей — общий призовой фонд премии
• «ИИ Альма-Матер» — КГБПОУ «Алтайский промышленно-экономический колледж» («Активное ИИ образование»)
• «Кузница ИИ талантов» (при поддержке «Киберпротект») —
ЧОУДО «Высшая школа программирования»
• «ИИ пространство» —
ГАПОУ «Казанский торгово-экономический техникум» («LessonSkills: ИИ-платформа для подготовки учебных материалов»)
• «ИТ-мануфактура» —
ФГАОУ ВО «Национальный исследовательский университет ИТМО»
• «Братство ИТ» —
Панкратов Г.А., Мовзалевская В.В., Дибров Н. и Совет обучающихся ФМиКН СКФУ
• «Проект будущего» (при поддержке «Киберпротект») —
Васин Я.Е., Кадыров И.К., Хасанов А.Г., Хисматуллин И.И. («Разработка системы безопасности и мониторинга общественных мест»)
• «ИИ инноватор» —
Шаланкин Максим Дмитриевич (НИУ «Высшая школа экономики»)
• «ИИ гуру» (при поддержке Сбер): Хайрутдинов Тагир Рамилевич («Тагир Анализирует»)
• «Мастер генераций» —
Ржанов Егор Алексеевич
• «ИИ для всех» (учреждена MWS) —
Бекетов Петр Викторович («Панда-копирайтинг»)
Также на церемонии были награждены финалисты Чемпионата RuCode по ИИ, успешно справившиеся с практическими задачами от индустриальных партнёров.
Фестиваль RuCode реализуется при поддержке гранта Минобрнауки России в рамках Десятилетия науки и технологий.
🚀 Генеральный партнёр фестиваля: МТС Web Services
🚀 Партнёры: Сбер, группа компаний Астра
Поздравляем победителей и всех, кто развивает сферу ИИ в России! Это только началоудивительных свершений!
#RuCode #AI #ИИ #ПремияRuCode #МФТИ #Москва #Наука #Технологии #Инновации #Образование
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Компания выпустила расширение, которое напрямую связывает редактор кода со средами выполнения Google Colab. Иными словами, теперь можно работать с локальными .ipynb файлами, но выполнять код на Google Colab. Поддерживается подключение как к бесплатным средам выполнения, так и к премиум-тарифам Colab Pro.
Для начала работы достаточно установить расширение Google Colab из VS Code Marketplace. При выборе ядра для ноутбука появится опция «Colab», после чего нужно будет авторизоваться в аккаунте Google. Расширение также опубликовано в реестре Open VSX для совместимых редакторов.
developers.googleblog.com
Depth Anything 3 может предсказывает пространственно-согласованную геометрию по одному или нескольким изображениям, даже без известных параметров камеры. Ключевая особенность релиза - в радикальном упрощении архитектуры.
Под капотом единый трансформер и унифицированное представление depth-ray. Одна и та же модель теперь решает целый спектр задач: от монокулярной оценки глубины и определения поз камеры до прямой генерации 3D гауссианов для синтеза новых ракурсов.
В тестах DA3 превзошла предыдущие версии. Команда выпустила веса моделей, инструментарий CLI и WebUI на Gradio.
depth-anything-3.github.io
Компания закрыла раунд финансирования на 20 млрд. иен, в результате чего её оценка достигла около $2.635 млрд. Это сделало её самым дорогим непубличным стартапом в истории Японии. Среди инвесторов - Mitsubishi UFJ Financial Group и американские венчурные фонды.
Привлечённые средства будут направлены на разработку собственной LLM, адаптированной под особенности японского языка и культуры. Компания уже сотрудничает с MUFG и Daiwa Securities для создания специализированного ИИ для финансового сектора, а в будущем планирует расширяться в оборонную и обрабатывающую промышленность.
asia.nikkei.com
Основатель Amazon впервые после ухода с поста CEO занял операционную должность, став соруководителем ИИ-стартапа Project Prometheus. Компания привлекла $6.2 млрд, часть из которых — личные средства Безоса, что делает её одним из самых финансируемых стартапов на ранней стадии. Вторым CEO стал Вик Баджадж, физик и химик, ранее работавший в Google X над проектом Waymo.
Prometheus сфокусируется на создании ИИ-инструментов для ускорения инженерных и производственных процессов в автомобилестроении, аэрокосмической сфере и вычислительной техники. Стартап нацелен на сегмент ИИ-систем для робототехники, научные исследования и разработку материалов.
Несмотря на скрытный режим работы, команда проекта уже насчитывает около 100 специалистов, выходцев из OpenAI и DeepMind и компании Марка Цукербурга.
nytimes.com
Актёр Калум Уорти запустил ИИ-платформу 2wai, которая создаёт интерактивные цифровые копии ушедших из жизни людей. Для генерации приложению достаточно нескольких минут видеозаписи с человеком и после их оцифровки, пользователь может взаимодействовать с аватаром своего родственника, симулируя общение на разных этапах жизни.
В сети проект вызвал волну негатива и обвинение создателей в эксплуатации горя. Основные претензии сводятся к тому, что технология мешает здоровому процессу скорби и использует образы людей без их согласия.
Бета-версия приложения уже доступна в App Store. В будущем разработчики планируют ввести платную подписку и выпустить версию для Android.
Calum Worthy в сети Х
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Детище Alibaba, которое было выпущено отдельно от команд Wan и Qwen и стоит 5 долларов за 1000 изображений на Alibaba Cloud добралась до 1 места в рейтинге Artificial Analysis Image Arena.
Это модель с 6 млрд. параметров, которая может работать на потребительском оборудовании с объемом памяти всего 16 ГБ в полной точночти, а квантованные варианты запускаются на 8 ГБ.
Z-Image Turbo дешевле всех конкурентов: FLUX.2 [dev] ($12/1 тыс. изображений), HiDream-I1-Dev ($26/1 тыс. изображений) и Qwen-Image ($20/1 тыс. изображений), доступна под открытой лицензией Apache 2.0, что позволяет использовать ее в коммерческих целях без ограничений.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
В преддверии новогодних праздников платформа подготовила набор обучающих материалов по основным направлениям ИИ:
@ai_machinelearning_big_data
#AI #ML #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
BFL вышли на связь c релизом прямого наследника ветки
schnell первой версии семейства Flux.Знакомьтесь - FLUX.2 [Klein], модель, которая возвращает веру в то, что с маленьким VRAM тоже можно жить.
Это попытка впихнуть качество топовой FLUX.2 в формат, которую потянет большинство потребительских GPU.
Klein получился довольно универсальным инструментом: она умеет и text-to-image, и инпэйинт, и смешивание стилей.
Заявлены разрешение до 4 мегапикселей, отличный рендеринг текста и понимание сложных промптов.
BFL взяли флагманскую FLUX.2 и сжали знания в 2 компактные версии: 4B и 9B, каждая из которых получила вариации Base и Distilled:
Если захотите тренить на 4B Distilled - получите кашу.
9B distilled — 4 шага · ~2 сек. · 19.6GB VRAM
9B base — 50 шагов · ~35 сек · 21.7GB VRAM
4B distilled — 4 шага · ~1.2 сек. · 8.4GB VRAM
4B base — 50 шагов · ~17 сек. · 9.2GB VRAM
Веса уже на Hugging Face, потыкать в демо можно у BFL или в спейсах на HF: 9B и 4В.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
PaddlePaddle обновили свою линейку PaddleOCR-VL, выпустив PaddleOCR-VL-1.5 - компактную VLM на 0.9 млрд. параметров на базе ERNIE-4.5-0.3B-Paddle. Несмотря на скромный размер, в задачах разбора документов она показывает SOTA-результаты.
На тесте OmniDocBench v1.5 модель выбила 94.5% точности, обойдя не только прошлую версию, но и более тяжелых конкурентов.
Фишка обновления - упор на полевые условия. Модель специально учили работать с плохими исходниками: кривыми сканами, бликами от мониторов и мятыми страницами.
Попутно сделали бенчмарк Real5-OmniDocBench, который гоняет модели по 5 сценариям: сканирование, перекосы, деформация листа, фото с экрана и плохое освещение.
Модель работает с
transformers, дружит с Flash Attention 2 и, само собой, поддерживается PaddlePaddle 3.2.1.Если нужно быстро поднять сервис - есть готовый Docker-образ.
Если нужен полноценный постраничный парсинг всего документа, лучше использовать официальный пакет PaddleOCR. Реализация через transformers пока ограничена только распознаванием отдельных элементов и споттингом.
В пайплайн встроили логику препроцессинга. Если картинка меньше 1500 пикселей, она автоматом апскейлится фильтром Lanczos. При этом есть потолок в 1.6 млн. пикселей для споттинга, это чтобы не перегружать память GPU и сохранить читаемость мелкого шрифта.
@ai_machinelearning_big_data
#AI #ML #VL #OCR #PaddleOCR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
Forwarded from Machinelearning
👀 Релиз SAM 3.1 - одной из самых сильных open-source моделей для компьютерного зрения.
Модель понимает, что происходит на изображении или видео, и умеет находить объекты по текстовому описанию. Можно буквально написать «человек в красной футболке» и она найдёт нужных людей.
Работает не только с картинками, но и с видео. Объект можно задать один раз, и дальше модель будет отслеживать его между кадрами.
Ключевая идея - open-vocabulary. Модель не ограничена фиксированными классами, как старые системы. Она оперирует огромным количеством понятий и может находить практически любые объекты.
Ещё важный момент можно комбинировать способы управления: текст, клики, рамки, маски. Это даёт гораздо больше контроля и точности.
Под капотом новая архитектура, где отдельно решаются задачи поиска объектов и их отслеживания. За счёт этого модель лучше различает похожие вещи и стабильнее работает на видео.
В репозитории уже есть всё для старта: готовые веса, код, примеры и ноутбуки.
По факту это уже не просто инструмент для разметки, а полноценный vision-движок, который можно встраивать в реальные продукты от аналитики видео до автоматизации разметки данных.
Теперь модель может отслеживать до 16 объектов за один проход.
С multiplexing все объекты обрабатываются одновременно:
• меньше лишних вычислений
• нет узких мест по памяти
Результат: скорость обработки видео увеличивается примерно в 2 раза
с 16 до 32 FPS на одном NVIDIA H100!
На новом бенчмарке SA-CO, который включает 270 тысяч уникальных концептов, SAM 3 достигает 75–80% от уровня человека.
https://github.com/facebookresearch/sam3
@ai_machinelearning_big_data
#ai #ml #llm #cv #python
Модель понимает, что происходит на изображении или видео, и умеет находить объекты по текстовому описанию. Можно буквально написать «человек в красной футболке» и она найдёт нужных людей.
Работает не только с картинками, но и с видео. Объект можно задать один раз, и дальше модель будет отслеживать его между кадрами.
Ключевая идея - open-vocabulary. Модель не ограничена фиксированными классами, как старые системы. Она оперирует огромным количеством понятий и может находить практически любые объекты.
Ещё важный момент можно комбинировать способы управления: текст, клики, рамки, маски. Это даёт гораздо больше контроля и точности.
Под капотом новая архитектура, где отдельно решаются задачи поиска объектов и их отслеживания. За счёт этого модель лучше различает похожие вещи и стабильнее работает на видео.
В репозитории уже есть всё для старта: готовые веса, код, примеры и ноутбуки.
По факту это уже не просто инструмент для разметки, а полноценный vision-движок, который можно встраивать в реальные продукты от аналитики видео до автоматизации разметки данных.
Теперь модель может отслеживать до 16 объектов за один проход.
С multiplexing все объекты обрабатываются одновременно:
• меньше лишних вычислений
• нет узких мест по памяти
Результат: скорость обработки видео увеличивается примерно в 2 раза
с 16 до 32 FPS на одном NVIDIA H100!
На новом бенчмарке SA-CO, который включает 270 тысяч уникальных концептов, SAM 3 достигает 75–80% от уровня человека.
https://github.com/facebookresearch/sam3
@ai_machinelearning_big_data
#ai #ml #llm #cv #python
Forwarded from Machinelearning
В ШАДе Яндекса научили нейросеть находить борщевик на спутниковых фото
За выявление сорняка отвечают технологии компьютерного зрения. Модель обучали в сервисах Yandex Cloud, для валидации использовался датасет из 10 тыс. спутниковых фото с очагами заражения. Качество распознавания оценивали по метрике IoU – получилось 0,75. Результат также проверяли эксперты
Волонтеры и специалисты уже пользуются сервисом: с его помощью выявили очаги заражения общей площадью 421 га в 17 регионах и ликвидировали один крупный. В дальнейшем Яндекс планирует научить искусственный интеллект распознавать другие инвазивные растения.
@ai_machinelearning_big_data
#news #ml #ai
За выявление сорняка отвечают технологии компьютерного зрения. Модель обучали в сервисах Yandex Cloud, для валидации использовался датасет из 10 тыс. спутниковых фото с очагами заражения. Качество распознавания оценивали по метрике IoU – получилось 0,75. Результат также проверяли эксперты
Волонтеры и специалисты уже пользуются сервисом: с его помощью выявили очаги заражения общей площадью 421 га в 17 регионах и ликвидировали один крупный. В дальнейшем Яндекс планирует научить искусственный интеллект распознавать другие инвазивные растения.
@ai_machinelearning_big_data
#news #ml #ai
🔥2
Forwarded from Machinelearning
Институт Аллена представил модель WildDet3D, которая по одному изображению строит 3D-рамки объектов: оценивает их положение, размер и ориентацию в метрических координатах.
Модель принимает сразу несколько типов промптов: текстовый запрос, клик по точке или готовый 2D-бокс от внешнего детектора.
2D-детектор построен на SAM3 и обрабатывает все типы запросов.
Геометрическая ветка использует энкодер DINOv2 с обучаемым декодером глубины, учитывающим геометрию обзора: направления лучей камеры зашиваются через сферические гармоники, что снимает необходимость в отдельной калибровке.
Третий компонент, 3D-head, объединяет через кросс-внимание 2D-детекции с признаками глубины и поднимает их в полноценные 3D-боксы.
Если на инференсе доступны данные с LiDAR, ToF или стереокамеры, они подмешиваются в ту же геометрическую ветку без переобучения.
На бенчмарке Omni3D модель показывает 34,2 AP с текстовыми промптами (это +5,8 пункта к прежнему лидеру 3D-MOOD).
На zero-shot переносе на Argoverse 2 WildDet3D практически удваивает прежний результат: 40,3 ODS против 23,8.
На редких категориях из собственного бенчмарка WildDet3D-Bench успехи, разумеется, еще лучше - 47,4 AP против 2,4 у 3D-MOOD.
Оно использует видеопоток с камеры iPhone и данные LiDAR-сенсора, чтобы в реальном времени отрисовывать 3D-боксы поверх сцены как AR-оверлей.
Это наглядная демонстрация того, как монокулярная модель усиливается, когда устройство умеет отдавать дополнительный сигнал глубины.
Более 1 млн. изображений и 3,7 млн. верифицированных 3D-аннотаций, охватывающих свыше 13 тыс. категорий объектов. По сценам распределение получилось такое: 52% помещений, 32% городской среды и 15% природы.
Он собран на основе 2D-наборов (COCO, LVIS, Objects365, V3Det): кандидаты в 3D-боксы генерировались 5 независимыми методами оценки геометрии, затем фильтровались, проверялись VLM и дополнительно отбирались людьми.
@ai_machinelearning_big_data
#AI #ML #CV #Detection #WildDet3D #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
Bytedance опубликовала инфу о проекте DreamLite - компактной диффузионки на 390 млн. параметров, которая сможет работать локально на телефоне.
Под капотом - сильно сжатая версия U-Net (от SDXL), автоэнкодер TinyVAE и текстовый Qwen3-VL-2B.
Для трейна используется схема прогрессивного совместного обучения для стабильности генерации и дистилляция DMD2, которая сокращает инференс до 4 шагов.
В описании заявляют, что на iPhone17 Pro картинка размером 1024х1024 генерится около 3 секунд, а в техотчете - что на Xiaomi 14 создание или редактирование изображение тем же размером займет менее 1 секунды.
На синтетике DreamLite выбивает 0.72 (генерация, GenEval) и 4.11 (редактирование, ImgEdit)
Пока опубликованы только техотчет, репозиторий пустой.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
У WildDet3D от Института Аллена появился сосед по задаче: Reality Labs корпорации Марка Цукерберга опубликовала проект с той же целью - перевести 2D-детекции в 3D, но с иным профилем возможностей и открытости.
Boxer - более узкий, но геометрически более строгий инструмент для indoor-сценариев с трекингом и фузией.
Пайплайн трехступенчатый:
В отличие от WildDet3D, Boxer работает с видеопоследовательностями: ему нужны 6-DoF позы каждого кадра, гравитация и калибровка.
Взамен он дает то, чего у WildDet3D нет: согласованные сценовые 3D-боксы на уровне всей сцены и онлайн-трекинг с сохранением идентичности объектов.
Boxer поставляется как inference-решение: авторы не планируют выкладывать код обучения и оценки, объясняя это нежеланием тянуть долгосрочную поддержку.
В репозитории - только скрипты запуска и загрузчики датасетов Project Aria (Gen 1 и 2), CA-1M, SUN-RGBD и ScanNet.
Boxer запускается на macOS и Linux. Windows официально не поддерживается
@ai_machinelearning_big_data
#AI #ML #CV #Detection #Boxer #RealityLabs
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
Лаба Intelligent Creation компании ByteDance выложила Lance - модель, которая в единой архитектуре выполняет понимание, генерацию и редактирование изображений и видео.
При небольшом объёме параметров (6 млрд общих и 3 млрд активных) модель покрывает набор задач от генерации видео по тексту до субъект-ориентированной генерации.
ByteDance говорит, что на второй день после публикации модель вошла в тройку лидеров рейтинга Hugging Face Trending.
Lance построена по принципу dual-stream MoE: специализированные пути для понимания и для генерации работают в общем контекстном пространстве, но обладают разной модельной ёмкостью.
Авторы придумали собственный механизм позиционного кодирования MaPE, который помогает модели различать роли разнородных визуальных токенов внутри одной последовательности.
Когда Lance одновременно учится понимать и генерировать, в одну последовательность попадают визуальные токены разной природы: одни описывают исходное изображение для анализа, другие задают условие для генерации, третьи представляют сам будущий кадр на зашумлённой стадии.
Стандартное позиционное кодирование сообщает модели только то, где каждый токен расположен в пространстве и во времени, но ничего не говорит о его роли — и при смешанном обучении модель легко начинает путать, что именно от неё требуется в данной точке.
MaPE добавляет к позиции дополнительный сигнал о принадлежности токена к функциональной группе - фактически снабжает каждый элемент меткой "это для понимания", "это условие", "это то, что нужно сгенерировать", при этом не ломая ни пространственную структуру изображений, ни временной порядок кадров видео.
Модель по-прежнему видит "где" и "когда", но дополнительно понимает, "зачем" здесь оказался конкретный токен.
@ai_machinelearning_big_data
#AI #ML #Multimodal #Lance #ByteDance
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
При обычном обучении градиенты проходят через весь граф, а память под активации растёт вместе с глубиной модели. DiffusionBlocks предлагает разрезать сеть на отдельные блоки и обучать каждый независимо.
Каждому блоку дают свою локальную задачу: сдвинуть представление чуть ближе к целевому состоянию, чем это сделал предыдущий блок. Формально это похоже на один шаг диффузионного процесса, поэтому каждый блок оптимизирует собственный лосс и не зависит от соседних блоков.
Главный плюс - память. Для тренировки нужна память под один блок, а не под всю сеть целиком.
Авторы проверили подход на разных архитектурах:
- ViT
- DiT
- masked diffusion
- авторегрессионные трансформеры
- recurrent-depth / Looped-трансформеры
По качеству результаты сопоставимы со сквозным обучением, но с куда меньшими требованиями к памяти.
В Looped-трансформерами один и тот же блок прогоняется много раз подряд, как будто модель «думает» несколькими итерациями. Обычно для обучения приходится разворачивать весь этот процесс через BPTT, из-за чего память и вычисления быстро дорожают
Это ещё один аргумент в пользу идеи, что диффузия - не только про генерацию картинок, а более универсальная рамка для обучения моделей.
Если модель упирается в VRAM из-за глубины, DiffusionBlocks выглядит как подход, за которым стоит следить.
Пейпер: arxiv.org/abs/2506.14202
Код: github.com/SakanaAI/DiffusionBlocks
@ai_machinelearning_big_data
#sakana #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
Подразделение Alibaba сообщила о выпуске Qwen-VLA - модели, которая способна управлять роботами разных типов без отдельной настройки под каждую платформу.
VLA-модели получают на вход изображение с камеры и текстовую команду, а на выходе выдают конкретные действия для робота.
Новинка построена на VL-основе Qwen3.5-4B и дополнена декодером действий на 1,15 млрд параметров.
Модель объединяет 3 типа задач: манипуляции (захват и перемещение предметов), навигацию и прогнозирование траекторий, а переключение между разными роботами требует лишь изменения текстовой инструкции.
Qwen-VLA не уступает специализированным системам, обученным под каждую отдельную задачу - GR00T (разработка NVIDIA) и π0.5 (Physical Intelligence).
На наборе тестов LIBERO Qwen-VLA показала 97,9%, на RoboTwin-Hard - 87,2%, а в экспериментах с двуруким роботом ALOHA средний процент успешных выполнений в знакомых условиях составил 83,6% и 76,9% в незнакомых.
Пока опубликован технический отчет и создан репозиторий проекта, о доступности самих моделей не сообщается.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
После 2-х лет тишины проект получил свежее обновление. Возвращение продиктовано бумом искусственного интеллекта: из-за скачка мировых цен на память IT-индустрии потребовались новые способы снижения расходов на инфраструктуру.
CacheLib позволяет выносить большие объемы кэша из дорогой оперативки на более доступные и емкие SSD без существенной потери производительности.
Инструмент предоставляет масштабируемый механизм гибридного кэширования, который автоматически и прозрачно распределяет данные между разными уровнями памяти.
Движок отличается крайне низкими накладными расходами благодаря поточномуу API и структурам данных без копирования, требуя минимум места для хранения метаданных.
Еще одна особенность CacheLib - отказоустойчивость: библиотека умеет сохранять свое состояние, предотвращая потерю прогретого кэша при перезапуске приложений.
Хотя официальный чейнджлог со списком изменений разработчики не опубликовали, актуальный релиз уже доступен на GitHub.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Команда из китайского университета HUST и лаборатории VIVO AI Lab опубликовала проект Moebius для восстановления и дорисовки недостающих или удалённых фрагментов изображений.
Модель объёмом 220 млн параметров, по словам авторов, достигает качества, сопоставимого с системами на порядок большего размера, при значительно более высокой скорости работы.
На 6 тестовых наборах Moebius работает на уровне моделей с 10 млрд параметров (FLUX.1-Fill-Dev), а в отдельных случаях (сложные текстуры и правдоподобность лиц) превосходит их.
Скорость инференса составляет около 26 мс на один шаг вычислений, а суммарное ускорение более чем в 15 раз по сравнению с крупными системами.
Первое, блок Local-λ Mix Interaction, который перестраивает механизм внимания, сводя пространственный и смысловой контекст к матрицам фиксированного размера.
Второе - дистилляция знаний от более крупной модели-учителя PixelHacker, выполненная в латентном пространстве.
На Hugging Face технический отчет Moebius занял первое место в ежедневном рейтинге статей, а сам проект подан на конференцию ECCV 2026.
Опубликованы код для дообучения и веса:
@ai_machinelearning_big_data
#AI #ML #Diffusers #InPaint #Moebius
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁1
Forwarded from Machinelearning
SenseTime открыла веса единой модели зрения SenseNova-Vision. Обычно под каждую задачу (найти объекты, выделить их контуры, оценить глубину сцены) строят отдельную систему или встраивают в модель специальный модуль. Здесь от этого отказались - все задачи модель решает как генерацию текста, картинки или их смеси.
Компания основана в 2014 году и выросла из университетской лаборатории MMLab - оттуда вышла заметная часть китайских специалистов по компьютерному зрению. Известность пришла в 2015-м, когда алгоритм распознавания лиц SenseTime обошёл по точности человеческий глаз. В 2026 году Gartner назвала компанию визионером в генеративном CV.
Рамки объектов и распознанный текст модель выдаёт текстом с координатами, карты глубины и нормалей поверхностей - картинками, а сложную сегментацию - смешанным ответом, где текстовая легенда задаёт цвета маски.
Авторы сравнивают подход с тем, что GPT сделал для текста: вместо зоопарка специализированных систем - один генеративный интерфейс.
Под капотом - открытая мультимодальная модель Bagel-7B-MoT от ByteDance, дообученная без изменений архитектуры.
MoT - это смесь трансформеров. Внутри модели живут 2 эксперта с собственными весами - один отвечает за понимание текста и изображений, второй за генерацию картинок, а внимание у них общее, так что оба смотрят на один контекст. Токены распределяются между экспертами жёстко, по типу данных, а не обучаемым маршрутизатором, как в MoE.
Для SenseNova-Vision такое устройство пришлось кстати - модель чередует текстовые ответы вроде координат и картиночные вроде масок, и у каждой ветки свой набор весов.
SenseNova-Vision лидирует среди сопоставимых систем там, где ответ - структурированный текст (детекция, в том числе в плотных сценах с десятками объектов, локализация текста на изображении, ключевые точки).
В оценке глубины и нормалей она близка к лучшим генеративным методам, в сегментации держится на уровне конкурентов.
Слабые места тоже есть. В многовидовой 3D-геометрии модель отстаёт от специализированных VGGT и Depth Anything 3, а текст на русском распознаёт заметно хуже, чем на английском.
Вместе с моделью опубликован корпус SN-VC-50M - 50 млн обучающих примеров из открытых наборов: 18,9 млн кадров для структурного понимания, 17,3 млн для плотной геометрии, 12,5 млн для многовидовой геометрии и 1,3 млн для сегментации.
@ai_machinelearning_big_data
#AI #ML #СV #MoT #SenseNovaVision #SenseTime
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга.
По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке.
На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив.
Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста.
В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас
mistral-ocr-latest уже переводит существующие интеграции на новую версию.Руками модель можно попробовать в Mistral Studio.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.
Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.
Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.
По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.
Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.
Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.
Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.
Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.
Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.
@ai_machinelearning_big_data
#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM