Computer Vision News
312 subscribers
420 photos
104 videos
2 files
397 links
Download Telegram
Forwarded from Нейродвиж
This media is not supported in your browser
VIEW IN TELEGRAM
Превращаем ЛЮБОЙ репозитарий на GitHub в гайд — вышла тулза, которая в разы упростит изучение программирования.

Нейронки под капотом проанализируют весь код, поймут как он работает и создадут для вас понятный учебник с графиками и табличками.

Это бесплатно, забираем.
Forwarded from Machinelearning
🌟 SenseNova-Vision: CV-комбайн в едином генеративном интерфейсе

SenseTime открыла веса единой модели зрения SenseNova-Vision. Обычно под каждую задачу (найти объекты, выделить их контуры, оценить глубину сцены) строят отдельную систему или встраивают в модель специальный модуль. Здесь от этого отказались - все задачи модель решает как генерацию текста, картинки или их смеси.

Компания основана в 2014 году и выросла из университетской лаборатории MMLab - оттуда вышла заметная часть китайских специалистов по компьютерному зрению. Известность пришла в 2015-м, когда алгоритм распознавания лиц SenseTime обошёл по точности человеческий глаз. В 2026 году Gartner назвала компанию визионером в генеративном CV.


🟡Механика

Рамки объектов и распознанный текст модель выдаёт текстом с координатами, карты глубины и нормалей поверхностей - картинками, а сложную сегментацию - смешанным ответом, где текстовая легенда задаёт цвета маски.

Авторы сравнивают подход с тем, что GPT сделал для текста: вместо зоопарка специализированных систем - один генеративный интерфейс.


Под капотом - открытая мультимодальная модель Bagel-7B-MoT от ByteDance, дообученная без изменений архитектуры.

MoT - это смесь трансформеров. Внутри модели живут 2 эксперта с собственными весами - один отвечает за понимание текста и изображений, второй за генерацию картинок, а внимание у них общее, так что оба смотрят на один контекст. Токены распределяются между экспертами жёстко, по типу данных, а не обучаемым маршрутизатором, как в MoE.

Для SenseNova-Vision такое устройство пришлось кстати - модель чередует текстовые ответы вроде координат и картиночные вроде масок, и у каждой ветки свой набор весов.

🟡Тесты

SenseNova-Vision лидирует среди сопоставимых систем там, где ответ - структурированный текст (детекция, в том числе в плотных сценах с десятками объектов, локализация текста на изображении, ключевые точки).

В оценке глубины и нормалей она близка к лучшим генеративным методам, в сегментации держится на уровне конкурентов.

Слабые места тоже есть. В многовидовой 3D-геометрии модель отстаёт от специализированных VGGT и Depth Anything 3, а текст на русском распознаёт заметно хуже, чем на английском.


Вместе с моделью опубликован корпус SN-VC-50M - 50 млн обучающих примеров из открытых наборов: 18,9 млн кадров для структурного понимания, 17,3 млн для плотной геометрии, 12,5 млн для многовидовой геометрии и 1,3 млн для сегментации.


📌Лицензирование: CC-BY-NC-4.0


🟡Модель
🟡Arxiv
🟡Датасет
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #СV #MoT #SenseNovaVision #SenseTime
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Clean Plate IC-LoRA для LTX-2.3

Редко выходят модели для серьезного прода и постобработки. И вот Lightricks выкатили ин-контекст модель Clean Plate для своей 22B видеомодели LTX-2.3. Нейросеть удаляет из видео людей, пешеходов и транспорт, автоматически восстанавливая чистый задний план за ними.

Все работает в режиме video-to-video LoRA и интегрируется в стандартные воркфлоу ComfyUI. Не хватает только готового плагина для Premier или DaVinci.

Веса

@ai_newz
Отдельно хочу всех школьников/студентов исключить из конкуренции на kaggle убедить влететь в другое соревнование трека NeurIPS:

Fusion equilibrioum challenge (возможно нужен vpn для ссылки)

Датасет — 98 ГБ и 9 121 плазменный импульс с двух токамаков: DIII-D и MAST.
На вход модели идут временные ряды токов в электромагнитах и плазме, а также лазерные измерения температуры и плотности электронов.
По сути, это многомерная регрессия: нужно восстановить карту магнитного потока размером 65×65 и предсказать ещё два параметра плазмы — q95 и βN. Первое надо, чтобы плазма на вырвалась наружу. Обычно конечно считают q99.9999, но видимо тут организаторы на чилле и решили меньше упора делать на предельную статистику. Второе- соотношение затрат энергии на удержание плазмы к ее энергии.

Токомаки это круто, потому что:
Именно для их создания Отто Актавиус вживил себе AGI-клешни. Токомакам не нужен уран, они работают на изтопах воды. Дейтейрия с тритием нам хватит буквально на миллионы лет при текущем потреблении энергии и на тысячи- если все же построим AGI. Токомаки не могу бабахнуть, потому что установка сама гаснет при поломке и реакция прекращается. Токомаки вообще не выделяют CO2. Вот бы их можно было использовать в умных домах.
Основная проблема- это уметь удерживать плазму с температурой 100 млн градусов цельсия внутри.

В первом треке модель обучается и тестируется на DIII-D — надо как можно точнее восстановить скрытую магнитную геометрию плазмы на уже знакомом токамаке.
Во втором нужно обучиться на DIII-D и перенести модель на токамак MAST (другая конструкция) — пытаемся учить физику, а не оверфититься под аппарат.

Участвовать можно как одному, так и командой Вообще не намекаю на команду едущую на межнар и их сбор в одного огромного паверрейнджера

Почему иммено студенты/школьники:
0. Организаторы сделали специальный тулкит, чтобы было легче вкатиться: визуализаторы, верхнеуровневый гайд по тому, что происходит и выдали бейзлайн.
1. Низкая конкуренция: у соревы кастом платформа + низкие призы (по $500 за каждый трек), а значит знаменитые NVIDIA-фармеры с бесконечным железом не придут всех унижать.
2. Дают билеты на NeurIPS топу треков (тут без подробностей про число) + можно выступить с Oral Presentation (есть онлайн опция, если не дали визу). Такое точно можно себе в резюме вписать в достижения
3. Организаторы это профы из Texas Austin, топ 25 CS-ranking мира. Это ваши потенциальные научные руководители и реферы при поступлении в магистратуру/PhD и даже бакалавриат. У одного только ведущего автора 16411 цитирований и хирш 70!
4. Эти самые организаторы берут вас соавтором в публикацию, которая 99.99% попадет в A* конфу + у вас будет реальный опыт колаборации с ними -> можно попросить рефер не на пустом месте + можно и на берегу разойтись, если работа с ними вам не нравится. При этом в соавторы зовут топ-3 каждого трека + 4 человек на выбор оргов
5. Орги дают халявный компьют, так что можно быть бедным.

Соревнование пока не стартовало на кодбенч, но уже можно потрогать данные и бейзлайн

Короче я обижусь, если вы этот пост не перешлете в чат своей группы в универе
🔥1
Forwarded from Институт AIRI
Трансляции лекций «Лето с AIRI 2026»

Наша летняя школа по искусственному интеллекту близится к завершению. Делимся записями трансляций потоковых лекций⤵️

⏯«Тренды в развитии ИИ и исследования AIRI»
Иван Оселедец, д.ф.-м.н., профессор РАН, генеральный директор Института AIRI, декан факультета искусственного интеллекта МГУ

⏯«Обучаемая манипуляция объектами: от RL к VLA моделям»
Александр Панов, д.ф.-м.н., профессор РАН, директор лаборатории «Когнитивные системы ИИ» Института AIRI, директор Центра когнитивного моделирования МФТИ

⏯«На пути к сильному ИИ в медицине»
Дмитрий Дылов, PhD, директор лаборатории «Сильный ИИ в медицине» Института AIRI

⏯«Стратегия и подходы применения генеративного ИИ в кибербезопасности»
Антон Митрофанов, исполнительный директор, Управление экспертизы кибербезопасности Сбера

⏯«От весов до прода: как ломают и защищают ИИ-системы»
Олег Рогов, к.ф.-м.н., руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ

⏯«Vision? Language? Action? Models»
Владислав Куренков, руководитель группы «Адаптивные агенты» Института AIRI

⏯«Интерпретируемый ИИ в анализе многоканальных электрофизиологических данных»
Алексей Осадчий, д.к.н., руководитель группы «Нейроинтерфейсы» Института AIRI, директор Центра биоэлектрических интерфейсов НИУ ВШЭ

⏯«От промпта к цифровому сотруднику»
Ярослав Беспалов, руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Института AIRI

⏯«На пути к L5 автономии в транспорте. Актуальные задачи современных систем»
Дмитрий Сенюшкин, к.к.н., руководитель группы «Автономное зрение» Института AIRI

⏯«От машинного обучения к ИИ материаловедению»
Роман Еремин, к.ф.-м.н., руководитель группы «Дизайн новых материалов» Института AIRI

⏯«Может ли ИИ заменить учёных?» Автономные агенты и будущее науки»
Пётр Анохин, к.б.н., руководитель группы «Нейрокогнитивные архитектуры» Института AIRI

⏯«Ура, Уроборос! От понимания BIM к самоэволюции и градостроительству»
Артём Просветов, исполнительный директор по исследованию данных, Сбер

⏯«Знает ли модель, что она не знает? Введение в оценивание неопределённости в LLM и VLM»
Елизавета Гончарова, к.к.н., руководитель группы «Мультимодальный ИИ» лаборатории FusionBrain Института AIRI

⏯«Всем пятёрки, или как оценивать AI-исследователей — парадоксы, ловушки, качество и новизна»
Анастасия Волкова, руководитель направления по исследованию данных Центра исследований генеративного ИИ Sber AI

⏯«Как не потерять права на свои разработки»
Вита Власова, руководитель направления партнёрского сопровождения и интеллектуальной собственности Института AIRI

⏯«Faithfulness в языковых моделях»
Глеб Ершов, Data Science-инженер Авито

⏯«Как ИИ помогает взламывать код жизни»
Алёна Аспидова, инженер-исследователь группы геномики Центра ИИ-разработки новых лекарственных препаратов AIDD Института AIRI

⏯«Эффективный ИИ: главные оптимизации последних лет и почему они сработали»
Данил Сивцов, инженер-исследователь группы «Вычислительный интеллект» Института AIRI

⏯«Терминальные агенты в задачах автоматизации доменных исследований»
Даниил Сухоруков, научный сотрудник группы «ИИ в промышленности» Института AIRI

⏯«Современные методы квантования моделей»
Начын-Энхэдоржу Ооржак, специалист по исследованию данных, Блок «Риски», Сбер

Записями всех лекций и семинаров мы поделимся после завершения Школы✔️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
На каггле захостили новую

RSNA Knee Abnormality Detection:
https://www.kaggle.com/competitions/rsna-knee-abnormality-detection

Традиционно челлендж посвящен МРТ данным в 2.5D формате. Т.е. есть много двумерных снимков одного и того же объекта по 'срезам' разной глубины. На этот раз надо обнаруживать 12 видов остеопорза в коленках пациентов.
570 ГБ снимков в высоком разрешении, самое время нафармить золото за счет ваших бесконечных ресурсов (ну и помахаться с NVIDIA заодно). Главное, чтобы инференс влез в 9 часов на кагл гпу.

Соревнование проходит уже 8 лет подряд, так что массив опыта в нем накоплен титанический. Возможно, и мне пора вкатиться и поучаствовать, но в прошлые годы, признаюсь, меня просто пугал объем хаков, в которые надо вкатиться.

Шанс для всех тридцатилетних понять чуть больше о том, почему болят колени
Forwarded from 🦒∵ girafe.ai
Открытый вебинар «Агенты без магии» от основателя girafe-ai, к.ф.-м.н., преподавателя ведущих российских вузов Радослава Нейчева.

На вебинаре разберём:
• как правильно ставить задачи агенту
• что такое скиллы, MCP и зачем они нужны
• в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n)

⬇️ Подробности и регистрация ⬇️

Приглашаем к участию.
Forwarded from КПД
Введение в Квантизацию.pdf
6.1 MB
📚 Презентация про квантизацию с моего выступления на нашей Hardware Efficiency Reading Group, где мы обсуждаем статьи, идеи и практические аспекты эффективного глубокого обучения.

🎥 Записи и 📋 программу прошлых семинаров можно найти здесь.

🗓️ Семинар проходит (почти) каждый понедельник с 13:00 до 14:00.

📢 Группа с анонсами и материалами — тут.

Будем рады всем, кто интересуется эффективным глубоким обучением, GPU, CUDA, оптимизацией и современными ML-системами! 🚀
🔥1
Forwarded from CV Time
Курс по Visual GenAI от Yandex Research и ШАД

Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы.

Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области.

Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже:

• в теории диффузионных моделей, эффективных методах их обучения и семплирования;
• в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D.

У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания.

CV Time
🔥1
Forwarded from КПД
📄 Блогпост

🌵 Стартап Cactus Compute выпустил крохотную модель Needle 2 с весом чекпоинта всего 14 Mb для tool calling и работы со структурированными входа для edge устройств.

Исходная модель имеет 45M параметров, поверх нее применяется CQ-2bit квантизация (некая проприетарная техника).

Квантизация получается в процессе обучения (Quantization Aware Training).

⚡ Скорость

На префилле скорость 800+ tok/s, и 500+ tok/s на декоде на Raspberry Pi 5. Еще оно якобы быстро генерит на VR устройствах и Samsung-ах.

🏗️ Архитектура

Архитектура основана на ихней же работе Simple Attention Network. Там немало архитектурных прибамбасов:

• mHC
• Engram
• Hadamard MLP. Дабы сэкономить на параметры, параметризуют веса как произведение диагональной на Адамарову матрицу.
• GQA + Sliding Attention + синки для тулов

Needle 2 производит меньше операций на токен против традиционной трансформерной архитектуры.

📚 Обучение

На обучение потратили 115B токенов из проприетарных токенов и 38B на посттрейн, что на порядки меньше, чем у LFM.

📊 Бенчмарки

Модель оценивают на бенчмарках:

• Mobile Actions
• Droid Call
• Seal-Tools
• BFCL v4

🎯 Оно выходит по качеству близко к Function Gemma 270M, LFM 2.5 230M, Apple FM, будучи при этом гораздо меньше.
🔥1
Forwarded from Yandex for ML
🛎 Через час начинаем ML Global Recap

Вместе подведём ключевые итоги ICML и других международных конференций, поделимся своими инсайтами и выводами. Разложим по полочкам, что произошло в ML-индустрии за первое полугодие 2026 года.

В программе — доклады руководителей разных команд Яндекса:

⚪️ Артём Бабенко, руководитель Yandex Research, расскажет о развитии Tabular DL

⚪️ Дмитрий Мокеев, руководитель группы качества претрейна Alice AI в Яндекс Поиске, разберёт тренды и вызовы в ризонинге

⚪️ Иван Дёгтев, руководитель аналитики Alice AI LLM в Яндекс R&D, поделится новыми подходами и стандартами в оценке качества моделей

⚪️ Андрей Бежин, руководитель службы ML-инфраструктуры в Яндекс R&D, расскажет об оптимизации LLM-инференса

💻 Подключайтесь к онлайн-трансляции:

🔛 Яндекс Плеер
🔛 Ютуб

🛄 Ждём вас!

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DeepSchool
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ Mistral обновила OCR-модель до версии 4.1

Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга.

По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке.

На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив.

Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста.

В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас mistral-ocr-latest уже переводит существующие интеграции на новую версию.

Руками модель можно попробовать в Mistral Studio.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai

Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview. Модель построена на single-stream архитектуре и генерирует 10-секундные ролики сразу вместе с синхронной аудиодорожкой.

Внутри применили редкий для таких моделей fine-grained MoE. При суммарном объеме в 114B параметров на каждый токен активируется всего 6B. По объему вычислений на шаг это в разы легче плотного MiniMax H3 (33B), благодаря чему стоимость инференса упала в ~10 раз, а модель заскочила на 6 место в лидерборде Artificial Analysis.

Сам пайплайн генерации двухстадийный. Сначала базовая модель генерирует видео в низком разрешении, а затем refiner апскейлит результат до 1080p.

Пока это не конкурент MiniMax H3 в плане локальной доступности. Квантованный H3 влезает в одну карту на 24GB (RTX 3090/4090), тогда как для MAGI-2 нужно заметно больше ресурсов. Зато у облачных провайдеров за счет всего 6B активных параметров инференс по API будет значительно дешевле dense моделей, да и у такой архитектуры хороший потенциал для скейлинга.

Техрепорт
Код
Веса

@ai_newz
Forwarded from Machinelearning
🌟 Turbovec: библиотека векторного поиска на основе гугловского TurboQuant

Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.

Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.


🟡Turbovec сжимает данные примерно в восемь раз

Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.

По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.

🟡Удобные мелочи

Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.

Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.

Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.

Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.

Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.


📌Лицензирование: MIT License


🖥 Github


@ai_machinelearning_big_data

#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM