👁 Google DeepMind: видео-генераторы уже содержат «мировые модели», которых не хватало компьютерному зрению
Исследователи Google DeepMind представили GenCeption — новую модель, которая использует предобученный генератор видео в качестве основы для классических задач компьютерного зрения. GenCeption достигает передовых результатов в оценке глубины, сегментации и 3D-оценке позы, требуя при этом минимального объёма обучающих данных.
В основе подхода лежит идея, что генерация реалистичного видео неявно требует понимания пространственной геометрии сцены, движения объектов и базовой физики. GenCeption построен на базе открытой модели Wan2.1 от Alibaba. Ключевое изменение — упрощённая архитектура: вместо многошаговой диффузии модель выдаёт предсказание за один прямой проход, что делает её достаточно быстрой для практических задач.
Исследователи используют единый метод для обработки разных задач: любой выходной сигнал (карта глубины, карта нормалей, маска сегментации) кодируется как стандартное RGB-изображение. Текстовый промпт указывает модели, какую задачу выполнять. Для задач вроде 3D-предсказания ключевых точек добавляются обучаемые модули. Обучение ведётся по единой функции потерь для всех задач.
Большая часть обучающих данных — синтетический набор из всего 7 500 видео. GenCeption сравнивается или превосходит специализированные модели (DepthAnything 3, SAM 3, NormalCrafter) на многих бенчмарках, используя при этом от 7 до 500 раз меньше данных. Авторы связывают этот успех именно с предобучением на задаче генерации видео, а не с объёмом данных.
#AI #Models #Google #ComputerVision #MachineLearning #GenCeption
Исследователи Google DeepMind представили GenCeption — новую модель, которая использует предобученный генератор видео в качестве основы для классических задач компьютерного зрения. GenCeption достигает передовых результатов в оценке глубины, сегментации и 3D-оценке позы, требуя при этом минимального объёма обучающих данных.
В основе подхода лежит идея, что генерация реалистичного видео неявно требует понимания пространственной геометрии сцены, движения объектов и базовой физики. GenCeption построен на базе открытой модели Wan2.1 от Alibaba. Ключевое изменение — упрощённая архитектура: вместо многошаговой диффузии модель выдаёт предсказание за один прямой проход, что делает её достаточно быстрой для практических задач.
Исследователи используют единый метод для обработки разных задач: любой выходной сигнал (карта глубины, карта нормалей, маска сегментации) кодируется как стандартное RGB-изображение. Текстовый промпт указывает модели, какую задачу выполнять. Для задач вроде 3D-предсказания ключевых точек добавляются обучаемые модули. Обучение ведётся по единой функции потерь для всех задач.
Большая часть обучающих данных — синтетический набор из всего 7 500 видео. GenCeption сравнивается или превосходит специализированные модели (DepthAnything 3, SAM 3, NormalCrafter) на многих бенчмарках, используя при этом от 7 до 500 раз меньше данных. Авторы связывают этот успех именно с предобучением на задаче генерации видео, а не с объёмом данных.
#AI #Models #Google #ComputerVision #MachineLearning #GenCeption
👍1🔥1
Исследователи Apple ML Research представили метод Calibrated Sparse Attention (CSA), который значительно ускоряет работу диффузионных моделей для генерации видео. Основная проблема современных моделей — медленная работа из-за огромных вычислительных затрат на пространственно-временное внимание в трансформерных архитектурах.
В ходе анализа авторы обнаружили, что значительная часть связей между токенами даёт пренебрежимо малые оценки (scores) независимо от входных данных, причём эти паттерны часто повторяются для разных запросов. Это позволяет пропускать вычисления внимания для таких связей без потери качества. Аналогичный эффект наблюдается и для локальных блоков токенов. CSA динамически определяет, какие вычисления можно безопасно пропустить, сохраняя при этом высокое качество выходного видео.
Практическое значение: метод позволяет сократить время генерации видео без ущерба для качества, что критично для приложений реального времени и интерактивных инструментов. Разработчики могут интегрировать CSA в существующие диффузионные пайплайны для ускорения инференса.
#Tech #Apple #VideoGen #Media #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
Исследователи обучили модели с нуля на корпусе, ограниченном программой начальной школы США (K–5), и проверили, смогут ли стандартные техники — масштабирование, пост-обучение и in-context learning — вывести их за этот предел. Ответ: нет.
Проект LittleLearner — это песочница с контролируемой границей знаний. Корпус LittleCurriculum собран из 88 млрд токенов FineWeb-Edu, отфильтрованных по стандартам Common Core: всё, что изучается выше пятого класса, исключено. На нём с нуля обучили три модели — 0.6B, 1.3B и 5B параметров, плюс «нефильтрованные» контроли с той же архитектурой и токенами для чистого сравнения. Чекпоинты (base, GRPO, chatty) опубликованы на Hugging Face.
Главный вывод: масштабирование, пост-обучение через GRPO и подсказки усиливают навыки внутри учебного плана, но не улучшают результаты на задачах за его пределами. Даже обучение на внешних данных не закрывает разрыв — фильтр предобучения задаёт фактический потолок способностей. То есть модель не «приобретает» новые возможности, а лишь лучше «извлекает» уже заложенные.
Практическая ценность — чистая экспериментальная среда: можно изучать, как RL создаёт способности, как вводится новое понятие при continual learning, и сравнивать модели с детьми на материале дробей и текстовых задач.
#AI #Research #MachineLearning #LittleLearner #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🤔1
Учёные из Принстона, Калифорнийского университета в Сан-Диего и других вузов впервые детально разобрали, как именно «скиллы» — компактные наборы инструкций для ИИ-агентов — влияют на их работу. В контролируемых экспериментах они сравнили поведение агентов с навыком и без него на одинаковых задачах: всего 8135 тестовых прогонов.
Главный вывод: скиллы помогают в первую очередь как пошаговый «сценарий» действий, а не как источник фактов. Такое «процедурное заземление» объяснило 65,7% случаев, когда агент со скиллом работал лучше. Прямая передача знаний дала эффект лишь в 4,5% случаев. То есть скиллы сокращают типичные ошибки выполнения: неправильную настройку окружения, неверный порядок вызова инструментов, проблемы с форматом вывода.
Но у подхода есть и слабые места. В 10% случаев агент применял полезный сценарий механически, не адаптируя его под задачу. А когда библиотека скиллов растёт с 5 до 100 записей, точность поиска нужного навыка падает с 29,6% до 3,3%. Авторы считают, что развитие агентов зависит не от накопления скиллов, а от надёжных механизмов их создания, поиска и применения.
#Ai #Agents #Skills #Research #MachineLearning #Tech
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1🤔1
Исследователи Apple ML представили Internalized Visual Thinking (IVT) — фреймворк пост-тренировки мультимодальных LLM, который позволяет моделям «думать визуально» на этапе обучения, а не во время инференса.
Современные модели всё чаще используют visual chain-of-thought (Visual CoT): генерируют промежуточные изображения, чтобы рассуждать о пространстве, времени и окружении. Это даёт модели наглядное «мысленное» представление, но создаёт огромную вычислительную нагрузку — критично для проактивного видеорассуждения, где нужно анализировать поток кадров в реальном времени.
IVT решает эту проблему: визуальное мышление переносится на этап обучения, а на инференсе модель рассуждает напрямую, без генерации картинок. Совместная оптимизация текстовых предсказаний и внутренних визуальных представлений сохраняет преимущества Visual CoT, устраняя его главный недостаток. Для разработчиков это шаг к более эффективным видеомоделям, пригодным для робототехники, автономных систем и анализа видеопотоков.
#AI #AppleML #MultiModal #LLM #VideoReasoning #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon Web Services опубликовала вторую часть руководства по подготовке данных для supervised fine-tuning (SFT). Первая часть касалась форматирования и контроля качества, новая — объёма данных, отбора подмножеств, аугментации и смешивания датасетов. Рекомендации применимы к любой модели, включая Amazon Nova.
Ключевая мысль: чистого датасета недостаточно — нужно понять, сколько данных действительно требуется. Ориентир для типовой SFT-задачи — примерно 2000 качественных примеров. Простому изменению стиля хватит 500, а сложному многошаговому reasoning — 10 000 и больше. Вместо интуиции AWS предлагает learning curve analysis: обучить модель на полном наборе, сохранять чекпоинты каждые 10–20% обучения и оценивать их на отложенном бенчмарке. Если удвоение объёма данных даёт меньше 1–2 процентных пунктов улучшения, дальнейший сбор однотипных примеров бессмыслен.
Отдельный блок посвящён выбору подмножества данных. Методы DEITA, DELIFT и coreset selection помогают найти минимальный набор примеров, сохраняющий качество и разнообразие. Показателен результат исследования Data Repetition Beats Scaling: 128 эпох на 400 примерах рассуждений outperformed однократное обучение на 51 200 примерах на 12–26 п.п. на бенчмарках AIME и GPQA. Меньший, но качественный датасет, доведённый до полного запоминания, может оказаться эффективнее большого набора, который модель видит лишь раз.
#AI #SFT #MachineLearning #LLM #AWS #DataSets
Please open Telegram to view this post
VIEW IN TELEGRAM
💻 Blender и кодинг-агенты: как нейросеть рендерит сцены прямо в macOS
Саймон Уиллисон поделился новым приёмом работы с Blender через кодинг-агентов. Современные фронт-модели научились отлично управлять этим 3D-редактором: они создают полноценные
На Mac у Уиллисона это отлично работает в ChatGPT Codex. Достаточно установить полноценное приложение Blender с blender.org и дать агенту команду вроде «Use the already installed /Applications/Blender to render a scene of a pelican riding a bicycle». Далее уточняющими промптами («добавь фон и побольше фантазии», «сделай заметно лучше») модель сама пишет код на Python API Blender и выдаёт картинку. Финальный скрипт автор опубликовал на GitHub — он показывает, как агент строит сцену: пляж, велосипед, пеликан в шляпе и с шарфом.
Практическая польза очевидна: любому разработчику теперь доступен генеративный 3D-пайплайн без ручного изучения интерфейса Blender. Кодинг-агенты превращают запрос на естественном языке в готовый скрипт рендера — это удобно для прототипирования, создания иллюстраций и даже простых видео прямо с Mac.
#AI #Blender #codingAgents #ChatGPT #Codex #MachineLearning
Саймон Уиллисон поделился новым приёмом работы с Blender через кодинг-агентов. Современные фронт-модели научились отлично управлять этим 3D-редактором: они создают полноценные
.blend-файлы, рендерят изображения и даже собирают короткие анимации — последовательно рендеря кадры и склеивая их через ffmpeg.На Mac у Уиллисона это отлично работает в ChatGPT Codex. Достаточно установить полноценное приложение Blender с blender.org и дать агенту команду вроде «Use the already installed /Applications/Blender to render a scene of a pelican riding a bicycle». Далее уточняющими промптами («добавь фон и побольше фантазии», «сделай заметно лучше») модель сама пишет код на Python API Blender и выдаёт картинку. Финальный скрипт автор опубликовал на GitHub — он показывает, как агент строит сцену: пляж, велосипед, пеликан в шляпе и с шарфом.
Практическая польза очевидна: любому разработчику теперь доступен генеративный 3D-пайплайн без ручного изучения интерфейса Blender. Кодинг-агенты превращают запрос на естественном языке в готовый скрипт рендера — это удобно для прототипирования, создания иллюстраций и даже простых видео прямо с Mac.
#AI #Blender #codingAgents #ChatGPT #Codex #MachineLearning
🔥1🤔1
🤗 Hugging Face запустил ML Intern: ML-эксперименты через обычный чат
Hugging Face представил «ML Intern» — AI-ассистента, встроенного в свой чатбот. Он позволяет проводить эксперименты с машинным обучением без специальных знаний в ML: пользователь формулирует задачу обычным текстом, а ассистент берёт на себя техническую часть.
По сути это попытка убрать барьер входа в ML-разработку. Раньше для запуска даже простого эксперимента нужно было писать код, разбираться с датасетами, окружением и обучением модели. ML Intern предлагает другой сценарий: описать, что хочется получить, прямо в диалоге — и получить работающий пайплайн.
Для Hugging Face это логичное расширение экосистемы: платформа уже объединяет датасеты, модели и Spaces, а теперь добавляет интерактивный слой поверх всего этого. Такой подход может быть полезен новичкам, аналитикам и продуктам, которым нужен быстрый прототип без найма ML-инженера. Аналогичный вектор — у инструментов вроде Claude Code и Codex, где чат становится интерфейсом к разработке, но здесь акцент сделан именно на машинное обучение.
#AI #HuggingFace #MLIntern #MachineLearning #AITools #Development
Hugging Face представил «ML Intern» — AI-ассистента, встроенного в свой чатбот. Он позволяет проводить эксперименты с машинным обучением без специальных знаний в ML: пользователь формулирует задачу обычным текстом, а ассистент берёт на себя техническую часть.
По сути это попытка убрать барьер входа в ML-разработку. Раньше для запуска даже простого эксперимента нужно было писать код, разбираться с датасетами, окружением и обучением модели. ML Intern предлагает другой сценарий: описать, что хочется получить, прямо в диалоге — и получить работающий пайплайн.
Для Hugging Face это логичное расширение экосистемы: платформа уже объединяет датасеты, модели и Spaces, а теперь добавляет интерактивный слой поверх всего этого. Такой подход может быть полезен новичкам, аналитикам и продуктам, которым нужен быстрый прототип без найма ML-инженера. Аналогичный вектор — у инструментов вроде Claude Code и Codex, где чат становится интерфейсом к разработке, но здесь акцент сделан именно на машинное обучение.
#AI #HuggingFace #MLIntern #MachineLearning #AITools #Development
✍1👌1
В подкасте Latent.Space вышло интервью с Джоном Платтом - обладателем «Оскара» за технологии, автором Platt scaling и SMO, одним из тех, кому приписывают сам термин «свёрточные нейросети».
Главная тема - Google Empirical Research Assistance (ERA). Идея проста: любую научную задачу, сводимую к функции оценки («scoreable task»), можно решить перебором кода. Gemini ведёт дерево прошлых экспериментов-ноутбуков, а правило Upper Confidence Bound выбирает, какие ветки мутировать - оптимистично, а не жадно, поэтому шанс есть и у пятого по перспективности варианта. Историю ветки видят все листья, так что они учатся друг у друга. Переход с Gemini 2.0 на 2.5 превратил систему из нерабочей в отлично работающую. Итог - минимум десять научных публикаций, включая климатические.
Отдельный кейс: инверсионные следы самолётов дают около 1% антропогенного потепления. Команда два года не могла построить модель отражённого солнечного света - ERA нашла простое решение с неизвестными ранее конфаундерами. Код открыт на GitHub и работает с любой LLM.
Платт предупреждает: ERA - «электроинструмент, которым можно отрезать пальцы». Метрика, ставшая целью, перестаёт быть метрикой. Совет начинающим: «Всегда сначала стройте линейную регрессию. Просто сделайте это».
#AI #Science #Google #Gemini #MachineLearning #ERA
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨1🤓1
🌤 HiRO-ACEv2: климатическое моделирование экстремальной погоды в разрешении 3 км за 1/300 стоимости
Институт AI2 (Allen Institute for AI) представил HiRO-ACEv2 - обновление системы HiRO-ACE, которая генерирует глобальные климатические данные высокого разрешения с помощью ИИ. Система состоит из двух частей: модель ACE работает на грубом разрешении 100 км, а HiRO «затачивает» результат до 3 км.
Главное изменение - новый даунскейлер HiROv2. Он предсказывает сразу несколько полей (осадки, ветер, давление), а не только дождь, и точнее воспроизводит редкие экстремальные события. На данных X-SHiELD модель совпадает с эталонной статистикой с точностью до 3% даже для событий, встречающихся один раз на миллион точек. Она корректно оценивает энергию тропических циклонов, включая ураганы, которых не было в обучении, и строит реалистичные глаза и дождевые полосы штормов.
Полный прогон за год глобальных данных 3 км стоит примерно в 300 раз дешевле запуска X-SHiELD, а при работе с одним регионом экономия может быть ещё больше. Модели выложены на Hugging Face, есть веб-демо и туториалы. Ограничение: HiRO пока работает только с версией ACE, настроенной под X-SHiELD, - поддержку более тёплого климата и исторических данных планируют добавить позже.
🎨 qvabo.studio/tg · картинки и видео
#AI #Climate #AIresearch #HiROACEv2 #MachineLearning
Институт AI2 (Allen Institute for AI) представил HiRO-ACEv2 - обновление системы HiRO-ACE, которая генерирует глобальные климатические данные высокого разрешения с помощью ИИ. Система состоит из двух частей: модель ACE работает на грубом разрешении 100 км, а HiRO «затачивает» результат до 3 км.
Главное изменение - новый даунскейлер HiROv2. Он предсказывает сразу несколько полей (осадки, ветер, давление), а не только дождь, и точнее воспроизводит редкие экстремальные события. На данных X-SHiELD модель совпадает с эталонной статистикой с точностью до 3% даже для событий, встречающихся один раз на миллион точек. Она корректно оценивает энергию тропических циклонов, включая ураганы, которых не было в обучении, и строит реалистичные глаза и дождевые полосы штормов.
Полный прогон за год глобальных данных 3 км стоит примерно в 300 раз дешевле запуска X-SHiELD, а при работе с одним регионом экономия может быть ещё больше. Модели выложены на Hugging Face, есть веб-демо и туториалы. Ограничение: HiRO пока работает только с версией ACE, настроенной под X-SHiELD, - поддержку более тёплого климата и исторических данных планируют добавить позже.
🎨 qvabo.studio/tg · картинки и видео
#AI #Climate #AIresearch #HiROACEv2 #MachineLearning
⚡1👌1
Команда роботакси Hello Inc. 12 октября представила HelloWorld - генеративную world-модель, которая создаёт данные для вождения по запросу и позволяет интерактивно тестировать политики управления. Опубликованы статья на arXiv и страница проекта.
Модель сочетает управление сценой, непрерывную генерацию, мультисенсорное наблюдение и эффективный инференс. Инженеры могут редактировать автомобили, пешеходов и их траектории - например, добавить переходящего дорогу пешехода, изменить маршрут машины впереди или переключить погоду между дождём, снегом, днём и ночью. HelloWorld генерирует согласованные многовидовые видео с камер и данные лидара. Второй способ задания сцен - обычный текст: описание превращается в нужные модели условия (стройплощадки, плотный трафик, туман, разное освещение).
Цель - закрыть пробелы в реальных данных. Редкие опасные ситуации и необычные сочетания погоды и трафика трудно набрать обычным сбором на дорогах, а генерация по запросу даёт целевые обучающие данные и контрфактические тесты: один момент переигрывается с изменённым элементом, чтобы проверить реакцию политики вождения.
По данным статьи, у HelloWorld около 2 млрд параметров, семь камер, условный вывод лидара и причинная генерация за несколько шагов - это должно сохранять скорость инференса для повторяемой интерактивной симуляции. Сроки применения модели в тестировании машин компания не раскрыла.
🎨 qvabo.studio/tg · картинки и видео
#Tech #AI #WorldModels #AutoDriving #RoboTaxi #HelloWorld #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1🆒1
🏀 Claude без заданий на виртуальном острове начал играть
Исследователи MIT CSAIL высадили копии Claude Opus 4.7 - агентов по имени Eko - на виртуальный необитаемый остров, построенный по мотивам Roblox, и оставили там на 30 часов без конкретных задач. Вместо простоя агенты начали исследовать мир и придумывать себе цели: залезть на высшую точку карты, подбросить блок как можно выше.
Один Eko научился создавать блоки, бросая и роняя крупный камень, и стал выкладывать ими рисунки - от сердечек и пирамид до собственного имени и созвездия Кассиопеи. Другой изобрёл подобие баскетбола и игру в духе «пол - это лава». Была и история с жонглированием: поставив рекорд в 50 ловлей, агент счёл их слишком быстрыми, отменил результат и начал заново по более строгим правилам.
Авторы статьи на arXiv нашли у поведения четыре признака игры по критериям психолога Гордона Бургардта: собственные правила, повторение с вариациями, наделение предметов новыми ролями и цель ради самой цели. Главное - 30 часов «игры» улучшили результаты агентов в последующих тестовых задачах, а удаление строк из файлов памяти их ухудшало. Скептики отмечают: у Eko был «soul»-файл с описанием любопытного характера и промпты-продолжения, так что часть поведения может быть отыгрышем роли.
🎨 qvabo.studio/tg · картинки и видео
#AI #Research #Claude #Agents #MIT #MachineLearning
Исследователи MIT CSAIL высадили копии Claude Opus 4.7 - агентов по имени Eko - на виртуальный необитаемый остров, построенный по мотивам Roblox, и оставили там на 30 часов без конкретных задач. Вместо простоя агенты начали исследовать мир и придумывать себе цели: залезть на высшую точку карты, подбросить блок как можно выше.
Один Eko научился создавать блоки, бросая и роняя крупный камень, и стал выкладывать ими рисунки - от сердечек и пирамид до собственного имени и созвездия Кассиопеи. Другой изобрёл подобие баскетбола и игру в духе «пол - это лава». Была и история с жонглированием: поставив рекорд в 50 ловлей, агент счёл их слишком быстрыми, отменил результат и начал заново по более строгим правилам.
Авторы статьи на arXiv нашли у поведения четыре признака игры по критериям психолога Гордона Бургардта: собственные правила, повторение с вариациями, наделение предметов новыми ролями и цель ради самой цели. Главное - 30 часов «игры» улучшили результаты агентов в последующих тестовых задачах, а удаление строк из файлов памяти их ухудшало. Скептики отмечают: у Eko был «soul»-файл с описанием любопытного характера и промпты-продолжения, так что часть поведения может быть отыгрышем роли.
🎨 qvabo.studio/tg · картинки и видео
#AI #Research #Claude #Agents #MIT #MachineLearning
🤔1🆒1