Google Research презентовал VideoPoet - революция в генерации видео
VideoPoet от Google обещает революцию в создании видеоконтента.
Модель генерирует видео высокого качества, руководствуясь текстовыми подсказками.
Используется комбинация претренированных токенизаторов и ауторегрессивных моделей для предсказания видео и аудио.
Поддержка различных ориентаций и генерация аудио на основе видео входа.
Высокая степень сохранения идентичности объектов и временной согласованности в видео.
Возможность редактирования видео, включая танцы и различные движения.
Функция стилизации видео согласно текстовым указаниям.
Метод позволяет настраивать съемку, указывая тип кадрирования в подсказке.
Теперь создание видео может стать таким же простым, как написание текста.
#GoogleResearch #VideoPoet #VideoGeneration
VideoPoet от Google обещает революцию в создании видеоконтента.
Модель генерирует видео высокого качества, руководствуясь текстовыми подсказками.
Используется комбинация претренированных токенизаторов и ауторегрессивных моделей для предсказания видео и аудио.
Поддержка различных ориентаций и генерация аудио на основе видео входа.
Высокая степень сохранения идентичности объектов и временной согласованности в видео.
Возможность редактирования видео, включая танцы и различные движения.
Функция стилизации видео согласно текстовым указаниям.
Метод позволяет настраивать съемку, указывая тип кадрирования в подсказке.
Теперь создание видео может стать таким же простым, как написание текста.
#GoogleResearch #VideoPoet #VideoGeneration
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Exphormer: революция в обработке графовых данных
Google Research представляет новаторский метод Exphormer для графовых трансформеров.
Технология использует расширители графов для эффективной связи узлов.
Улучшенное масштабирование на большие графы без потери производительности.
Обеспечивает взаимодействие между удалёнными узлами через несколько слоёв.
Демонстрирует сравнимые или превосходящие результаты перед конкурентами.
Эффективное управление долгосрочными зависимостями в структурированных данных.
Прорыв в обработке сложных данных открывает новые возможности для AI.
#GoogleResearch #Exphormer #GraphTransformer
Google Research представляет новаторский метод Exphormer для графовых трансформеров.
Технология использует расширители графов для эффективной связи узлов.
Улучшенное масштабирование на большие графы без потери производительности.
Обеспечивает взаимодействие между удалёнными узлами через несколько слоёв.
Демонстрирует сравнимые или превосходящие результаты перед конкурентами.
Эффективное управление долгосрочными зависимостями в структурированных данных.
Прорыв в обработке сложных данных открывает новые возможности для AI.
#GoogleResearch #Exphormer #GraphTransformer
👍1🔥1
🛠 InstructPipe: Google Research создаёт конкурента n8n и UiPath
Команда исследователей в Google выпустили интересный пропотип ассистента визуального low-code программиста.
Рассмотрим его чуть подробнее, пока он еще не стал мейнстримом и не подмял весь рынок.
Предыстория
Есть в Гугле такой проект - Rapsai, занимающийся визуальным программированием, в основном под пайплайны обработки видео, картинок и звука.
В проекте есть около 30 нод и все заточено на упрощение полного цикла медиа производства.
И вот они выкатили ассистента – InstructPipe, который позволяет одним запросом строить эти самые визуальные ноды.
Ну, сделали и сделали, скажете, но интересно как именно они это сделали и какие перспективы.
ИМХО тут огромный потенциал для конкуренции с лидерами рынка вроде n8n или UIPath:
1. Сообщение от пользователя анализируется и превращается в md файл с инструкциями по процессу создания нод.
2. Перечень инструментов (считай апи) тоже подается в контекст – стандартный агентский подход
3. Дальше ЛЛМка идет по инструкции для каждой ноды и прорабатывает ее согласно описанию ( у них всего 8К контекста в модели, поэтому разбили обработку на отдельные маленькие шаги)
4. Результат, вместе с мд инструкцией передается в кодового агента и уже он финалит ноды.
Ну и у них там встроенный визуализатор путей уже рабочий (VisualBlocks), поэтому оно сразу наглядно отображается.
По тестам на 16-ти кейсах текущий прототип уже сокращает количество действий на 81,1%!
Возможный выход на рынок через год
Если Google грамотно разыграет эту карту, мы увидим примерно такую эволюцию:
1. Расширение библиотеки нодов — в ближайшие полгода с 27 до 300-500 нодов
2. Интеграция с Google Cloud Services — прямой доступ к BigQuery, Vision API, Document AI и прочим
3. Enterprise-функционал — управление доступом, версионирование, логирование
4. Marketplace с community-нодами — без этого уже не модно
Уже прямо сейчас в их paper видны намёки на эти шаги — фокус на масштабировании, работе с "фирменными" ML-моделями Google.
Проблемы, которые пока не решены
1. Галлюцинации — модель иногда придумывает несуществующие ноды.
2. Ручная настройка параметров нодов — это не автоматизировано, в отличие от структуры пайплайна.
Запишем их в отдельный блокнотик перспективных проектов и будем продолжать наблюдение. Вернемся через год-полтора в пределах продуктового цикла Google.
Paper
Демки тут
GitHub
#InstructPipe #GoogleResearch #VisualBlocks #LowCode
———
@tsingular
Команда исследователей в Google выпустили интересный пропотип ассистента визуального low-code программиста.
Рассмотрим его чуть подробнее, пока он еще не стал мейнстримом и не подмял весь рынок.
Предыстория
Есть в Гугле такой проект - Rapsai, занимающийся визуальным программированием, в основном под пайплайны обработки видео, картинок и звука.
В проекте есть около 30 нод и все заточено на упрощение полного цикла медиа производства.
И вот они выкатили ассистента – InstructPipe, который позволяет одним запросом строить эти самые визуальные ноды.
Ну, сделали и сделали, скажете, но интересно как именно они это сделали и какие перспективы.
ИМХО тут огромный потенциал для конкуренции с лидерами рынка вроде n8n или UIPath:
1. Сообщение от пользователя анализируется и превращается в md файл с инструкциями по процессу создания нод.
2. Перечень инструментов (считай апи) тоже подается в контекст – стандартный агентский подход
3. Дальше ЛЛМка идет по инструкции для каждой ноды и прорабатывает ее согласно описанию ( у них всего 8К контекста в модели, поэтому разбили обработку на отдельные маленькие шаги)
4. Результат, вместе с мд инструкцией передается в кодового агента и уже он финалит ноды.
Ну и у них там встроенный визуализатор путей уже рабочий (VisualBlocks), поэтому оно сразу наглядно отображается.
По тестам на 16-ти кейсах текущий прототип уже сокращает количество действий на 81,1%!
Возможный выход на рынок через год
Если Google грамотно разыграет эту карту, мы увидим примерно такую эволюцию:
1. Расширение библиотеки нодов — в ближайшие полгода с 27 до 300-500 нодов
2. Интеграция с Google Cloud Services — прямой доступ к BigQuery, Vision API, Document AI и прочим
3. Enterprise-функционал — управление доступом, версионирование, логирование
4. Marketplace с community-нодами — без этого уже не модно
Уже прямо сейчас в их paper видны намёки на эти шаги — фокус на масштабировании, работе с "фирменными" ML-моделями Google.
Проблемы, которые пока не решены
1. Галлюцинации — модель иногда придумывает несуществующие ноды.
2. Ручная настройка параметров нодов — это не автоматизировано, в отличие от структуры пайплайна.
Запишем их в отдельный блокнотик перспективных проектов и будем продолжать наблюдение. Вернемся через год-полтора в пределах продуктового цикла Google.
Paper
Демки тут
GitHub
#InstructPipe #GoogleResearch #VisualBlocks #LowCode
———
@tsingular
👍2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Google Research: DialogLab — оркестрация ИИ-команд
Google представили DialogLab — open-source фреймворк для проектирования и тестирования групповых диалогов, где участвуют и люди, и несколько ИИ-агентов одновременно.
Прощай, скучный чат «один на один», привет, симуляция семейных ужинов и рабочих совещаний.
Как работает:
🔹 Разделение слоев: Система отделяет «социальную геометрию» (роли, подгруппы, отношения) от временной шкалы диалога. Это позволяет задавать динамику: кто кого перебивает, кто поддерживает, а кто уходит в оппозицию.
🔹 Workflow «Author-Test-Verify»: Сначала накидываем сцену в визуальном редакторе (drag-and-drop), затем запускаем симуляцию с человеком (Human-in-the-loop) и в конце смотрим аналитику — кто доминировал в эфире и какой был тон общения.
🔹 Три режима тестирования: От полной автономности агентов до реактивного поведения (отвечают, только когда спросят) и прямого контроля «режиссером».
Практическая ценность огромна: от тренировки публичных выступлений перед «сложной» аудиторией или создания живых NPC в играх, которые общаются между собой, а не просто ждут игрока до прогона социальных гипотез и маркетинговых сценариев по анализу аудитории.
Пощупать код можно на GitHub.
#GoogleResearch #DialogLab #агенты
———
@tsingular
Google представили DialogLab — open-source фреймворк для проектирования и тестирования групповых диалогов, где участвуют и люди, и несколько ИИ-агентов одновременно.
Прощай, скучный чат «один на один», привет, симуляция семейных ужинов и рабочих совещаний.
Как работает:
🔹 Разделение слоев: Система отделяет «социальную геометрию» (роли, подгруппы, отношения) от временной шкалы диалога. Это позволяет задавать динамику: кто кого перебивает, кто поддерживает, а кто уходит в оппозицию.
🔹 Workflow «Author-Test-Verify»: Сначала накидываем сцену в визуальном редакторе (drag-and-drop), затем запускаем симуляцию с человеком (Human-in-the-loop) и в конце смотрим аналитику — кто доминировал в эфире и какой был тон общения.
🔹 Три режима тестирования: От полной автономности агентов до реактивного поведения (отвечают, только когда спросят) и прямого контроля «режиссером».
Практическая ценность огромна: от тренировки публичных выступлений перед «сложной» аудиторией или создания живых NPC в играх, которые общаются между собой, а не просто ждут игрока до прогона социальных гипотез и маркетинговых сценариев по анализу аудитории.
Пощупать код можно на GitHub.
ОК Молти, скачай фреймворк и создай фокус-группу по семейному профилю :)
#GoogleResearch #DialogLab #агенты
———
@tsingular
1🔥10✍4👍3❤2👾1
GoogleResearch ReasoningBank: агенты учатся на собственных ошибках
Часто LLM-агентам приходится повторять одно и то же по несколько раз.
Для решения этой проблемы Google Research представил фреймворк, который заставляет агентов извлекать уроки из провалов и позволяет из сырых логов построить обобщённые стратегии.
🧠 Память о провалах: ReasoningBank строит банк памяти из двух источников: удачные траектории дают подтверждённые стратегии, неудачные — контрфактические сигналы и ловушки. Каждый элемент памяти содержит заголовок, описание и содержание с рассуждениями. Оценка успеха/провала через LLM-as-a-Judge.
⚙️ MaTTS, масштабирование с памятью: Комбинация ReasoningBank с test-time scaling. Параллельное масштабирование (k траекторий на одну задачу) создаёт контрастные сигналы: спонтанные совпадения отфильтровываются, устойчивые паттерны усиливаются.
Последовательное масштабирование фиксирует промежуточные инсайты из итеративного улучшения.
📊 Результаты: На WebArena прирост SR на +8.3% относительно агента без памяти, на SWE-Bench-Verified на +4.6%. Сокращение шагов до 1.4 на задачу. С MaTTS (k=5) ещё +3% SR.
На Gemini-2.5-Pro достигнут SR 53.9% на WebArena против 46.7% без памяти.
💼 Зачем бизнесу: Агентные системы в продакшене повторяют одни и те же ошибки.
ReasoningBank даёт механизм самообучения без дообучения модели: агент эволюционирует в рантайме, накапливая стратегическую память.
Для компаний, запускающих автономных агентов в поддержку, DevOps и аналитику, это прямой путь к сокращению стоимости итераций при росте качества.
🔮 Будущее: Memory-driven scaling — новая размерность для агентных систем. Банки рассуждений станут стандартным слоем инфраструктуры, как RAG сегодня.
И стать основой для обучения моделей следующего поколения.
Не просто рассуждающие модели, а модели сразу с опытом работы с инструментами с размышлениями.
paper | GitHub
#ReasoningBank #GoogleResearch #агенты #памятьИИ #LLM #самообучение
------
@tsingular
Часто LLM-агентам приходится повторять одно и то же по несколько раз.
Для решения этой проблемы Google Research представил фреймворк, который заставляет агентов извлекать уроки из провалов и позволяет из сырых логов построить обобщённые стратегии.
🧠 Память о провалах: ReasoningBank строит банк памяти из двух источников: удачные траектории дают подтверждённые стратегии, неудачные — контрфактические сигналы и ловушки. Каждый элемент памяти содержит заголовок, описание и содержание с рассуждениями. Оценка успеха/провала через LLM-as-a-Judge.
⚙️ MaTTS, масштабирование с памятью: Комбинация ReasoningBank с test-time scaling. Параллельное масштабирование (k траекторий на одну задачу) создаёт контрастные сигналы: спонтанные совпадения отфильтровываются, устойчивые паттерны усиливаются.
Последовательное масштабирование фиксирует промежуточные инсайты из итеративного улучшения.
📊 Результаты: На WebArena прирост SR на +8.3% относительно агента без памяти, на SWE-Bench-Verified на +4.6%. Сокращение шагов до 1.4 на задачу. С MaTTS (k=5) ещё +3% SR.
На Gemini-2.5-Pro достигнут SR 53.9% на WebArena против 46.7% без памяти.
💼 Зачем бизнесу: Агентные системы в продакшене повторяют одни и те же ошибки.
ReasoningBank даёт механизм самообучения без дообучения модели: агент эволюционирует в рантайме, накапливая стратегическую память.
Для компаний, запускающих автономных агентов в поддержку, DevOps и аналитику, это прямой путь к сокращению стоимости итераций при росте качества.
🔮 Будущее: Memory-driven scaling — новая размерность для агентных систем. Банки рассуждений станут стандартным слоем инфраструктуры, как RAG сегодня.
И стать основой для обучения моделей следующего поколения.
Не просто рассуждающие модели, а модели сразу с опытом работы с инструментами с размышлениями.
paper | GitHub
#ReasoningBank #GoogleResearch #агенты #памятьИИ #LLM #самообучение
------
@tsingular
🔥13✍6❤3⚡3
Google Research представили SensorFM — фундаментальную модель, которая понимает физиологию по данным с носимых устройств
⚡️ Google Research (Xin Liu и Daniel McDuff) выкатили SensorFM, фундаментальную модель, предобученную на триллионе минут сенсорных данных от пяти миллионов человек.
Данные целый год собирались с Fitbit и Pixel Watch в более чем ста странах — крупнейший датасет носимой физиологии.
📦 Модель обрабатывает 34 минутных признака из пяти сенсорных модальностей: фотоплетизмограмма, акселерометр, электродермальная активность, температура кожи и альтиметрия.
Учится без разметки, восстанавливая намеренно и естественно пропущенные фрагменты: данные с запястья всегда рваные, и SensorFM использует эту фрагментарность как учебный сигнал.
Старшая SensorFM-B на 100 млн параметров снижает ошибку восстановления на 31% и выигрывает на 33 из 35 прикладных задач — от сердечно-сосудистых рисков и метаболизма до депрессии и тревожности, где сигнал особенно слабый.
💡 Автоматизацию адаптации отдали LLM-агентам, которые пишут и отлаживают предсказательные слои поверх эмбеддингов SensorFM, перебрав больше 30 000 вариантов кода.
Главная ценность SensorFM — не в появлении «ИИ-врача в часах», а в создании универсального слоя между потоком сенсорных данных и медицинскими приложениями.
Разработчикам больше не потребуется собирать огромную размеченную выборку и обучать отдельную модель для каждой новой задачи: достаточно адаптировать уже сформированное представление физиологии.
Практическая польза технологии для исследований и создания персональных систем достаточно высокая.
Для обычного пользователя она пока косвенная: SensorFM остаётся исследовательской моделью, а не сертифицированным диагностическим инструментом.
Эксперимент с медицинским агентом проведён всего на 31 профиле, поэтому утверждать, что модель способна заменить лабораторные анализы или врача, нельзя.
Это не первый фундаментальный ИИ для носимых устройств: Apple публиковала сходную работу ещё в 2025 году.
Прорыв Google заключается прежде всего в масштабе данных, разнообразии сенсоров и объединении модели с агентами, способными автоматически строить новые инструменты анализа.
#SensorFM #GoogleResearch
———
@tsingular
⚡️ Google Research (Xin Liu и Daniel McDuff) выкатили SensorFM, фундаментальную модель, предобученную на триллионе минут сенсорных данных от пяти миллионов человек.
Данные целый год собирались с Fitbit и Pixel Watch в более чем ста странах — крупнейший датасет носимой физиологии.
📦 Модель обрабатывает 34 минутных признака из пяти сенсорных модальностей: фотоплетизмограмма, акселерометр, электродермальная активность, температура кожи и альтиметрия.
Учится без разметки, восстанавливая намеренно и естественно пропущенные фрагменты: данные с запястья всегда рваные, и SensorFM использует эту фрагментарность как учебный сигнал.
Старшая SensorFM-B на 100 млн параметров снижает ошибку восстановления на 31% и выигрывает на 33 из 35 прикладных задач — от сердечно-сосудистых рисков и метаболизма до депрессии и тревожности, где сигнал особенно слабый.
💡 Автоматизацию адаптации отдали LLM-агентам, которые пишут и отлаживают предсказательные слои поверх эмбеддингов SensorFM, перебрав больше 30 000 вариантов кода.
Главная ценность SensorFM — не в появлении «ИИ-врача в часах», а в создании универсального слоя между потоком сенсорных данных и медицинскими приложениями.
Разработчикам больше не потребуется собирать огромную размеченную выборку и обучать отдельную модель для каждой новой задачи: достаточно адаптировать уже сформированное представление физиологии.
Практическая польза технологии для исследований и создания персональных систем достаточно высокая.
Для обычного пользователя она пока косвенная: SensorFM остаётся исследовательской моделью, а не сертифицированным диагностическим инструментом.
Эксперимент с медицинским агентом проведён всего на 31 профиле, поэтому утверждать, что модель способна заменить лабораторные анализы или врача, нельзя.
Это не первый фундаментальный ИИ для носимых устройств: Apple публиковала сходную работу ещё в 2025 году.
Прорыв Google заключается прежде всего в масштабе данных, разнообразии сенсоров и объединении модели с агентами, способными автоматически строить новые инструменты анализа.
#SensorFM #GoogleResearch
———
@tsingular
👍8🔥8❤3⚡2