🛠 InstructPipe: Google Research создаёт конкурента n8n и UiPath
Команда исследователей в Google выпустили интересный пропотип ассистента визуального low-code программиста.
Рассмотрим его чуть подробнее, пока он еще не стал мейнстримом и не подмял весь рынок.
Предыстория
Есть в Гугле такой проект - Rapsai, занимающийся визуальным программированием, в основном под пайплайны обработки видео, картинок и звука.
В проекте есть около 30 нод и все заточено на упрощение полного цикла медиа производства.
И вот они выкатили ассистента – InstructPipe, который позволяет одним запросом строить эти самые визуальные ноды.
Ну, сделали и сделали, скажете, но интересно как именно они это сделали и какие перспективы.
ИМХО тут огромный потенциал для конкуренции с лидерами рынка вроде n8n или UIPath:
1. Сообщение от пользователя анализируется и превращается в md файл с инструкциями по процессу создания нод.
2. Перечень инструментов (считай апи) тоже подается в контекст – стандартный агентский подход
3. Дальше ЛЛМка идет по инструкции для каждой ноды и прорабатывает ее согласно описанию ( у них всего 8К контекста в модели, поэтому разбили обработку на отдельные маленькие шаги)
4. Результат, вместе с мд инструкцией передается в кодового агента и уже он финалит ноды.
Ну и у них там встроенный визуализатор путей уже рабочий (VisualBlocks), поэтому оно сразу наглядно отображается.
По тестам на 16-ти кейсах текущий прототип уже сокращает количество действий на 81,1%!
Возможный выход на рынок через год
Если Google грамотно разыграет эту карту, мы увидим примерно такую эволюцию:
1. Расширение библиотеки нодов — в ближайшие полгода с 27 до 300-500 нодов
2. Интеграция с Google Cloud Services — прямой доступ к BigQuery, Vision API, Document AI и прочим
3. Enterprise-функционал — управление доступом, версионирование, логирование
4. Marketplace с community-нодами — без этого уже не модно
Уже прямо сейчас в их paper видны намёки на эти шаги — фокус на масштабировании, работе с "фирменными" ML-моделями Google.
Проблемы, которые пока не решены
1. Галлюцинации — модель иногда придумывает несуществующие ноды.
2. Ручная настройка параметров нодов — это не автоматизировано, в отличие от структуры пайплайна.
Запишем их в отдельный блокнотик перспективных проектов и будем продолжать наблюдение. Вернемся через год-полтора в пределах продуктового цикла Google.
Paper
Демки тут
GitHub
#InstructPipe #GoogleResearch #VisualBlocks #LowCode
———
@tsingular
Команда исследователей в Google выпустили интересный пропотип ассистента визуального low-code программиста.
Рассмотрим его чуть подробнее, пока он еще не стал мейнстримом и не подмял весь рынок.
Предыстория
Есть в Гугле такой проект - Rapsai, занимающийся визуальным программированием, в основном под пайплайны обработки видео, картинок и звука.
В проекте есть около 30 нод и все заточено на упрощение полного цикла медиа производства.
И вот они выкатили ассистента – InstructPipe, который позволяет одним запросом строить эти самые визуальные ноды.
Ну, сделали и сделали, скажете, но интересно как именно они это сделали и какие перспективы.
ИМХО тут огромный потенциал для конкуренции с лидерами рынка вроде n8n или UIPath:
1. Сообщение от пользователя анализируется и превращается в md файл с инструкциями по процессу создания нод.
2. Перечень инструментов (считай апи) тоже подается в контекст – стандартный агентский подход
3. Дальше ЛЛМка идет по инструкции для каждой ноды и прорабатывает ее согласно описанию ( у них всего 8К контекста в модели, поэтому разбили обработку на отдельные маленькие шаги)
4. Результат, вместе с мд инструкцией передается в кодового агента и уже он финалит ноды.
Ну и у них там встроенный визуализатор путей уже рабочий (VisualBlocks), поэтому оно сразу наглядно отображается.
По тестам на 16-ти кейсах текущий прототип уже сокращает количество действий на 81,1%!
Возможный выход на рынок через год
Если Google грамотно разыграет эту карту, мы увидим примерно такую эволюцию:
1. Расширение библиотеки нодов — в ближайшие полгода с 27 до 300-500 нодов
2. Интеграция с Google Cloud Services — прямой доступ к BigQuery, Vision API, Document AI и прочим
3. Enterprise-функционал — управление доступом, версионирование, логирование
4. Marketplace с community-нодами — без этого уже не модно
Уже прямо сейчас в их paper видны намёки на эти шаги — фокус на масштабировании, работе с "фирменными" ML-моделями Google.
Проблемы, которые пока не решены
1. Галлюцинации — модель иногда придумывает несуществующие ноды.
2. Ручная настройка параметров нодов — это не автоматизировано, в отличие от структуры пайплайна.
Запишем их в отдельный блокнотик перспективных проектов и будем продолжать наблюдение. Вернемся через год-полтора в пределах продуктового цикла Google.
Paper
Демки тут
GitHub
#InstructPipe #GoogleResearch #VisualBlocks #LowCode
———
@tsingular
👍2🔥2