🪩 Наконец роботы научились не просто ломаться, но и более-менее внятно объяснять, что с ними произошло!

🩺 Разработан диагностический ИИ-агент ROS Help Desk (RosHD) для робототехнического программного обеспечения. Как следует из названия, он предназначен для машин, функционирующих под управлением Robot Operating System — открытого программного фреймворка, широко применяемого в исследовательской, сервисной и мобильной робототехнике.

🦿 Из-за распределённой архитектуры ROS неисправность может возникнуть в одном узле, проявиться в другом и затронуть несколько потоков данных. Раньше для диагностики разработчику приходилось сопоставлять журналы, состояние узлов и топиков, параметры, исходный код и показания датчиков.

😎 Теперь ситуация иная. Агент непрерывно следит за состоянием робота, замечает аномалии и помогает разработчику найти неисправность, объясняя что случилось на естественном языке.

Вместо традиционного сценария «робот встал — инженер открыл 17 терминалов — началась археология по логам» система сама сообщает:

⏺ пропали сообщения лидара;
⏺ изображения с камеры перестали обновляться;
⏺ один из узлов аварийно завершился;
⏺ вот подозрительный топик;
⏺ вот вероятная причина;
⏺ а вот что стоит проверить дальше.

🤖 RosHD не просто скармливает большой языковой модели содержимое /rosout. Система подключена непосредственно к фреймворку и объединяет сразу несколько источников информации:

⚙️ постоянно анализирует логи;
👁️ следит за потоками RGB-камер и лидара;
⭕️ запускает диагностические инструменты ROS;
🔎 изучает исходный код проблемных узлов;
📊 ищет похожие случаи в пополняемой базе ошибок и решений;
👤 объясняет результат через единый чат-интерфейс.

👍 Причём ответы адаптируются к уровню пользователя. Новичку RosHD сначала расскажет, что такое узел и топик. Опытному разработчику сразу выдаст имена компонентов, подписки, публикации и подозрительные параметры.

🧠 В общем, у нас наконец-то ИИ, который понимает, когда можно не начинать объяснение со слов «ROS — это не совсем операционная система».

Как проверяли эффективность?

В контролируемом исследовании 28 разработчиков с помощью RosHD успешно справились с 92,85% диагностических заданий. При использовании базовой справочной поддержки — только с 17,86%.

Впрочем, стоит немного приглушить аварийную сигнализацию хайпа. Все неисправности создавались в Gazebo на TurtleBot3 и были заранее определены. Так что не факт, что RosHD безошибочно найдёт плавающую проблему DDS, дрейф калибровки, перегрев контроллера или рассинхронизацию временных меток на реальном промышленном роботе.

Да и истинную причину намеренно внесённого сбоя ранняя версия определяла лишь в 18% прогонов. Пока система заметно лучше отвечает на вопрос «где искать», чем указывает, «кто виноват».

✨ И всё же это уже абрис реалистичного будущего робототехники. Большая языковая модель становится надстройкой над логами, сенсорными потоками, кодом и инструментами ROS. Она собирает технические улики, проверяет гипотезы и переводит результат с технического на человеческий.

🙂 До робота, который сам себя ремонтирует, ещё далеко. Но робот, который сам создаёт внятный баг-репорт, — уже весьма неплохое начало.

Почитать оригинальное исследование в
IEEE RA-L | открытый препринт в ArXiv
и
Подписаться на 💚💚💚💚💚

#Робототехника, #ROS #Агенты #Искусственный_интеллект #ИИ_и_роботы #БЯМ

Говорят, что во время Золотой лихорадки больше всего озолотились торговцы лопатами и кирками, а в ходе нынешнего бума искусственного интеллекта настоящие прибыли получили бывшие производители мебельной фурнитуры, вовремя переориентировавшиеся на сборку серверных стоек 😎

🧠 Судя по всему, компания Qualcomm, больше всего известная многолетними разработками технологий беспроводной связи и семейством систем на кристалле Snapdragon, вдохновлялась именно этими кейсами.

👍 На днях они объявили о соглашении по приобретению PickNik Inc. — фирмы, много лет развивающей MoveIt, один из самых распространённых фреймворков с открытым исходным кодом для планирования движений и роботизированной манипуляции в экосистеме ROS. 

🕹️ Для тех, кто не живёт внутри ROS, как руководитель лаборатории 💚 💚💚💚💚 Антон Якимов: MoveIt — это тот слой, который помогает роботизированной руке понять, как именно добраться из точки А в точку Б, не врезаться в стол, выбрать допустимую конфигурацию суставов, спланировать захват и выполнить его. 

⚙️ MoveIt занимает стратегически важный слой робототехнического стека: между высокоуровневой фундаментальной моделью и реальным движением конечных эффекторов. За 15 лет через экосистему проекта прошли тысячи роботов; в разработке MoveIt участвовали более 560 контрибьюторов, а сам проект насчитывает около 40 репозиториев.

❤️ Покупатель обещает сохранить MoveIt 1 и MoveIt 2 открытыми, hardware-agnostic (работает независимо от конкретного железа).  и доступными для сторонних платформ. 

И зачем это нужно Qualcomm? ⬇️

🔜 Qualcomm уже несколько лет пытается снизить свою зависимость от смартфонов. К 2029 финансовому году компания рассчитывает получить $14 млрд от IoT, и примерно $8 млрд от робототехники. 

🔜 Выглядеть это будет примерно так: внизу — семейство процессоров Dragonwing, рассчитанных на периферийный искусственный интеллект (Edge AI) и робототехнику. Выше — аппаратное обеспечение в виде Arduino VENTUNO Q с Dragonwing IQ8, до 40 TOPS ИИ-производительности и отдельным микроконтроллером STM32 для детерминированного управления моторами. Теперь сверху появляется MoveIt и коммерческий MoveIt Pro — слой восприятия, планирования действий и их реализации. 

🔜 Qualcomm прямо говорит, что после сделки хочет обеспечить для MoveIt «first-class optimized support» (даже не знаю, как это лучше перевести) на Dragonwing и сократить путь от фундаментальной модели до работающего робота.

🔜 Данная стратегия очень похожа на классическую платформенную. Qualcomm не нужно угадывать, победит ли Figure, Unitree, Apptronik или условный промышленный манипулятор без головы и ног. Гораздо выгоднее попытаться оказаться внутри вычислительного и программного стека многих производителей сразу. 

🔜 Если разработчик начинает прототип на Arduino/Dragonwing, использует MoveIt, оптимизированные Qualcomm библиотеки и затем переносит всё это в серийную машину — затраты на смену поставщика постепенно растут.

💪 Как итог, Qualcomm пытается повторить в робототехнике то, что успешные платформенные компании делают в других сегментах вычислений: контролировать не конечный продукт, а инструменты, через которые этот продукт создаётся.

💚💚💚💚💚 Telegram | Хабр

#Робототехника #ROS #Экономика