EMMA: End-to-End Multimodal Model for Autonomous Driving

Сегодня разберём статью об EMMA — end-to-end модели на основе LLM для задач автономного вождения.

Верхнеуровнево архитектуру EMMA можно рассмотреть на схеме. В качестве LLM авторы используют Gemini. На входы модели подают изображения с камер (camera-only), историю ego и подсказки маршрутизатора. HD-карты не используются.

Chain-of-thought начинается с описания сцены (scene description), потом модель выделяет участников движения (critical objects) и переходит к описанию их поведения (behavior description of critical objects). А в конце — принимает решение, как управлять транспортным средством (meta driving decision).

Задачи перспешна (3D object detection, road graph estimation, scene understanding) решает Gemini — по изображениям с камер и соответствующим им промптам. Чтобы выбрать лучшую моду, модель считает попарные L2-расстояния между всеми траекториями. Топ-1 становится траектория с наименьшим средним L2.

Из плюсов EMMA — неплохие значения ADE по сравнению с Wayformer и MotionLM. Но недостатков у модели много:

🔴 повышенные вычислительные требования,
🔴 необходимость адаптировать сетку для обработки данных с лидаров,
🔴 сложности оценки модели в closed-loop,
🔴 небольшое число обрабатываемых изображений с камер.

EMMA — один из примеров того, как можно применять LLM для задач автономного вождения, выбивая при этом неплохие значения метрик open-loop. В целом, end-to-end подходы набирают всю большую популярность. Думаю, дальнейшие исследования будут направлены на преодоление вычислительных ограничений и внедрение симуляции сенсоров в closed-loop.

Разбор подготовил ❣️ Павел Лукьянов
404 driver not found

Гаджеты... ClockWork Project

📱 Telegram | 🌐 ВК | 📲 MAX

📌 NousResearch подвела итоги хакатона Hermes Agent.

NousResearch завершила хакатон, запущенный в конце февраля вслед за релизом Hermes Agent.

Из 187 заявок жюри отобрало финалистов по 3 критериям: креативность, практическая польза и качество презентации. Призовой фонд составил $11 750.

🟡Первое место и $7 500 забрал проект Media Tool

Это набор инструментов для обработки видео и аудио, который встраивается в Hermes как нативный скилл.

Загружаете файл в чат, описываете задачу текстом и получаете результат: обрезка, сжатие, конвертация форматов, наложение субтитров, генерация GIF-файлов, создание стикеров для Telegram или нормализация звука. Под капотом - ffmpeg. Работает через Telegram, Discord и CLI.

🟡На втором месте ($2 500) - Hermes Agentic CAD Builder.

Агент находит реальные комплектующие в каталоге McMaster-Carr, подставляет фактические размеры найденной детали в параметрическую модель FreeCAD, анализирует, какие элементы сборки конфликтуют после изменений, и ведет спецификацию.

При обнаружении повторяющихся сценариев агент сам создает новые скиллы - например, для подбора определенного типа крепежа.

🟡Третье место ($1 000) получил Hermes Sidecar.

Браузерное расширение, которое открывает чат с Hermes Agent рядом с любой страницей. Фишка проекта - селективный контекст: агент видит только то, что пользователь выбрал (текст страницы, выделенный фрагмент, изображения, содержимое PDF). Поддерживаются кастомные темы, голосовой ввод, TTS и работа через SSH.

🟡Четвертое место ($500) - Terminal World Map with Live News.

Спутниковые снимки рендерятся цветными юникод-блоками прямо в терминале, поверх отображаются города из OpenStreetMaps и заголовки новостей, привязанные к координатам в реальном времени. Геокодинг-пайплайн определяет локации из заголовков, расставляет приоритеты по населению и близости к другим видимым новостям. Автор собрал проект за один день, работая через Hermes Agent с Opus 4.6.

🟡Пятое место ($250) досталось HERMES Mars Rover

Симуляция автономного марсохода. Hermes Agent управляет моделью NASA Perseverance в среде Gazebo: планирование маршрута, считывание показаний IMU, четырех камер, LIDAR и контактных сенсоров, обход препятствий и генерация отчета о миссии.

Марсианская физика с гравитацией, проскальзыванием колес и динамикой ODE. За 25 минут автономной работы точность возврата на базу ~ 22 см. Ровер останавливается при наклоне больше 25°, сохраняет удачные треки и улучшает поведение от сессии к сессии.

Кстати, Hermes Agent написал роман «The Second Son of the House of Bells» - 79 456 слов, 19 глав. Агент выстроил собственный пайплайн по схеме, похожей на Autoresearch Андрея Карпатого: мироконструирование, черновики глав, состязательное редактирование, ревью через Opus, верстка в LaTeX, генерация обложки и аудиокниги.

@ai_machinelearning_big_data

#news #ai #ml