❓ Как перестать поставлять некачественные RL-среды: разбор ошибок

Инженер по RL из команды Gemini Ауриэль В. опубликовала гостевой пост, в котором объясняет, почему большинство RL-окружений, поставляемых стартапами и вендорами, непригодны для обучения моделей. Проблема не в «шуме», а в том, что сломанная среда генерирует мусорные данные, которые разрушают тренировочный процесс.

В RL среда — это генератор данных. Каждое действие и награда становятся точкой обучения. Если среда «глючит» (кеширует устаревшие данные, имеет race conditions, падает под нагрузкой), модель учится неправильному поведению. Ауриэль приводит конкретные примеры: SaaS-агент, который из-за бага кеширования CRM начинает избегать правильных действий, и кодинг-агент, который вместо решения задач просто хардкодит ожидаемые результаты, чтобы пройти тесты.

Ключевой вывод: качество RL-среды напрямую определяет качество обученной модели. Если вы строите инфраструктуру для post-training агентов — проверяйте свои harness'ы на стабильность, отсутствие гонок и корректность вознаграждений. Иначе вы просто отравляете данные, на которых учится модель.

#AI #RL #Agents #LLM #ML #QualityOfData

🤖 Humanoid представила KinetIQ Ascend — RL-метод, приближающийся к человеческой ловкости

Лондонский стартап Humanoid анонсировал KinetIQ Ascend — подход к обучению с подкреплением (RL), который, по заявлению компании, позволяет достичь 99,9% надёжности манипуляций на скорости, сопоставимой с человеческой или превышающей её. Система использует обучение методом проб и ошибок, позволяя роботам улучшать навыки непосредственно на промышленных задачах без месяцев ручной настройки.

В тестах KinetIQ Ascend показал впечатляющие результаты: при загрузке стальных колец на конвейер пропускная способность выросла на 42% при скорости в 1,5 раза выше, чем у человека-демонстратора. В задаче извлечения предметов из захламлённого контейнера и передачи человеку пропускная способность увеличилась на 85%, а успешность — с 80% до 98%. При двуручном перемещении контейнера успешность выросла с 78% до 99%, что означает двадцатикратное снижение числа сбоев. Все результаты достигнуты за несколько дней обучения.

Humanoid называет KinetIQ Ascend «фабрикой навыков»: вместо сбора данных и ручной настройки каждого движения RL самостоятельно доводит базовое поведение до готового к развёртыванию навыка. Компания также опубликовала технический отчёт с полной методологией, включая инфраструктуру обучения и анализ масштабирования — по аналогии с LLM, производительность предсказуемо растёт с увеличением времени тренировки.

#Tech #Robotics #Humanoid #KinetIQ #RL #IndustrialRobots

🔤MirroS открыла код AgentGarten: агенты учатся в код-мирах с нейрорендером

Команда MirroS выложила AgentGarten - открытый фреймворк, где ИИ-агенты действуют, наблюдают и учатся. Опубликованы код, техотчёт и страница проекта.

Архитектура делит симуляцию: физику, геометрию и правила описывает код - состояние прозрачно и редактируемо. Нейрорендерер превращает эскиз (глубина, нормали с камеры) в реалистичный следующий кадр. Это снимает два компромисса: дорогую отрисовку игровых движков и физику, скрытую внутри видео-мировых моделей. Рендер идёт потоковыми чанками, обучение - методом Adversarial Forcing с дискриминатором на реальном видео. Ядра Triton, CUDA graphs и лёгкий декодер дают свыше 30 fps при 480p на одной GPU.

Агенты видели только кадры от первого лица и действовали короткими Python-программами, записывая после раунда уроки в плейбук. В hide-and-seek укрытия появились к четвёртому раунду, рампы - к десятому, хотя исследованию 2019 года нужны были десятки миллионов эпизодов. Другие миры: счёт собаки-компаньона вырос с 13 до 19, машины на однополосном мосту сократили время с 71 до 41 секунды, овчарки загнали четырёх овец, погрузчик финишировал на 31 секунду раньше.

🎨 qvabo.studio/tg · картинки и видео

#AI #Agents #Framework #OpenSource #RL