Писал в сообщении слова "...Легенду о Зельде", автокоррект предложил "Зельдин".
Зельдин - это чиновник из Хайрула, видимо.
Легенда о Зельдине - Ударим бюрократией по хаосу!

Попросил ИИ сгенерить - не разочаровался.

Переписал код сетки, управляющей "Мужиком из MuJoCo", сделав ее сверточной.
Вектор наблюдений отображается в матрицу 3х32х32 линейным слоем, а дальше уже сетка работает с этим представлением, как с картинкой.
Эта "картинка" проходит через несколько сверточных слоев, и в итоге формируется еще одна матрица 3x32x32 - внутренний стейт сети.
Так как обе эти матрицы имеют такую удобную конфигурацию, из них можно сделать настоящие картинки и сохранить в гифку.
Получаются такие вот "томограммы" этих бегающих болванчиков. Заметили некоторую цикличность? Она соответствует их движениям.

Еще один внутренний стейт, более красочный. Не очень понятно, от чего это зависит, но на это влияет процесс обучения - иногда получаются красочные внутренние стейты, с большим числом переливающихся пикселей, иногда - блеклые, с горсткой мигающих нейронов.

Ах, да. От зомбиизма я его излечил, использовав одну из самых могущественных волшебных субстанций нашего мира - деньги)

В смысле, что пришлось арендовать на несколько часов виртуальную машину с GPU, в которую влезли большие батчи (1024 и больше) - с ними процесс обучения идет стабильнее и сходится лучше.

Он теперь прям бегом бежит.

Этот бегает хорошо, а вот стейт у него какой-то блёклый.
Но он даже добежал до края мира.

Думали, я неделю груши околачивал?
А вот и нет. Учил мужиков из MuJoCo не покладая пайплайна.

Я, собственно, что сделать-то хочу. Бегать они научились, а значит потихоньку можно их и драться друг с другом заставлять. Это и есть конечная цель - файтинг с непрямым управлением, в котором сражаются нейросетевые болванчики.

Однако перед тем, как переходить к более сложной среде, нужно решить вопрос, собственно, с непрямым управлением.

Проблема вот в чем - они же, сцуко, личности, в смысле, я не управляю их действиями напрямую, решение принимает нейронная сетка на основе наблюдений. Соответственно, идея в том, чтоб добавить ей дополнительные входы, на которые подавать коэффициенты при разных членах функции наград, чтобы изменив эти значения можно было получить другое поведение - например, чтоб болванчик старался держать свой центр масс выше или ниже, работал активнее ногами или руками и т.п.

Пока, к сожалению, этого сделать не получилось - сетка выучивает какую-то среднюю стратегию и игнорирует мои сигналы. На видео - два мужика из МуЖоКо, обученные в таком сеттинге. Увы, это не один и тот же с разными значениями управляющих сигналов - это две разные сетки сошлись к двум решениям. Оба игнорируют сигналы. Правда, один (обученный в облаке) оказался куда активнее - и опять у него внутренний стейт куда красочнее и интереснее! А обученный на моем компе вон еле ногами перебирает.

Так что сейчас я продолжаю эксперименты с целью научить их не просто бегать, а бегать в соответствии с моими управляющими сигналами. Тут бесконечное число вариантов реализации, а один эксперимент занимает час-два, так что будем искать решение дальше.

Не дает учить сетки)

Ой, блядь, у меня цензурных слов не осталось. Больше сотни этих дурачков обучил, каждый эксперимент по 2 часа минимум идет.
А он вон чего вытворяет.

Впрочем, это явно не мой баг, похоже, это что-то в MuJoCo. Написал разработчикам, посмотрим, что скажут.

"Солевой, солевой, не хотим играть с тобой!"

Зато внутренний стейт какой красивый. Не то что у того грязного читера, который сквозь пол проваливается.

Ах вон оно что! У MuJoCo есть механизм, который позволяет отключить коллизии межу выбранными телами для ускорения вычислений!

Ну что, падла, больше не получается читерить?)

Смотрите, как у него стейт поменялся, когда он свалился - сетка никогда не видела такой ситуации, для нее это смерти подобно.

Ну не хочет выучить управляемость и все. Наруто, блеать!

Должен был переключаться между обычным бегом и чем-то вроде этого. Но опять выучивает среднюю стратегию, игнорируя мои управляющие сигналы.

Можно поставить Мужика из MuJoCo на колени, но не заставить выполнять чужие приказы!

После всех моих ухищрений он стал лучше бегать, но так и не стал отзываться на мои сигналы. В голову начинает навязчиво лезть мем "а ты знаешь, что такое безумие?"

Все-таки это черная магия. Я вот не могу заранее предсказать, чему научится мужик из MuJoCo при заданных параметрах алгоритма. А уж если код меняешь, то и вовсе.

Я вот переписал пайплайн немного - суть осталась та же, но распараллелил слегка по-другому. И они теперь стали на редкость изобретательны, хоть сейчас в Министерство Тупых Походок.

Это вот все при одной и той же архитектуре сетей, при одной и той же фиксированной функции наград. Просто несколько изменился порядок накопления эпизодов обучения в буфере.

https://www.youtube.com/shorts/d2-UFzujQnA

Попытался его двум стратегиям сразу научить. Кажется, ему не очень.

Да что ты такое творишь?

https://youtube.com/shorts/aupMp6RIZGc?si=T-q8mEkyLd6nqUmt