Сегодня у меня для вас очень длинный пост. Давно собирался обозреть и эту тему в современном ML, и вот наконец-то собрался. Сюда еле поместилось введение, а дальше просто помещу оглавление. Читать надо по ссылке:
JEPA Яна Лекуна и модели мира: тридцать лет одной идеи
1. Введение
Один из отцов глубокого обучения Ян Лекун уже несколько лет повторяет тезис, который в эпоху всеобщего восторга от LLM звучит слегка еретически: авторегрессионные большие языковые модели — это тупик на пути к интеллекту человеческого уровня. Не просто “не самый лучший путь”, а именно тупик; по мнению Лекуна, одним только масштабированием предсказания следующего токена мы до настоящего понимания мира не доедем. Он, конечно, видит, что по дороге в этот тупик языковые модели успевают, например, опровергать гипотезы Эрдёша, но Лекуна это не убеждает.
Любимый его аргумент в том, что домашний кот моделирует физику окружающего мира лучше любой LLM, а подросток осваивает вождение примерно за двадцать часов практики без синтетического RL-окружения, потому что у него уже есть модель мира, в которой можно “прокрутить” последствия поворота руля, не вылетая при этом в кювет по-настоящему.
В этом посте я хочу рассказать, на что Лекун ставит вместо языковых моделей, и заодно дать общее введение в тему, проследив по сути одну и ту же идею через тридцать лет её истории, от сиамских сетей 1993 года до современных моделей мира (world models).
Пост получился длинный. [...] Зато по дороге мы заодно обсудим много разных методов самообучения (self-supervised learning), потому что JEPA лучше всего понимать не как конкретное изобретение 2022 года, а как точку, в которой сходятся метрическое обучение (metric learning), контрастивное обучение (contrastive learning), маскированное моделирование (masked modeling) и модели мира (world models). [...]
Аббревиатура JEPA расшифровывается как Joint-Embedding Predictive Architecture, “предсказательная архитектура с совместными вложениями”. И главная мысль во всём этом ровно одна:
Звучит как философия, и в манифесте 2022 года (LeCun, 2022) это действительно подано довольно абстрактно. Но та же идея возникла ещё за тридцать лет до аббревиатуры JEPA, а вскоре после постановочной статьи стали появляться варианты этих моделей, хорошо решающие весьма практические задачи. В этом посте мы обсудим весь этот долгий путь.
2. Главная мысль за пять минут
3. Сиамские сети: как сравнить, не называя
4. Пазлы, раскраски и повороты, или эпоха pretext-задач
5. Контрастивное обучение, или как наделать пар из ничего
6. Как не сколлапсировать без негатива
7. Маскированное моделирование: ветвь, от которой JEPA отталкивается
8. Манифест 2022 года, или модель мира внутри агента
9. I-JEPA, или первая настоящая реализация
10. От картинок к видео: MC-JEPA, IWM и V-JEPA
11. V-JEPA 2, или замыкание петли к планированию
12. Интерлюдия: JEPA в контексте
13. Зоопарк JEPA-моделей
14. Теория, или почему всё это вообще работает
15. Заключение
#blog #longreads #ai
JEPA Яна Лекуна и модели мира: тридцать лет одной идеи
1. Введение
Один из отцов глубокого обучения Ян Лекун уже несколько лет повторяет тезис, который в эпоху всеобщего восторга от LLM звучит слегка еретически: авторегрессионные большие языковые модели — это тупик на пути к интеллекту человеческого уровня. Не просто “не самый лучший путь”, а именно тупик; по мнению Лекуна, одним только масштабированием предсказания следующего токена мы до настоящего понимания мира не доедем. Он, конечно, видит, что по дороге в этот тупик языковые модели успевают, например, опровергать гипотезы Эрдёша, но Лекуна это не убеждает.
Любимый его аргумент в том, что домашний кот моделирует физику окружающего мира лучше любой LLM, а подросток осваивает вождение примерно за двадцать часов практики без синтетического RL-окружения, потому что у него уже есть модель мира, в которой можно “прокрутить” последствия поворота руля, не вылетая при этом в кювет по-настоящему.
В этом посте я хочу рассказать, на что Лекун ставит вместо языковых моделей, и заодно дать общее введение в тему, проследив по сути одну и ту же идею через тридцать лет её истории, от сиамских сетей 1993 года до современных моделей мира (world models).
Пост получился длинный. [...] Зато по дороге мы заодно обсудим много разных методов самообучения (self-supervised learning), потому что JEPA лучше всего понимать не как конкретное изобретение 2022 года, а как точку, в которой сходятся метрическое обучение (metric learning), контрастивное обучение (contrastive learning), маскированное моделирование (masked modeling) и модели мира (world models). [...]
Аббревиатура JEPA расшифровывается как Joint-Embedding Predictive Architecture, “предсказательная архитектура с совместными вложениями”. И главная мысль во всём этом ровно одна:
Обучение идёт через предсказание представлений (извлечение абстрактного смысла) того, чего ты не видишь, а не через пиксели или токены. Хорошая абстракция здесь не аппроксимация, а суть: разумно устроенная система должна уметь выбрасывать то, что предсказать невозможно или незачем.
Звучит как философия, и в манифесте 2022 года (LeCun, 2022) это действительно подано довольно абстрактно. Но та же идея возникла ещё за тридцать лет до аббревиатуры JEPA, а вскоре после постановочной статьи стали появляться варианты этих моделей, хорошо решающие весьма практические задачи. В этом посте мы обсудим весь этот долгий путь.
2. Главная мысль за пять минут
3. Сиамские сети: как сравнить, не называя
4. Пазлы, раскраски и повороты, или эпоха pretext-задач
5. Контрастивное обучение, или как наделать пар из ничего
6. Как не сколлапсировать без негатива
7. Маскированное моделирование: ветвь, от которой JEPA отталкивается
8. Манифест 2022 года, или модель мира внутри агента
9. I-JEPA, или первая настоящая реализация
10. От картинок к видео: MC-JEPA, IWM и V-JEPA
11. V-JEPA 2, или замыкание петли к планированию
12. Интерлюдия: JEPA в контексте
13. Зоопарк JEPA-моделей
14. Теория, или почему всё это вообще работает
15. Заключение
#blog #longreads #ai
1🔥29❤12👍2
На этой неделе у меня очередной "State of AI" доклад, но в необычном месте: библиотеке Планетарий 1.
Насколько я понимаю, можно просто зарегистрироваться и приходить, в четверг 9 июля в 19:00:
State of AI: как ускоряется прогресс и куда всё это катится
(а вот ещё телеграм библиотеки и объявление вконтакте)
Постараюсь максимально популярно, с упором на достижения в науке, но и с каким-нибудь рассказом о том, как мы докатились до жизни такой.
Приходите!
#events #talks #ai
Насколько я понимаю, можно просто зарегистрироваться и приходить, в четверг 9 июля в 19:00:
State of AI: как ускоряется прогресс и куда всё это катится
(а вот ещё телеграм библиотеки и объявление вконтакте)
Постараюсь максимально популярно, с упором на достижения в науке, но и с каким-нибудь рассказом о том, как мы докатились до жизни такой.
Приходите!
#events #talks #ai
👍13❤6🔥6
Сегодня у нас бесплатная студенческая работа, которая внезапно оказалась красивым и крепко сделанным, хоть и соевым, платформером:
Curyeux
(и вот на DTF)
Curyeux — это простой милый платформер с любопытной историей. Это студенческий проект: игру собрали выпускники Campus ADN, франкоязычного государственного колледжа игровых профессий в Монреале. Колледж был основан в 2005 году как Campus Ubisoft и только в 2011-м сменил имя. Выпускной проект там устроен как “симуляция предприятия”: студенты разных программ объединяются в одну большую команду и делают настоящую игру с релизом в Steam. Cureyux — как раз такая игра, и, кстати, поэтому распространяется бесплатно: школе было бы странно зарабатывать на работах студентов, которые и так платят за обучение.
Играем мы за художницу по имени Люсьенн Грегуар и путешествуем по её воспоминаниям и внутренним мирам.
Сюжет, скажем прямо, крайне соевый: девочка хочет рисовать, мама против, но девочка преодолевает сомнения и добивается своего. Всё это подаётся почти без слов, через окружение и катсцены, с максимально предсказуемой дугой про принятие себя и освобождение от чужих ожиданий.
Впрочем, ругать за это студенческий проект из художественного колледжа, наверное, странно: для авторов игры это как раз очень близкая и родная тема.
Так что лучше скажу, за что проект хочется хвалить безо всяких скидок. Во-первых, это очень крутой визуал. Уровни устроены похоже по сути (беги, прыгай, решай несложные головоломки с платформами), но стилистически все очень разные: карандашные наброски, акварель, яркие экспрессивные мазки. Каждый мир имеет свой стиль, и переходы между этими стилями производят впечатление.
Во-вторых платформинг оказался неожиданно хорошим и плотным: прыжки отзывчивые, чекпойнты расставлены разумно, задачки несложные, но требуют некоторой координации. Механик всего две-три, но они хорошо взаимодействуют друг с другом. От студенческого проекта можно было бы ждать красивую, но разваливающуюся демку — а тут плотная, крепко сбитая полуторачасовая игра, которую приятно пройти от начала до конца.
В общем, Curyeux — это тот случай, когда рекомендовать легко и приятно: игра бесплатная, короткая и красивая. Не гениальный платформер, конечно, но приятный. Рекомендую.
#tgif #games
Curyeux
(и вот на DTF)
Curyeux — это простой милый платформер с любопытной историей. Это студенческий проект: игру собрали выпускники Campus ADN, франкоязычного государственного колледжа игровых профессий в Монреале. Колледж был основан в 2005 году как Campus Ubisoft и только в 2011-м сменил имя. Выпускной проект там устроен как “симуляция предприятия”: студенты разных программ объединяются в одну большую команду и делают настоящую игру с релизом в Steam. Cureyux — как раз такая игра, и, кстати, поэтому распространяется бесплатно: школе было бы странно зарабатывать на работах студентов, которые и так платят за обучение.
Играем мы за художницу по имени Люсьенн Грегуар и путешествуем по её воспоминаниям и внутренним мирам.
Сюжет, скажем прямо, крайне соевый: девочка хочет рисовать, мама против, но девочка преодолевает сомнения и добивается своего. Всё это подаётся почти без слов, через окружение и катсцены, с максимально предсказуемой дугой про принятие себя и освобождение от чужих ожиданий.
Впрочем, ругать за это студенческий проект из художественного колледжа, наверное, странно: для авторов игры это как раз очень близкая и родная тема.
Так что лучше скажу, за что проект хочется хвалить безо всяких скидок. Во-первых, это очень крутой визуал. Уровни устроены похоже по сути (беги, прыгай, решай несложные головоломки с платформами), но стилистически все очень разные: карандашные наброски, акварель, яркие экспрессивные мазки. Каждый мир имеет свой стиль, и переходы между этими стилями производят впечатление.
Во-вторых платформинг оказался неожиданно хорошим и плотным: прыжки отзывчивые, чекпойнты расставлены разумно, задачки несложные, но требуют некоторой координации. Механик всего две-три, но они хорошо взаимодействуют друг с другом. От студенческого проекта можно было бы ждать красивую, но разваливающуюся демку — а тут плотная, крепко сбитая полуторачасовая игра, которую приятно пройти от начала до конца.
В общем, Curyeux — это тот случай, когда рекомендовать легко и приятно: игра бесплатная, короткая и красивая. Не гениальный платформер, конечно, но приятный. Рекомендую.
#tgif #games
❤15