OmniPoser
мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.
Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все
• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов
• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3
github.com/JamesBridgewater51/omniposer
#mocap
MAX
мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.
Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все
• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов
• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3
github.com/JamesBridgewater51/omniposer
#mocap
MAX
👍3❤1🔥1
LILIE
Энкодер из Стэнфорда, делает потери при обучении картинок умнее
Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.
• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели
github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie
#encoder #training
MAX
Энкодер из Стэнфорда, делает потери при обучении картинок умнее
Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.
• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели
github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie
#encoder #training
MAX
👍4