GEN-1.5 от Generalist AI: робот осваивает новую задачу с первой попытки
📋 Generalist AI,- компания основанная в 2024 году выходцами из Google DeepMind и Boston Dynamics и в ноябре привлекшая 400 млн. долларов при оценке в 2 миллиарда, в т.ч. от Nvidia, на этой неделе показали GEN-1.5, свою новую фундаментальную модель для роботов.
Главная фишка модели: она осваивает физический навык за секунды, с одного показа, минуя обучение.
Показали, как открыть банку, расстегнуть молнию или достать деньги из кошелька, и робот тут же повторяет.
Десятилетиями универсальный робот требовал месяцев программирования силами инженеров.
Теперь всё сводится к тому, чтобы просто показать пример.
💡 GEN-1.5, - это большая мультимодальная модель: на входе видео с памятью на 30 секунд, сенсоры, язык и проприоцепция (т.н. шестое чувство, которое позволяет ощущать положение частей собственного тела в пространстве и их движение без помощи зрения), на выходе траектории действий на 100 Гц.
Приём назван физической подсказкой: сенсомоторную демонстрацию длиной от 3 до 12 секунд кладут в контекстное окно, и модель выполняет задачу без единого шага дообучения.
Средний успех с одного показа 59%, после десяти шагов дообучения на пяти минутах данных уже 83%.
💼 Авторы прямо проводят параллель с GPT-3, где обучение с нескольких примеров стало вехой языковых моделей.
В робототехнике тот же порог ищут с 1954 года, с патента Unimate.
Модель также умеет склеивать два показа в одно длинное действие, переносить демонстрацию из симуляции в реальность и копировать движения с рук человека.
Десять шагов дообучения меняют веса меньше чем на 0,15%: модель скорее вспоминает почти знакомое, чем осваивает с нуля. Программирование робота сводится к показу. 🤖
📎 Блог Generalist AI
#GeneralistAI #роботы
———
@tsingular
📋 Generalist AI,- компания основанная в 2024 году выходцами из Google DeepMind и Boston Dynamics и в ноябре привлекшая 400 млн. долларов при оценке в 2 миллиарда, в т.ч. от Nvidia, на этой неделе показали GEN-1.5, свою новую фундаментальную модель для роботов.
Главная фишка модели: она осваивает физический навык за секунды, с одного показа, минуя обучение.
Показали, как открыть банку, расстегнуть молнию или достать деньги из кошелька, и робот тут же повторяет.
Десятилетиями универсальный робот требовал месяцев программирования силами инженеров.
Теперь всё сводится к тому, чтобы просто показать пример.
💡 GEN-1.5, - это большая мультимодальная модель: на входе видео с памятью на 30 секунд, сенсоры, язык и проприоцепция (т.н. шестое чувство, которое позволяет ощущать положение частей собственного тела в пространстве и их движение без помощи зрения), на выходе траектории действий на 100 Гц.
Приём назван физической подсказкой: сенсомоторную демонстрацию длиной от 3 до 12 секунд кладут в контекстное окно, и модель выполняет задачу без единого шага дообучения.
Средний успех с одного показа 59%, после десяти шагов дообучения на пяти минутах данных уже 83%.
💼 Авторы прямо проводят параллель с GPT-3, где обучение с нескольких примеров стало вехой языковых моделей.
В робототехнике тот же порог ищут с 1954 года, с патента Unimate.
Модель также умеет склеивать два показа в одно длинное действие, переносить демонстрацию из симуляции в реальность и копировать движения с рук человека.
Десять шагов дообучения меняют веса меньше чем на 0,15%: модель скорее вспоминает почти знакомое, чем осваивает с нуля. Программирование робота сводится к показу. 🤖
📎 Блог Generalist AI
#GeneralistAI #роботы
———
@tsingular
🔥21👾4👌2⚡1