Инженерный день: как мы вычитали Василия из его микрофона и что пошло не так

Как заставить робота слышать вас даже во время его собственной речи? Нужно сделать программное вычитание того, что он говорит, из того, что он "слышит" микрофоном.

На первый взгляд задача не кажется сложной. Ровно до тех пор, пока вы начинаете ее решать. Рассказал руководитель R&D лаборатории 361.Robotics Антон Якимов.

Что показало вскрытие

Динамик и микрофон подключены к разным компьютерам (внутри Василия их 3, напоминаем). И это уже сложность, т.к. обычно и воспроизведение и запись стараются реализовать в пределах одной платы.

Мы сделали микрофонную петличку, разобрали Васю и подключили к порту в том же компьютере, который отвечает за динамик.

Переключение и наказание

Мы решили вытащить питание динамика и перекинуть его на другой компьютер.

Как вы догадались, без последствий это решение не осталось. Тестирование выявило еле заметные наводки в микрофоне, но т.к. они возникали очень кратковременно и в самом начале, артефакт оставили без внимания.

Расплата за легкомыслие ожидала нас, когда мы начали делать новый синтезатор речи для робота.

Мы начали адаптировать OmniVoice, т.к. он генерирует более естественный голос, плюс, позволяет проделывать всякие полезные штуки, например, клонировать итоговый результат.

Особенность OmniVoice в том, что он сильно грузит графический чип, а время генерации речи стало сопоставимо с временем воспроизведения. То есть, например, для создания реплики на 12 сек нужно примерно 8 сек генерации.

И вот тут наводки стали действительно мешать. Проблему мы в результате решили тем, что обратно подключили питание динамика туда, где оно было, а для петлички задействовали оказавшийся пустым USB type C.

Если вы инженер-робототехник, делитесь своими лайфхаками в комментариях!

💚💚💚💚💚 Telegram | Хабр

#Инженерный_день #Робототехника #Гуманоидные_роботы #Искусственный_интеллект #361Robotics

Посмотрите, как гуманоиды ловко справляются с домашними делами

Вечер 12 ноября 26 года неспокойный, глава NVIDIA ушел из компании, мы будем следить, как это отразится на робототехнике.

А пока успокаивающее видео с роботом Figure 03 от стартапа Figure AI. Его киллер-фича — специальная нейросеть Helix 2.5.

Она хороша способностью переносить навыки в новые помещения без предварительной адаптации и сбора данных.

Разработчики сначала обучали ее на 37,5 млн роликов из своей базы, это повысило долю полностью успешных попыток в незнакомых домах с 9% до 56% при прочих равных.

Такой сценарий выглядит востребовано для помощи малоподвижным и пожилым людям.

💚💚💚💚💚 Telegram | Хабр

#Робототехника #Гуманоидные_роботы #Искусственный_интеллект #США