🥹 Как выжать из железа максимум: эволюция инференса в Алисе

Привет, меня зовут Витя Хаймоненко, я разработчик в команде голосовой активации Алисы. Сегодня я расскажу, как мы прошли путь от инференса на чистом C корутинами до современных движков и квантизованных моделей — и какой инженерный опыт из этого вынесли.

🅰️ Железо фиксировано, а модели растут

На колонке одновременно крутится несколько нейросетей:

🔴 Активационные модели, которые реагируют на слова «Алиса» или «Яндекс»

🔴 Командные споттеры — модели, которые поддерживают набор популярных команд, например, для управления музыкой или умным домом

🔴 Интонационные споттеры, которые делают общение с ассистентом более естественным и понимают, когда вы обращаетесь к колонке без слова «Алиса»

Все они работают в реальном времени и должны укладываться в жёсткие лимиты по latency, CPU и RAM. Докинуть ресурсы на устройство нельзя, поэтому единственный путь — оптимизация инференса.

🅰️ Как ситуация обстояла раньше

В 2014 году не было ни готовых инференс-фреймворков, ни повсеместной поддержки C++ на чипах. Мы писали на чистом C, а пайплайн описывали корутинами. Композиция получалась гибкой, но за это мы расплачивались накладными расходами на переключение контекстов и динамическими аллокациями памяти на каждом шаге.

Уже тогда появились оптимизации, которые живут до сих пор. Во-первых, батчинг: вместо обработки одного фрейма звука за раз мы ждём, пока накопится батч из нескольких фреймов, и обрабатываем их разом. Это позволяет эффективно использовать SIMD-инструкции процессора и даёт серьёзный выигрыш по скорости, жертвуя лишь примерно полусотней миллисекунд latency.

Во-вторых, стриминг: мы не пересчитываем целиком всё «окно» заново, а только обновляем его с приходом новых фреймов. Для матричных умножений использовали одну из реализаций BLAS, которая отлично утилизирует кеш процессора.

🅰️ Переезд на C++ и библиотеки инференса

С появлением нормальной поддержки C++ на чипах мы стали переписывать рантайм. На смену корутинам пришла наша внутренняя библиотека YNMT, изначально сделанная для моделей перевода. Она представляет модель как статический вычислительный граф, из-за чего отпала необходимость в корутинах. А потом, когда YNMT стала уступать по скорости опенсорсному TFLite, мы переехали на него. Он поддерживает встроенные оптимизации под разные архитектуры чипов.

🅰️ Два захода в квантизацию

Первый подход был простым и безопасным: мы сжимали веса модели с FP32 до INT8, но перед вычислением разжимали их обратно. Затем научились квантовать и активации. Теперь мы на лету сжимаем вход до INT8, перемножаем матрицы в INT16 и деквантизуем выход. Выигрываем и по памяти, и по скорости за счёт более быстрых целочисленных SIMD-инструкций.

🅰️ Ещё одна инфраструктурная оптимизация — мультиспоттер

Раньше каждая модель тащила за собой свои буфера и предобработку звука, что вело к дублированию вычислений. Теперь общая часть вынесена в отдельную сущность, и все модели пользуются ею совместно.

🅰️ Главные уроки

Не стоит бояться использовать опенсорс-решения и адаптировать их под своё железо. Мы взяли стандартную реализацию свёртки в TFLite, переработали её под конкретный чип и получили огромный прирост производительности. К тому же у опенсорсных подходов есть неплохой плюс: зачастую они поддерживаются широким сообществом.

Сейчас мы в процессе миграции на TFLite, готовимся использовать встроенную квантизацию вместо ручной и продолжаем пилить кастомные операции. Всё это позволяет делать колонки умнее и при этом сохранять доступность для пользователей.

⏩️ А больше технических деталей можно узнать в полной записи доклада с Я.Железо. Смотрите на ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Developers

📕 Разбираемся, как устроен прайсинг Яндекс Go, рассказываем про графовую foundation-модель, которая взяла Best Paper Award на воркшопе ICML, и изучаем опыт инженеров Яндекса в новом дайджесте Yandex for Developers

🚕 Куда сходить

🔴 22 августа — Welcome Times для аналитиков в Москве. На встрече вы познакомитесь с ребятами из команд Яндекс Поиска и Независимого Ecom, узнаете больше об их проектах и пройдёте диагностику навыков. Кстати, результаты диагностики действуют два года и могут заменить один из этапов собеседования в Яндекс.

🌎 Что случилось

🔴 ИИ в Яндексе: главное за июль. Рассказали, как ИИ помогает забронировать столик в ресторане, приглядывать за домашними животными и найти репетитора для школьника.

🔴 ICML: итоги и победы Яндекса. Команда Yandex Research представила графовую foundation-модель GraphPFN, а работа получила Best Paper Award на тематическом воркшопе.

🔴 Новости Yandex Cloud за июль. Международная сертификация ISO/IEC 42001 для Alice AI, новые сертификаты ГОСТ и лидерские позиции на рынке IaaS по надёжности и технологичности.

📖 Что почитать

🔴 Как мы вынесли алгоритм ценообразования из кода Яндекс Go. Объяснили, почему не взяли готовый скриптовый язык, что такое цепочка преобразований цены и зачем нам понадобился формальный верификатор.

🔴 Как подготовиться к собеседованию. Старший аналитик-разработчик Сослан Табуев собрал пять советов, которые помогут чувствовать себя увереннее на интервью и лучше понять ожидания собеседующего.

🔴 Главные итоги ICRA 2026. Команда автономного транспорта Яндекса поделилась ключевыми темами ICRA — одной из крупнейших конференций по робототехнике. Среди них — Reinforcement Learning, генерация редких edge-кейсов и другие направления, которые сегодня определяют развитие робототехники.

🔴 Как мы проапгрейдили робота-доставщика. Руководитель службы системной разработки в Автономном транспорте и роботах рассказал, почему модель R4 пришлось основательно пересобрать и как это помогло сделать роботов умнее, дешевле и проще в масштабировании.

🔴 Как выжать из железа максимум: эволюция инференса в Алисе. Виктор Хаймоненко рассказывает, как команда прошла путь от инференса на чистом C и пайплайна на корутинах до современных движков и квантизованных моделей.

📺 Что посмотреть

🔴 1×1 с Димой Александровым на ютубе и в VK Видео. Что Дима понял о яндексоидах за годы работы в компании, как устроена внутренняя ротация, каково управлять большой командой и почему автомобили стали для него больше чем хобби.

Подписывайтесь:
💬 @Yandex4Developers

🤖 Что на самом деле умеют AI-ассистенты в разработке

Вокруг AI в разработке всё ещё ходит довольно много мифов. Кто-то боится, что нейросети вот-вот заменят программистов, а другие уже представляют, как навайбкодят стартап за пару вечеров. Реальный опыт оказывается куда сложнее.

На связи Паша Сухов, ведущий разработчик в Яндекс Доставке. Сегодня я поделюсь своим опытом: как я пытался использовать кодовых ассистентов, агентов и MCP, что понял в процессе и где AI может помочь вам.

🅰️ Рутина правда ускорялась

Однажды я писал код для скрипта. Написал шесть строк, добавил в контекст нужные файлы и сказал: «Вынеси параметры, сделай --help, напиши доку». Мои шесть строк превратились в полтораста — с проверкой аргументов, созданием папок, логами каждого шага, справкой, примерами запуска и прочими вещами, которые я терпеть не могу делать сам.

Кроме того, здорово помогало автодополнение: не по принципу «допиши вот эту строчку», а «смотри, вот ещё полфункции». Агент со временем понимает, что и как вы пишете, и начинает предлагать более точные варианты: оптимизирует структуру, проводит рефакторинг, находит и вставляет нужную лямбду.

🅰️ Но на сложных задачах вся магия рассеивалась

Стоило мне взяться за что-то объёмное и нестандартное — например, собрать демку с геокартами или написать что-то на игровом движке Bevy, — начинался цирк. Агент путал версии API и после каждой правки бодро уверял, что теперь-то всё точно исправил, хотя на деле ломал ещё сильнее.

Похожая история была и при работе с готовым кодом. Просишь перенести функцию из одного файла в другой — получаешь раздутый код с недописанными кусками. Иногда агент и вовсе попадал в цикл: поочерёдно откатывал и вносил одну и ту же неработающую правку.

🅰️ Модели стали лучше, но с нюансами

Со временем они действительно стали писать код качественнее, особенно на локальных, быстрых и относительно изолированных задачах. Но вместе с тем они стали хитрее прятать баги. Цель моделей — написать не код, который работает, а код, который выглядит правдоподобно.

Но всё же думать «А правильно ли это?» в среднем и продуктивнее, и приятнее, чем бесконечно думать «А как это вообще написать?», чтобы к моменту готового текста на проверку не осталось сил.

🅰️ AI помогает быстрее погрузиться в контекст

​​По работе мне регулярно приходится копаться в чужих проектах. Я постоянно сталкиваюсь с проблемой: с какого файла вообще начинать читать? Тут и пригождается нейросеть: я даю ей задачу такой, какая она есть. Главное тут — не её результат, а размышления: она найдёт нужную часть системы, я пойму, куда смотреть, и код станет читать проще.

🅰️ LLM нужно использовать правильно

Нейросети не сняли с человека ответственность, не отменили необходимость думать и не научились стабильно писать серьёзные системы без присмотра. Зато они забрали то, что разработчики любят меньше всего: рутину, бойлерплейт, механические правки, поиск по чужому коду, черновую документацию, однотипные задачи и страх чистого листа.

⏩️ А полную статью читайте по ссылке. В ней я рассказал про эволюцию ассистентов и про то, как изменилась производительность разработчиков благодаря LLM.

Подписывайтесь:
💬 @Yandex4Developers

📕 Обсудили безопасность LLM, конфликты в переговорах и границы вайбкодинга — всё это в новом дайджесте Yandex for Developers

🚙 Куда сходить

🔴 5 сентября — deep tech night. Обсудим переход к генеративным моделям в RecSys, Physical AI, инфраструктуру RL-обучения, облако в эпоху AI, современную архитектуру NPU и другие темы

🔴 9 сентября — Data Dojo. Приглашаем тех, кто уже владеет основами ML и хочет двигаться дальше. Будем общаться с единомышленниками и разбирать реальные кейсы от экспертов Яндекса

🔴 12–18 сентября — Week Offer Security. Это формат быстрого найма для ИБ-специалистов. Приглашаем за одну неделю пройти все этапы собеседований, познакомиться с командами и получить офер, если всё пройдёт хорошо

🔴 19 сентября — Practical ML Conf. В программе хардовые доклады, дискуссии и активности. Вот только часть тем: экономически эффективный инференс LLM, Agentic Vision, query-based-модель в автономном транспорте и end-to-end генеративная модель рекомендаций в Музыке

🔴 26 сентября — Data Driven 2026. Нашей флагманской конференции для аналитиков исполнилось 10 лет. В этот раз сделаем акцент на AI-first-аналитике и будущем профессии в эпоху искусственного интеллекта

🌎 Что случилось

🔴 Начался новый сезон тренировок по алгоритмам. Рассказывайте знакомым джунам, которые хотят попрактиковаться в формате технических собеседований или подтянуть теорию по алгоритмам

📖 Что почитать

🔴 Как мониторить Java-приложения. В статье советы о том, какие метрики стоит взять за основу, как выбирать полезные алерты и что такое правило 80/20

🔴 Мультимодальное ранжирование в Яндекс Картинках. Рассказали про архитектуру, которая позволяет модели одновременно смотреть на изображение и читать текст

🔴 Что на самом деле умеет AI в разработке, а что ещё нет. Паша Сухóв, ведущий разработчик в Яндекс Доставке, поделился своим опытом использования кодовых ассистентов, агентов и MCP

🔴 Как злоумышленники из безопасной LLM за пару часов делают модель без цензуры. Причём не «уговаривают» модель через промпт, а хирургически убирают из неё сам механизм отказа

📺 Что посмотреть

🔴 Как превратить конфликт в пользу для продукта. Игорь Рубанов, руководитель аналитики в Яндекс Go, рассказал, когда в переговорах нужно искать союзника, а когда лучше эскалировать проблему. Послушать можно на ютубе, в VK Видео или в Яндекс Музыке

🔴 Доклады с Back to Back. 1 августа бэкендеры посмотрели 25 выступлений в трёх городах. Мы сложили их в удобные плейлисты: C++ Zero Cost в Москве и C++ Zero Cost в Белграде, Architecture&Performance в Москве и Architecture&Performance в Ереване

Подписывайтесь:
💬 @Yandex4Developers

📺 Оптимизируем нейросети под слабое железо, строим observability для AI-агентов и выдерживаем сотни гигабит входящего трафика. Всё это — в подборке записей докладов за первые шесть месяцев 2026 года

🔴 Выжимаем из железа максимум — Я.Железо. Как инженеры перешли от инференса на чистом C к TFLite, батчингу и квантизованным моделям, чтобы одновременно запускать на умной колонке несколько нейросетей и укладываться в жёсткие ограничения по CPU и RAM. Смотрите этот и другие доклады с Я.Железо на ютубе и в VK Видео

🔴 Как узнать, когда агент сломался — infra.conf’26. Разбираем, что такое observability для агентов, какие у неё есть особенности, зачем нужны evaluations и какие инструменты помогают контролировать работу агентов в проде. Смотрите доклад на ютубе или на сайте

🔴 Учим PostgreSQL хранить оргструктуру на 500 тысяч пользователей — Backend Talks. Рассказываем про эволюцию балансировки загрузок в Яндекс Диске: от наивного Round-Robin до разработки собственного алгоритма. Этот и другие доклады с Backend Talks смотрите на ютубе и в VK Видео

🔴 Интерфейсы, ассистенты и локальный AI в браузере — «Я 💛 Фронтенд». Рассказываем, как запускать модели прямо на устройстве пользователя, создавать по-настоящему адаптивные интерфейсы, применять веб-компоненты и внедрять новую дизайн-систему без вреда для команды. Собрали всё это в плейлистах на ютубе и в VK Видео

🔴 AI, архитектура и производительность — Yandex Mobile Runtime. Доклады на конференции разделили на две части: в треке AI (ютуб, VK Видео) поговорили об агентной разработке и внедрении нейросетевых фич в приложения, а в Not so AI (ютуб, VK Видео) разобрали архитектуру, производительность, нативную и кросс-платформенную разработку

🔴 Внедряем AI в разработку — AI Dev Day. Обсудили, как измерять эффективность AI-инструментов и масштабировать их на всю компанию. В программе — мультиагентные системы, внутренние продукты и рабочие решения. Смотрите доклады на ютубе и в VK Видео

🔴 Практический ML и рекомендательные системы — Data Fest. Рассказали про прикладное машинное обучение: от AgentOps в проде до генерации видео в реальном времени. А ещё разобрали, как устроен Грифон — гибридная генеративно-ранжирующая модель в рекомендациях Яндекс Музыки. Смотрите плейлисты по трекам на ютубе: Practical ML, ODS в Москве и ODS в Сербии

Подписывайтесь:
💬 @Yandex4Developers

🔎 Как мы объединили фичи картиночной Алисы

На связи команда генеративных моделей в компьютерном зрении Поисковых сервисов и ИИ. Вместе с коллегами мы делаем мультимодального ассистента «Алиса AI». У модели Alice AI ART, которая отвечает за визуальную генерацию, есть два базовых сценария:

🔴 Text-to-Image (T2I) — генерация фото по текстовому описанию

🔴 Image-to-Image (I2I) — редактирование по картинке с инструкцией

Всё это время эти сценарии жили как два разных стека: свои базовые модели, данные, метрики и своя отдельная боль в разработке и поддержке. Поэтому мы решили объединить их в одну модель, которая одинаково хорошо умеет и в T2I, и в I2I.

🅰️ Как мы проводили обучение

➕ I2I-задача редактирования требует от модели понимания референса: входное изображение всегда содержит конкретный объект, который нужно сохранить, трансформировать или дополнить.

➕ T2I-задача сильно прокачивает релевантность. Промпты для генерации с нуля, как правило, детальнее editing-инструкций: они описывают всё, что должно быть на изображении.

Ключевая особенность обучения uni-модели — общий для обеих задач претрейн. T2I- и I2I-данные перемешаны, чтобы визуальный и текстовый прайоры были едиными.

🅰️ Как мы провели показательный эксперимент

Взяли набор концептов, которые отсутствовали в наших данных для редактирования, но которые ранее собирались для T2I. Затем смешали данные и провели совместное обучение, а после проверили, что станет с I2I.
Результат оказался такой, на какой мы и надеялись: концепты, выученные из T2I, становятся доступны в редактировании по инструкции. Специфические запросы начинают работать без необходимости повторять работу по сбору узких срезов данных.

📖 А в статье на Хабре мы рассказали:

🔴 На каких метриках мы измеряем качество моделей
🔴 Что изменилось в самой модели
🔴 Что планируем реализовать в будущем

Подписывайтесь:
💬 @Yandex4Developers

📕 Генерируем и редактируем картинки в одной модели, используем AI в аналитике и смотрим доклады с главных ивентов Яндекса за первую половину 2026-го. Об этом и не только — в новом дайджесте Yandex for Developers

🚕 Куда сходить

🔴 12–13 сентября — Weekend Offer ML. Это формат быстрого найма для ML-специалистов. Приглашаем за выходные пройти все этапы собеседований, познакомиться с командами и затем получить офер, если всё пройдёт хорошо

🔴 3 октября — «Я про бэкенд» в Москве и онлайн. На конференции разберём хардовые кейсы из разработки и челленджи на серверной стороне AI: хранение и стриминг данных, работу на стыке с железом и другие вызовы на бэкенде

🌎 Что случилось

🔴 Yet Another BugBounty Meetup 2026 прошёл, а впечатления остались. 17 июля мы встретились сообществом багхантеров: в постмит-посте собрали ключевые инсайты и оставили ссылку на фотографии. Ищите себя, если вы тоже принимали участие 📸

📖 Что почитать

🔴 Alice AI ART 2.0: генерируем и редактируем. Рассказываем, как мы объединили генерацию по тексту и редактирование по картинке в одной модели, что пришлось изменить в архитектуре и как наше решение смотрится на фоне аналогов

🔴 «Мне всегда больше всех надо»: как расти в условиях неопределённости. Евгений Ширанков, руководитель платформенных сервисов в Яндекс 360, поделился историей своего карьерного пути и рассказал о запуске Биллинга и техрадара

🔴 Чем полезен AI для бизнеса и аналитики. Показываем, как можно облегчить себе жизнь с помощью ассистентов: ускорять A/B-тесты, автоматизировать логирование, описывать таблицы и многое другое

📺 Что посмотреть

🔴 Доклады с ивентов за первое полугодие 2026-го. Собрали прикладные и хардовые кейсы в одной подборке: как оптимизировать нейросети под слабое железо, строить observability для AI-агентов, выдерживать сотни гигабит входящего трафика и многое другое

Подписывайтесь:
💬 @Yandex4Developers