Кто главный конкурент Алисы и причем тут оркестрация?

Рынок потребительского ИИ в России довольно причудлив. Есть ChatGPT и Claude — где-то на последних местах по использованию, потому что доступны только «просвещенному меньшинству». Есть огромный Deepseek, попавший в руки, кажется, к каждому школьнику и студенту. Есть Алиса, в прошлом году с ним активно сражавшаяся, а затем — победившая и закрепившаяся на первом месте, аж с 40 миллионами пользователей в неделю.

Но главный конкурент Алисы теперь, как ни странно, Google с AI-Mode. Тот самый, который без рекламы, доступен из любого Google-приложения и буквально вшит тебе в Android. Я не воспринимал его всерьез, пока однажды на собеседовании кандидат не спросил меня: «можно я поищу контекст для ответа на вопрос с помощью ИИ?» Я разрешил, и он даже поделился экраном, чтобы я видел промпт. Запрос был в Google в AI-Mode, и это было настолько контринтуитивно, что помню свое удивление до сих пор.

Валера Стромов в интервью Форбсу описывал (кроме факта про Google), какие сложности встречаются на пути этой конкуренции — и главная, конечно, где на все найти железо. На многих задачах разницу между моделями разного класса невозможно заметить — но на сложных запросах она сильно режет глаз. Поэтому основной задачей становится оркестрация — выбор модели подешевле там, где результат работы будет таким же (например, на вопросе «сколько сейчас времени во Владивостоке»).

(такой же логики придерживаюсь я и для рабочих задач — запуская рой агентов подешевле для более простых задач, а синтез и присмотр за ними доверяя самым мощным моделям — но про это как-нибудь отдельно)

Хочешь победить последние модели Дипсика, но не готов давать всем самые мощные модели безлимитно, потому что в моменте не сможешь это окупить и даже просто обеспечить мощностями — надо учиться балансировать между моделями разной стоимости.

И тут вступает в дело вторая большая сложность — интерфейсы.
Когда я сам проектировал интерфейс для ассистента, всплывашка выбора модели доставляла сильную боль — это просто очень плохое продуктовое решение, заставлять юзера думать, какую модель взять (Sol или Luna лишь немного лучше старого выбора между какой-нибудь o1 и o3 mini).
И на днях у Яндекса наконец появился режим «Авто» для выбора модели под капотом — а это значит, что у большего числа пользователей на сложных запросах автоматически будет выбираться модель, способная на агентские рассуждения. Забавно, что это происходит за пару дней до еще более важной новости в мире упрощений — сегодняшнего объединения Claude и Claude Cowork. Я искренне верю, что с развитием оркестраторов и снижением стоимости инференса и Claude, и Claude Cowork, и Claude Code будут с одной точкой входа — а пока ребятам приходится разводить пользователей по разным вкладкам, а внутри — по разным моделям, а внутри — по разной мощности, а внутри — по разной скорости, а внутри...

А внутри побеждает тот, кто выбор уносит внутрь, и дает пользователю возможность просто не запариваться над выбором. Строите системы не для гиков — старайтесь «автовыбрать» как можно больше всего. Такие дела.

🔉 Делюсь своим самым используемым скиллом

90% правок нейросети я даю голосом. За две минуты так объясняешь больше, чем успел бы набрать за десять. Но Whisper, самая ходовая модель в приложениях для диктовки вроде Handy, с русским справляется так себе (я делал замеры на больших датасетах), а на рабочем сленге и названиях продуктов спотыкается любая модель.
Поэтому я собрал скилл transcriber, и теперь через него проходит каждая моя диктовка, интервью и созвон.

Что он умеет:
— Действительно качественно распознавать русскую речь и проверять сам себя.
Основная модель — GigaAM от Сбера, а не Whisper: она ошибается в 2,3 раза реже.
Вторая модель другой архитектуры независимо слушает ту же запись и формирует список правок для починки.
Все это работает и для английского — со своей парой моделей, тоже проверенной замерами.

— Не терять названия и корпоративные термины.
Словарь терминов собирается сам из расхождений моделей, мне остаётся изредка подтвердить написание.

— Превращать видео и подкасты в текст.
YouTube, VK Видео, Rutube, выпуски подкастов Яндекс Музыки, хоть плейлисты целиком. Это полноценная расшифровка, а не пересказ автосубтитров. Если для конкретного видео точность не так важна, скилл за секунды возьмёт и готовые субтитры с YouTube.

— Подхватывать диктовки из Handy.
Да, все настолько круто! Фоновый агент сам прогоняет каждую запись длиннее 20 секунд и кладёт текст в буфер обмена, улучшая Handy автоматом.

— Работать локально.
Запись никогда не уходит в облако: модели один раз скачиваются и дальше обрабатывают все на вашем компьютере. Важно для работы с NDA.

Установить просто — напишите своему агенту:
Установи скилл github.com/tonyprots/transcriber-skill.

Если скилл поможет и вам, поддержите его звёздочкой на Github, мне будет приятно.

P.S. А видео выше собрано другим моим скиллом — о нем расскажу в следующий раз :)

Больших сил ребятам.