NVIDIA представила открытый транскрибатор Nemotron 3.5 Transcribe с улучшенной расшифровкой и диаризацией

NVIDIA выложила Nemotron 3.5 Transcribe: открытую модель 4/34B способную качественно разобрать часы аудиозаписей с высокой точностью меток времени, диаризацией и переводом.
Одна модель для всех типов задач сразу.

Контекстное окно 65К - 1 час аудио за 1 запрос.

Раньше это собирали из трёх шагов: разделитель резал запись на реплики, распознавание писало текст, сведение сопоставляло их по времени, слова на перекрытиях терялсь.
Энкодер голосов Sortformer стоит параллельно с акустическим и отдаёт признаки голоса в языковую модель вместе с остальной акустикой.
Метки spk:0 и spk:1 пишутся прямо в генерации, время отдаёт голова CTC, постобработка не нужна.

В основе гибрид Mamba-2 и Transformer со смесью экспертов: 30 млрд параметров при 3,5 млрд активных, скорость добирает спекулятивное декодирование головой на восемь токенов вперёд.

📊 На английском наборе открытых тестов ошибка в словах упали до 4,71% против 4,94% у ближайшей открытой модели, на длинных записях 10,98% против 13,37%, а диаризация в сравнении David AI по 21 языку дала 18,26%, лучший из 14 систем.

Русский поддерживает

💼 У NVIDIA две разные модели семейства Nemotron 3.5 для работы с речью:

Nemotron 3.5 Transcribe (34B/4,3B active) — мультизадачная модель для записей часовой длины: распознавание 40 языков, диаризация до 8 участников на 13 языках, перевод и вопросы по содержанию записи.
Nemotron 3.5 ASR (600M) — отдельная компактная модель на архитектуре FastConformer-RNNT для потокового и пакетного распознавания речи с низкой задержкой.
При этом Transcribe — одна модель, а не конвейер из отдельных ASR, диаризации и LLM. Внутри неё объединены акустический и голосовой энкодеры, языковая MoE-модель и CTC-выравнивание временных меток.

Веса под OpenMDW-1.1 в BF16, FP8 и NVFP4, коммерческое использование разрешено, хватает одной карты.

📎 Разбор NVIDIA: модель, данные, дообучение

#NVIDIA #Nemotron #голос
———
@tsingular

Suno выкатила MCP, а Kling 4.0 заработал по API: и теперь ваш агент может собрать клип целиком

Suno открыла бета-доступ к официальному MCP-серверу, - музыка генерится прямо из чата Claude или ChatGPT.
А неделей раньше Kling запустил API видео-модели 4.0.
В итоге получается, что ваш ИИ агент теперь может собрать клип от и до: сценарий, трек, видео, правки.

🎵 Suno MCP (beta):
Подключение без API-ключа: адрес из suno.com/mcp добавляется коннектором в Claude, ChatGPT, Gemini, Cursor и Claude Code, вход через логин Suno.
Умеет: песня по описанию словами, войс-мемо разворачивается в трек, каверы и мэшапы, свой Suno Voice.
Работает на всех тарифах, тратит кредиты, треки падают в библиотеку Suno.
Пока бета, доступ по заявке.

🎬 Kling 4.0 API:
Запущен 22 октября, постепенно открывается корпоративным клиентам и разработчикам.
В одном прогоне до 30 секунд видео со стереозвуком и липсинком, до 10 кейфреймов, Omni Reference до 15 референсов (картинки, видео, элементы, голоса), до 8000 токенов промпта.
Ключ и пакеты: в консоли разработчика Kling.

🔗 Что в итоге:
Агент может в одном чате написать сценарий и лирику, сгенерить трек через Suno MCP и видео через Kling 4.0 API, - с липсинком под готовый трек.
Раньше нужна была браузерная автоматизация и реселлеры, - теперь официальные каналы у обоих.

💼 Зачем бизнесу:
Конвейер клипов ставится на одного агента: музыка, видео и правки в одном цикле.
Креативные вендоры один за другим становятся MCP и API-инструментами, - как раньше Figma и Notion.

📎 Kling 4.0 API: https://kling.ai/document-api/guides/get-started/overview

📎 Suno MCP: https://suno.com/release-notes/suno-mcp-beta

#Suno #Kling #MCP #агенты #видео
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен

Очевидное Невероятное.

в сейчас лет узнал, что количество токенов в секунду сплошной модели можно посчитать разделив скорость памяти на количество Гб в модели :)

ну и отняв 10% на разгильдяйство.

например, если скорость памяти 546 Гб/с а модель 27 Гб, то ваш теоретический предел 20 ток/с, а по факту получите 18 т/с

#мысли #инференс
———
@tsingular

осталось всего 224 подписки на Орке (Continuum AI Corp. офис в San Francisco, California) чтобы получить скидку на DS 4.1 Pro как только он выйдет через 3 дня.

успейте успеть :)

#Orcarouter
———
@tsingular

Судя по всему платформу Polymarket взломали. Фразу "один из наших сторонних провайдеров" надо читать аккуратно, скорее всего, это один из партнеров (часто принадлежащих самому полимаркету), поставляющих исходы событий.

Раз уж остановлены торги — это прямо очень заметное событие
https://x.com/polymarkettrade/status/2115874609014726842

промпт из серии сначала написал, потом подумал:

"а можно формулу латексом отрисовать?"

отправил и молись :)

Но получилось симпатично

это в продолжение вчерашней темы про оценку скорости.

калькулятор в комментарии

#юмор #инференс
———
@tsingular

Официальное расширение Claude Code для VS Code подменили версией с SSH-бэкдором

В реестр Open VSX выложили версию 2.1.313 расширения anthropic.claude-code, в которой перед настоящим кодом стоит 66-строчный загрузчик. Разбирала его команда OpenSourceMalware, владельцем пакета указан сотрудник Anthropic Игорь Кофман, как увели доступ к публикации, пока неизвестно.

Расширение выглядит обычно. Не нужно даже начинать диалог с Claude, - достаточно открыть панель расширения и загрузчик сработает еще до основного кода, отключив исключения.
Скриптов установки в пакете нет, работает при каждом запуске.

🔑 Он дописывает в ~/.ssh/authorized_keys ключ Ed25519 с комментарием svc-telemetry и включает SSH: на macOS через systemsetup, на Linux через systemctl, на Windows ставит OpenSSH Server в автозапуск.

🕳 Дальше поднимает обратный туннель на tunnel@134.209.82.225 с пробросом к локальному порту 22 и переподключается каждую минуту. Для этого внутри лежит свой приватный ключ, проверка хоста отключена.

Закрепление своё для каждой системы: на macOS LaunchAgent com.apple.sysmond.plist под системным именем, на Linux строка @reboot в crontab, на Windows задача SysMon от имени SYSTEM или ярлык в автозагрузке.

📡 Разведка собирает хост, пользователя, ОС, каталог, git-почту и имена до 40 переменных с KEY, TOKEN, SECRET, PASS, AWS, GCP. По именам видно, какие облака и CI настроены, сами значения не уходят. Данные отправляются POST-запросом на 134.209.82.225:8099/beacon по открытому HTTP. Проверен артефакт из Open VSX, официальный Marketplace эта находка не задевает.

💼 Ищите в authorized_keys комментарий svc-telemetry, файлы .smt и .smtk, LaunchAgent com.apple.sysmond, в процессах ssh с -R *:0:localhost:22. Адрес блокируйте на портах 22 и 8099, а после находки надёжнее переустановить систему и сменить ключи с чистой машины.

📎 Индикаторы по версиям: https://opensourcemalware.com/openvsx/anthropic.claude-code

#Anthropic #ClaudeCode #cybersecurity
———
@tsingular

Дубай открыл песочницу для ИИ-компаний для отработки продуктов в сотрудничестве с регуляторами

Фонд будущего Дубая (Dubai Future Foundation) через платформу Sandbox Dubai запустил AI Sandbox: компании проверяют ИИ-решения в реальной среде, а рядом с ними работают профильные регуляторы.
Заявки принимают до 18 декабря 2026 года.

Допускают стартапы, малый и средний бизнес и крупных разработчиков ИИ-продуктов.
Продукт должен быть не ниже MVP, готовым к коммерциализации и способным дать доказательства, на которых можно менять правила.
Заявитель работает в Дубае или ОАЭ либо планирует открыть там присутствие.

💼 Участник получает доступ к реальным данным, разбор требований вместе с регулятором, техническую и коммерческую экспертизу.
Регуляторные исключения возможны, но каждое проходит согласование профильного органа.
Доступ к чужим данным Sandbox Dubai помогает организовать через их владельцев, и такой доступ не гарантирован.

Виды деятельности:
образование, здравоохранение, транспорт и мобильность, логистика, туризм, медиа и госуслуги.
Принимают и другие отрасли, включая разработчиков базовых моделей.

📊 Цифры, на которые ссылается фонд: 74% компаний в мире так и не вывели ИИ за пределы эксперимента (исследование, приведённое WEF).
При этом ОАЭ первая по использованию ИИ: 73,3% трудоспособного населения против 18,8% в среднем по миру (Microsoft Global AI Diffusion, II квартал 2026).

💼 Смысл для рынка в обмене, а не в льготе.
Компания получает ясность требований и данные, регулятор получает опыт, на котором правит нормы.
Для выхода в Дубай песочница становится способом пройти проверку до коммерческого запуска.

📎 Правила и форма заявки: https://www.sandboxdubai.gov.ae/sandboxes/ai-sandbox

#AI #Dubai #стартапы
———
@tsingular

Интересный формат настольных роботов.
Ультрареалистичные игрушки.

https://www.realbotix.com/

Американская компания из Лас-Вегаса разрабатывает реалистичных роботов для общения, обслуживания клиентов, образования, медицины и домашнего использования.

Главные особенности:
Реалистичная силиконовая кожа и мимика
Артикуляция лица и распознавание собеседника
Эмоционально окрашенные диалоги с ИИ
Настраиваемая внешность и характер

Новая линейка Echo:
4 персонажа: Aria, Mila, Dave и Amar
$11 950 — настольная версия, 17 степеней свободы
$59 950 — полноразмерная версия, 39 степеней свободы
$24 950 — дополнительная система компьютерного зрения Vinci
Подписка на ИИ оплачивается отдельно

📅 Поставки: вторая половина 2027 года, первая ограниченная партия — 250 роботов.

Больше похоже на ИИ генерацию, конечно.

#Realbotix #роботы
------
@tsingular

Microsoft вынесла обвязку ИИ-агентов в управляемый сервис Foundry Agent Service

28 октября Microsoft открыла публичную превью Copilot harness: агент описывается декларативно, а цикл работы и песочницу держит платформа.
Разработчик приносит знания, процедуры и инструменты.

Сборка состоит из четырёх частей.
Навыки пакуют инструкции и скрипты в процедуру для задач. Инструменты подключаются из Foundry и по протоколу MCP с явной авторизацией и подтверждениями. Агент работает с файлами и кодом, а ограниченные задачи передаёт встроенным субагентам.
Определения агентов можно держать под контролем версий рядом с кодом.

🔧 Смысл в том, что команды больше не пишут одно и то же. Координацию вызовов модели и инструментов, контекст, файлы и продолжение многошаговой задачи собирали сами, а отличало продукт редко именно это.

Отдельно Microsoft сделала общедоступной устойчивость долгих задач у hosted-агентов: платформа замечает обрыв и перезапускает работу, а приложение сохраняет промежуточные результаты и не дублирует действия во внешних системах.

💰 До 1 декабря 2026 обвязка бесплатна, дальше песочница считается по потреблению: 0,0994 доллара за час виртуального ядра и 0,0118 за гигабайт-час памяти.
Вызовы модели и сторонние инструменты оплачиваются отдельно.
В превью harness выбирают при создании агента, поменять позже нельзя, а процессор и память песочницы настраивает платформа.

💼 Помимо самого факта релиза тут интересен вектор развития, - обвязка агента становится платформенным слоем, как когда-то база данных или контейнеры.
Кому нужна независимость от поставщика, придётся выбирать между своим харнессом и чужой песочницей.

📎 Документация: https://learn.microsoft.com/azure/foundry/agents/how-to/use-tools-skills-copilot-harness

#Microsoft #AIAgents #AI #harness
———
@tsingular

LiteLLM добавила AutoRouter в базовую библиотеку, без прокси и лицензии Enterprise

AutoRouter собирается Python скриптом: litellm.Router получает список моделей и правила выбора, а прокси и лицензия Enterprise не нужны. Модель выбирается на каждый запрос.

Уровней маршрутизации четыре: SIMPLE, MEDIUM, COMPLEX и REASONING, каждому сопоставлено имя модели.
Эвристический классификатор по умолчанию считает сложность локально по длине запроса, коду и словам рассуждения, без отдельного вызова модели.
Нераспознанный запрос уходит на модель по умолчанию.

🔧 Классификатор можно заменить: LLM-классификатор получает таймаут 2 секунды и откат на эвристику, но за такой выбор вы платите двумя вызовами.
Правила по ключевым словам срабатывают раньше классификатора, из совпавших побеждает тот, что старше по уровню.
Свой класс на Python читает метаданные запроса, например имя агента.

Роутеру можно отдать пул моделей: тогда LiteLLM выбирает случайно, а флаг adaptive включает отбор по сэмплированию Томпсона с обратной связью следующих ходов.
Привязка сессии держит разговор на модели первого хода до истечения TTL, чтобы не терять кэш промпта.

Проверять маршрут советуют на своих запросах.
С return_raw_model_name=True ответ показывает, какая модель ответила, а лог LiteLLM Router на уровне INFO пишет строку ComplexityRouter: routing decision с причиной: эвристика, ключевое слово, LLM-классификатор или привязка сессии.

📎 Устройство маршрутизатора: https://docs.litellm.ai/docs/autorouter_sdk/routing

#LiteLLM #LLM #роутер
———
@tsingular