Нейронавт | Нейросети в творчестве
13.2K subscribers
7.14K photos
5.66K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Parakeet-unified-en-0.6b

Распознавалка речи от NVIDIA в реальном времени.
Одна модель обрабатывает и файлы, и поток
Минимальная задержка 160 мс

Видимо, только английский

#asr #realtime #stt #streaming
Superwhisper

Транскрибатор речи в текст

работает в Slack, Gmail и других приложениях

поддерживает более 100 языков и диалектов, переводит их на английский

интегрируется с Cursor, Claude Code, Open Code и другими кодерами

может транскрибировать аудио- и видеофайлы

Есть какой-то бесплатный тариф

#MacOS #Windows #iOS #stt #transcribe
❤6
ElevenLabs внезапно предложили локальное развертывание своих моделей. Нет, все равно придется платить и за лицензию и за использование по тарифу

Два варианта:
- On-Premise - для серверов с GPU
- On-Device - для edge-устройств с NPU, ARM и бюджетными видеокартами

Обе версии поддерживают 30+ языков, весь инференс и обработка аудио проходят внутри инфраструктуры клиента. Валидация лицензий и телеметрия опциональны (до полной изоляции)

Обещан файнтюн под языки и диалекты и обновления

Запуск запланирован на первую половину 2026 года.

Записаться в вейтлист

#tts #stt #news
🔥7
awesome-russian-speech

Здесь собраны ссылки связанные с голосовыми технологиями на русском языке

распознавание речи
генерация речи
датасеты
курсы
распознавание эмоций
пунктуация
преобразование голоса
и т д

#tts #stt #russian #tools #voicecloning #voicedesign
👍23
MOSS-Audio

Открытая базовая модель для работы с аудио: речью, звуками, музыкой.

• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)

4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR

Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента

Гитхаб
HF

Спасибо @EvgenyiPerm

#asr #alm #music2text #captioning #STT
🔥8👍5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Audio-Interaction

Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.

• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели

• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)

huggingface.co/zhifeixie/AudioInteraction

github.com/xzf-thu/Audio-Interaction

#dialog #streaming #realtime #tts #stt #voicemode #interactive
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Cream Typer

Оффлайновая голосовая диктовка для macOS на базе whisper.cpp. Работает на Metal GPU, активируется через Caps Lock - речь превращается в текст прямо в активном окне

• распознаёт речь офлайн, задержка ~ 0,4 с на 10 с аудио
• поддерживает 18 языков
• переводит в английский одной строкой в конфиге без отдельного пайплайна
• не собирает телеметрию
• компактный код, всего ~ 300 строк Python
• легко дорабатывать и ускорять бесплатно

вдохновлено дебильной диктовкой на маке


#stt #macos
🔥8
Whisper-Podlodka-Turbo

Файнтюн распознавалки речи Whisper Large V3 Turbo под русскую речь, повышена точность транскрибации и снижены лишние срабатывания на шумы

• распознаёт русский и английский
• ставит пунктуацию и заглавные буквы
• снижает галлюцинации на неречевых сегментах
• устойчив к фоновому шуму

#stt #asr #russian
👍16🔥4😁3
audio.cpp

C++ движок для аудиоинференса на ggml. заявлен прирост 1.8–5x по сравнению с Python‑реализациями, плюс есть оптимизация под CUDA.

- синтез речи.
- распознавание речи.
- VAD (Voice Activity Detection) - детекция голосовой активности.
- конвертация голоса (изменение тембра, пола и т. д.).
- генерация музыки/аудиофрагментов

Windows / Linux / macOS

#tts #stt #vad #t2m #text2music #voice2voice
🔥11❤3👍3
Anti-Vocale

Локальная транскрипция голосовых на Android, без облака

• транскрибирует из мессенджеров через меню обмена
• несколько моделей ASR: Whisper, Gemma, Parakeet, Qwen3-ASR, Nemotron 3.5
• прогрессивный вывод текста по сегментам
• статистика скорости для каждой модели на устройстве
• журнал транскрипций с поиском
• VAD-удаление тихих сегментов

Whisper Turbo large ужат до ~1 ГБ. Есть настройки потоков, индикатор достоверности, плавающее окно.

#android #stt #vad
👍14🔥1
Qwen3-ASR

Ах да, сама распознавалка речи у них тоже обновилась

Компактная, высокая пропускная способность, мультиязычность

Распознавание речи и выравнивание по таймстампам. Покрывают 30 языков, 22 диалекта китайского, разные акценты.

• SOTA среди открытых ASR-моделей
• сопоставима с проприетарными API
• 1.7B параметров
• нативная поддержка в Transformers
• стриминг
• 2000× throughput при 0.6B параметров

• идентификация языка + STT в сложных акустических условиях
• Qwen3-ASR-0.6B - 2000x пропускная способность при 128 одновременных запросов
• единый режим стриминга и офлайн, работа с длинными аудио
• Forced Alignment через Qwen3-ForcedAligner-0.6B: таймстампы до 5 минут, 11 языков, точность выше E2E-аналогов

#asr #stt
🔥12❤1👍1
MOSS-Transcribe-preview-2B

Модель для преобразования английской речи в текст. Использует Qwen3-1.7B-base и Qwen3-Omni-MoE аудиоэнкодер.

• распознаёт английскую речь
• обучена на публичных #ASR корпусах
• дообучена с помощью reinforcement learning
• выдаёт транскрипцию аудио

Хуже работает с неанглийской речью, акцентами, шумом, перекрывающимися голосами

Студия

#asr #stt
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
real-time voice AI

Hugging Face и Cerebras собрали пример опенсорсного голосового диалогового агента в рилтайме

• Gemma 4 VLM на Cerebras — быстрый инференс
• Parakeet (Nvidia) — распознавание речи
• Qwen3TTS (Alibaba) — синтез голоса
• задержка минимальна, отклик почти мгновенный

Работает в роботах Reachy Mini (свыше 9000 устройств)

Гитхаб
Демо

#realtime #dialog #voicemode #vlm #multimodal #interactive #tts #stt #duplex
👍9🔥2
MOSS-Transcribe-Diarize-0.9B

Компактная модель (0.9B) для транскрибации и диаризации в одном проходе (обычно для этого нужны 2 разные модели)

• структурированный вывод с таймкодами и спикерами
• обработка длинных записей
• поддержка hotwords и акустических событий

Гитхаб
HF
Демо

#transcribe #stt #diarize
👍11
GigaAM Multilingual

Мультилингвальная ASR-модель для языков СНГ

Лучше адаптируется к новым языкам, чем Whisper и Omnilingual. Подтверждено на грузинском и башкирском

• поддержка казахского, киргизского, узбекского, английского
• можно дообучать на другие языки

huggingface.co/ai-sage/GigaAM-Multilingual
github.com/salute-developers/GigaAM
———

GigaChat Audio

Аудио-нативная LLM на базе GigaAM Multilingual и GigaChat3.1‑10B‑A1.8B. Держит контекст до 2 часов

• поддерживает многошаговый голосовой диалог, классификацию, перевод, ASR
• привязка ко времени, суммаризация с таймкодами
• высокий результат на RuBQ‑Audio и Dusha

huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B
———

Обновленный GigaChat-Max-Audio - на giga.chat и @gigachat_bot

@smartspeech_sber_bot - распознавание голосовых на 5 языках

#stt #transcribe #russian #dialog #asr #translation
🔥7👍2
Bionic

Агент от LM Studio для автоматизации задач с локальными и облачными LLM. Решает проблему ручной рутины в документах, коде и медиа без отправки данных в облако.

• создание и редактирование документов, презентаций, PDF
• программирование и автосохранение изменений
• локальная расшифровка речи в реальном времени
• запуск через LM Studio на MLX и llama.cpp
• подключение облачных моделей (GLM, Kimi) для сложных задач

Работает на Windows и macOS. Есть бесплатный тариф

Спасибо @m_franz

#agent #asr #stt #pdf #slides
👍12❤1🥴1
GigaChat3.1-Audio-10B-A1.8B

Аудио LLM для работы с длинными записями (2 часа)

* Распознавание речи (ASR) - переводит аудио в текст
* Перевод - упомянуты русский и английский
* Ответы на вопросы по аудио (QA)
* Распознавание эмоций
* Временная привязка (temporal grounding). находит в какой части аудио происходит то или иное событие. заявлено 48.3 mIoU на задачах для записей до 2 часов

• 10B #MoE декодер, активно 1.8B параметров
• энкодер GigaAM

Демо

#alm #qa #asr #stt #translation #russian
🔥10👍5❤4😁1
Muse Voice Transcribe

Meta (запрещено в РФ) Superintelligence Labs выкатила первую модель распознавания речи в реальном времени. Разбирает голос, диаризацию и определение конца фразы на лету без задержек

Возможности:
• потоковое распознавание речи
• диаризация 20+ говорящих одновременно
• определение конца реплики в потоке
• переключение между языками внутри одной фразы
• настройка на конкретные имена и термины

Поддержка 25+ языков. Русский не указан. В демонстрации модель разбирает восемь человек, говорящих одновременно, и правильно понимает кто что сказал.

Отдельно точность подтягивается контекстом: если упомянуть конкретное имя или место, модель его узнает и не путает с похожими словами

#stt #diarize #realtime

VK | MAX
👍4🤷‍♂1
VibeVoice-Streaming ASR

Потоковая модель от Microsoft транскрибирует речь по мере поступления аудио. Плюс сразу помечает, кто из спикеров что сказал.

Из полезного - поддержка кастомных hotwords, то есть можно заранее задать слова и имена, которые модель должна распознавать точно (имена собственные, термины, названия компаний). Работает с 10 языками включая русский

Гитхаб
Попробовать

#stt #asr #russian #streaming

VK | MAX
👍13