Gemini Canvas

В чатбот Гугла прикрутили Canvas для работы с кодом, коллаборациями (и наверно чем-то еще)

Бонусом, сделали Audio Overview - подкаст-обзор на основе загруженных документов. Короче, похоже, просто прикрутили NotebookLM

Попробовать - притворитесь что вы не в РФ

#text2podcast #coding #canvas #assistant

Сервис гугла NotebookLM для превращения любых источников в подкаст научился говорить по-русски (и еще на 50 языках)

Попробовать - притворитесь что вы не в России

#text2voice #pdf2voice #text2podcast

Вы пробовали пользоваться NotebookLM на телефоне? Я пробовал. Все криво-косо

Но они выпустили мобильные приложения, теперь жить стало легче в правильных странах

iOS
Android

#text2podcast #podcast #mobile

Chatterbox Audiobook Generator

По Chatterbox уже много свистоперделок вышло, вот одна из них. Мультиголосовой генератор аудиокниг / подкастов

Код

#audiobook #tts #text2audiobook #podcast #text2podcast

VibeVoice: A Frontier Open-Source Text-to-Speech Model

Голосовая модель от Microsoft для выразительных диалогов и подкастов.

Может синтезировать речь продолжительностью до 90 минут.

Поддерживает работу с 4 разными голосами в одной генерации, это на 2-3 голоса больше чем в ведущих моделях.

Есть китайский и английский. Надеемся на дообучение

На примере женский голос норм, мужской эмоционально пустой. Послушайте примеры на сайте для общей картины

Код
HF - модель на 1.5 млрд. параметров + токенизатор Обещают 7B и 0.5B
Демо

#podcast #voicecloning #tts #text2speech #text2podcast

ComfyUI-VibeVoice

Ноды голосовой модели VibeVoice

воркфлоу

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui

VibeVoice вернулся после 404

Microsoft, как можно было предположить, забеспокоился что юзеры при помощи их инструмента сделают что-нибудь нехорошее и прикрыл репозиторий.

Сейчас репозиторий снова открыт, в нем нет кода и появилось такое сообщение:

2025-09-05: VibeVoice - это исследовательская платформа с открытым исходным кодом, предназначенная для развития сотрудничества в сообществе по синтезу речи. После выпуска мы обнаружили случаи, когда инструмент использовался способами, несовместимыми с заявленными целями. Поскольку ответственное использование искусственного интеллекта является одним из руководящих принципов Microsoft, мы отключили это хранилище до тех пор, пока не будем уверены, что использование за пределами области применения больше невозможно.

А также появился SECURITY.md

Безопасность
Корпорация Майкрософт серьезно относится к безопасности своих программных продуктов и сервисов, включая все хранилища исходного кода в наших организациях на GitHub.

Пожалуйста, не сообщайте об уязвимостях в системе безопасности через общедоступные публикации на GitHub.

Для получения информации о безопасности, местоположениях, контактных данных и политиках, пожалуйста, ознакомьтесь с последними рекомендациями для репозиториев Майкрософт по адресу https://aka.ms/SECURITY.md.

Модели на HF снова доступны вроде.

Но изначально проект был выпущен под лицензией MIT, так что уже поздно запрещать. Пользуемся в ComfyUI

#news #podcast #voicecloning #tts #text2speech #text2podcast

VibeVoice ComfyUI Nodes теперь поддерживает теги пауз в двух вариантах:

[pause] → вставляет паузу продолжительностью в 1 секунду (по умолчанию)

[pause:ms] → вставляет пользовательскую длительность паузы в миллисекундах (например, [pause:2000] для 2 секунд).

Гитхаб

#podcast #voicecloning #tts #text2speech #text2podcast #comfyui

VibeVoice-finetuning

Неофициальный способ файнтюна топовой говорилки VibeVoice
В процессе разработки

Для 1.5B LoRa рекомендовано минимум 16gb VRAM
Для 7B LoRa - минимум 48gb VRAM

#podcast #voicecloning #tts #text2speech #text2podcast #finetuning #lora

А вот и официальный метод файнтюна говорилки VibeVoice

При файнтюне на один голос можно отключить возможность клонирования голоса, тогда результаты для этого голоса будут лучше. Но клонирование уже не будет работать на инференсе

#podcast #voicecloning #tts #text2speech #text2podcast #finetuning #lora

VibeVoice-ComfyUI 1.5.0

Добавлена поддержка лор и контроль скорости речи: можно немного изменять скорость исходного аудио для приближения к желаемому темпу при клонировании голоса. Для лучших результатов рекомендуются образцы звука длиннее 20 секунд.

#podcast #voicecloning #tts #text2speech #text2podcast #comfyui

VibeVoice-Large-Q8

первая полностью рабочая модель VibeVoice с 8-битной квантизацией

✅ Отличный звук, идентичный оригинальной модели
✅ 11,6 ГБ вместо 18,7 ГБ (-38%)
✅ Используется ~12 ГБ видеопамяти вместо 20 ГБ
✅ Работает на GPU с 12 ГБ (RTX 3060, 4070 Ti и т.д.)

VibeVoice ComfyUI Nodes

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui