OpenAI выкатила GPT-Live - новый голосовой режим ChatGPT

Что изменилось:

* GPT-Live умеет слушать и говорить одновременно. Предыдущий Advanced Voice Mode уже работал напрямую со звуком, но всё равно ждал окончания реплики пользователя. Теперь модель может поддакивать, выдерживать паузы, не перебивать собеседника и реагировать прямо во время его речи. Особенно убедительно это работает на английском и в режиме синхронного перевода.

* В основе лежит full-duplex-архитектура. Вместо привычной цепочки «услышать - обработать - ответить» модель непрерывно принимает аудио и одновременно генерирует собственную речь. Несколько раз в секунду она решает, что делать дальше: продолжать слушать, начать говорить, замолчать, перебить пользователя или вызвать внешний инструмент.

* Сложные вопросы могут передаваться большой модели. Сам GPT-Live отвечает за живой разговор, а поиск, глубокие рассуждения и агентные задачи делегирует GPT-5.5. Пока старшая модель думает или ищет информацию, голосовой ассистент может продолжать беседу, а не зависать. На старте используются GPT-5.5 Instant либо GPT-5.5 Thinking с уровнями рассуждения Medium и High.

* Обновили все девять голосов ChatGPT. Модель также лучше отделяет голос пользователя от уличного шума и разговоров на фоне. А во время голосового диалога интерфейс теперь может показывать карточки с погодой, спортом, котировками и другой визуальной информацией.

Развёртывание уже началось по всему миру. Пользователи бесплатного тарифа получают GPT-Live-1 mini, а на планах Go, Plus и Pro основной голосовой моделью станет GPT-Live-1. Версия для API пока не вышла, но OpenAI обещает открыть её разработчикам позднее.

Новый режим пока не поддерживает видео и демонстрацию экрана - ради них придётся временно переключаться на старые версии Voice Mode.

https://openai.com/index/introducing-gpt-live/

@cgevent

Режиссерский софт

Перейдем от робатов к делам насущным. Поднял архивы постов и нашел, что больше трех лет назад писал:
"Интересно будет посмотреть на трушные нейропайплайны, когда chatGPT наговаривает промпты, по ним генерятся картинки для раскадровок, chatGPT дополняет это динамикой переходов, одновременно подгружаются видео-референсы со стоков, из которых достается движение камеры и оптики, по дороге пристегивается controlNet с персонажами, и весь этот компот идет на вход compot2Video."
https://t.me/cgevent/5165

Хех, и что мы видим в твитторах сегодня? Накаркал.

Тогда же в 2023 году писал:
"А к тому, что с видео и с анимацией все не так сладко, как с картинками. И на входе генерации видео будет тонна "гайдов" и референсов, а не только текст и кнопка "Генерить шедевр".
И эти гайды будут наследоваться из традиционных пайплайнов. Концепты и даже раскадровки можно генерить, а вот описывать движение камеры, персонажа, света, оптики словами - ну такое..."
https://t.me/cgevent/5281

Еще я упорно ныл, что видео - оно само по себе сложное. Там не просто пиксели бегают по картинке, там шевелятся десятки сущностей: персонажи, фоны, освещение, тени, фокусное расстояние, текстуры и еще много всего. Разметить картинку и разметить видео - немного разные задачи. Описать движение? Попробуйте сами двух словах. Промпты должны быть величиной с дом для попадания в замысел сам себе режиссера.
https://t.me/cgevent/7315

Это как бы затравка для небольшого марафона по тем инструментам, которые генеративная братия изобретает прямо сейчас, ибо с приходом Сиданского до всех наконец-то дошло, что видео словами не опишешь и нужны новые способы управления камерой, анимацией, светом, оптикой и что-там еще есть в этом бесовском видео.

Одно из решений - блокинг. Или превиз. Поэтому я так много постил за нейрорендер. Болваны в блендоре - рендер в Сиденском.

Теперь пошла новая волна - сохранение консистентности и стилей через глубину (видео идет путем контролнета).

И уже пошли софты типа LTX Director.

Об этом и поговорим.

@cgevent

MCP в Комфи. Автоглубина и автоконтролнет.

Как разминочный частный пример использования глубины для переноса Video2Video приведу очень интересный кейс использования MCP для комфи. Грубо говоря, оно все делает само.

Claude Fable запускает воркфлоу ComfyUI через Comfy MCP:

→ Claude сам нашёл нужный фрагмент видео в интернете, автоматически определил смены сцен и обрезал видео
→ запустил сохранённый воркфлоу с Depth Anything V3 и OpenPose, чтобы собрать референсное видео с движением
→ просмотрел каждый кадр, выбрал самый чёткий, а затем с помощью GPT Image 2 заменил персонажа на нужного точно по указаниям: смокинг, лиминальное пространство, никаких людей на фоне
→ написал промпты для Seedance 2.0 и запустил генерации
→ собрал итоговое сравнение из трёх панелей

Обычно именно препроцессинг и написание промптов занимают большую часть работы над таким роликом. А с MCP даже не пришлось открывать ни одну ноду.

Сорс

@cgevent

Framethrower

Из последних интересных инструментов выделю Framethrower: video-to-depthmap converter.

Достаете глубину из реального или нереального видео, используете как управляющий гайд для генерации своего видео.

Почему-то бесплатно тут:

https://www.framethrower.ai/

Также можно вспомнить:
LingBot-Depth 2.0
DepthAnything

@cgevent

Палладиум для Блендора

Следующий опенсорсный проект использует вместо глубины хитроумную конвертацию 2Д в 3Д и очень замороченный пайплайн:

Z-Image 2D > Pixal3D
360/HDRI dome + auto light alignment
3d > Klein Image > LTX video with Chatterbox speech - Pallaidium

Зато здесь подхватывается и освещение. И получается довольно крепкий управляющий контролНет.

И все опенсорсное, из говна и палок, как положено. Даже монтажка на базе Блендора.

Z-Image 2D > 3D: https://github.com/tin2tin/Asset_Generator-2D-3D
360/HDRI dome + auto light alignment: https://github.com/tin2tin/hdri_strip_to_3d_enviroment
3d > Klein Image > LTX video with Chatterbox speech - Pallaidium: https://github.com/tin2tin/Pallaidium

Подробнее:
https://www.reddit.com/r/StableDiffusion/comments/1uppqev/2d_3d_video_via_the_pallaidium_tools_for_blender/

А мы пойдем к более человеческим инструментам для режиссерского софта.

@cgevent

Pika Director’s Suite

Я уже писал про
LTX Director
LTX Cameraman v2 IC-LoRA
LTX 2.3 Video Builder UI for ComfyUI

Но похоже общая нейростарческая идея режиссерского софта начинает доходить до всех.

Тут Пика бахнула Режиссерский Набор! Пока в бете, но есть утечки по интерфейсу. Слева ассеты, внизу таймлайн.

Но сдается мне, что они не совсем понимают задачи такого софта. Там нет ничего про рефы и превизы. Снова кнопка сделать красиво. И упор на монтаж.

А вот про тех, кто понимает, поговорим в след посте.

https://experiment.pika.art/directors-suite

@cgevent

А закончим сегодняшний марафон небольшим ништячком от LTX.

Вы тут спрашивали про лупы.

Вот они:
https://huggingface.co/Lightricks/LTX-2.3-22b-LoRA-Cinemagraph
Transforms still images into smooth, looping cinemagraphs with selective motion while keeping the rest of the scene frozen.

@cgevent

Ошибок в тексте и коде у моделей маскированной диффузии теперь станет меньше

Исследователи из лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ представили G-Star+ — метод сэмплирования для моделей маскированной диффузии.
Работу представили на конференции ICML 2026 в Сеуле.

В маскированных диффузионных моделях генерация происходит через последовательное заполнение замаскированных токенов. Проблема в том, что уже выбранный токен часто фиксируется навсегда, и в случае ошибки на раннем этапе внести какие-либо исправления сложно.

G-Star+ работает как “внутренний редактор”. Он определяет токены с высокой вероятностью ошибки, повторно маскирует только их и переписывает подозрительные места позже. Вместо полного переобучения происходит дообучение одного дополнительного слоя – это экономит вычислительные ресурсы и позволяет фокусироваться на местах, где ошибка наиболее вероятна.

G-Star+ был оценен на семи бенчмарках, включая генерацию кода, текста и следование инструкциям, и показал эффективность в режимах быстрой генерации (64–256 шагов). Метод может улучшать качество генерации текста и кода в ИИ-ассистентах, чат-ботах и при автодополнении кода.

ссылка

@cgevent

GPT-5.6 доступны всем желающим и они хороши!

2 недели была на ревью у государства. По бенчам всех порвала.

– Sol бьёт Claude Fable 5 на агентских бенчмарках (+13 пунктов на Agents' Last Exam) – при вдвое меньшем времени и цене
– Terra и Luna обгоняют Fable 5 в ~16 раз дешевле
– Новый режим ultra – 4 параллельных агента из коробки для сложных задач
– Заметный скачок в дизайне и презентациях: модель сама смотрит на результат через computer use и доводит его

По кибербезу крутая, а потому тоже вводят trusted access. А всех остальных на таких запросах блокируют.

И объединили вместе chatgpt и codex, добавили а-ля артефакты, прокачали офисные задачи.

Короче, переманят всех с Клода. На месяц-два будет лидировать, можно агрейдить подписку.

https://openai.com/index/gpt-5-6/

Итого:

Sol: побивает Fable и доступна на всех платных тарифах.
Terra: средняя, мощная, доступна для всех.
– Luna: самая маленькая и быстрая, также доступна бесплатно.

ChatGPT Work, который теперь одно приложение из ChatGPT, Codex и агентов уже можно скачивать для десктопов: openai.com/chatgpt-work/

@cgevent

Пока шум и гам про Сол, вышел Reve 2.1

Точнее, умнее, детальнее.

"Reve 2.1 планирует изображения значительно детальнее и визуализирует их с большей точностью.

Всё это основано на одной и той же идее: представление изображений в виде структурированных и адресуемых лэйаутов, а не исключительно трактовка промпта".

https://app.reve.com/

@cgevent

Вот эта вот БЕТА-фича из Seedance 2.5 про экстенд-генерацию на три минуты о которой я писал, засветилась в сети.

Она указана как «Ultra-Long Video» (Сверхдлинное видео).
Остается выяснить, идет ли речь о видео длительностью 180 секунд, сгенерированном одним куском, или о шести смонтированных вместе клипах.
По последним слухам, релиз версии 2.5 ожидается в середине месяца.

@cgevent

Тут еще новость про LTX

LTX больше не хочет быть просто генератором видео. Компания отделяется от Lightricks и объявляет себя разработчиком открытых world models - моделей, которые должны не просто генерировать видосы, а понимать движение, пространство, свет, взаимодействие объектов и последствия действий. Вот эти вот все симуляции для роботов, беспилотников, игр и промышленности.

Техническая база - семейство LTX-2. Это модель примерно на 22 млрд параметров, которая генерирует видео и синхронизированный звук внутри одной архитектуры. Внутри два связанных потока: около 14 млрд параметров для видео и 5 млрд для аудио, соединённых cross-attention.

Выделение в самостоятельную компанию показывает, что Lightricks нехило так колбасит, что LTX собирается продавать не только генерацию видео. Главной аудиторией становятся студии, разработчики, робототехнические стартапы, промышленные компании и создатели систем Physical AI.

В общем две новости: Lightricks сплитуется на две компании, а LTX превращается в генератор миров.

https://ltx.io/blog/introducing-ltx-as-an-open-world-models-company

@cgevent

Огромная свежая статья про GPT 5.6 и Fable

Автор тестировал Sol 2 месяца и сжёг 25 миллиардов токенов.

Таблицы, сравнения, выводы.

Я приведу лишь аналогию, которую он приводит. Статью не перескажешь никак.

"GPT-5.6 кажется мне примерно в 2-3 раза быстрее. Это впечатление, а не результат бенчмарка. Он генерирует код быстрее, меньше отвлекается и, как правило, затрагивает меньше кода. GPT-5.6 — невероятная модель, безусловно, лучшая в линейке GPT-5.
Начнём с аналогии, потому что, кажется, все её приводят. GPT-5.6, вероятно, последняя модель в серии тренировочных GPT-5. Это спортсмен на пике своей долгой карьеры.
Многолетний опыт сделал его самым надежным игроком на корте, обладающим самым высоким игровым интеллектом. Но дальше расти некуда; этот тренировочный период достиг своего потолка.
Фэйбл, напротив, по сути, является первой моделью, прошедшей новый тренировочный этап: новичок, выбранный в первом раунде драфта. Он обладает природным талантом и энергией молодого игрока, способного на невероятные действия, которые мы считали невозможными.
Она также совершает ошибки, свойственные неопытным игрокам. Дайте новичку больше игр, и со временем он может стать лучше, чем когда-либо был ветеран. Это новая игра и новая эра."

https://signals.forwardfuture.com/gpt-5-6-review/

@cgevent

А вот и обновленный гайд от самих OpenAI по использованию нового семейства моделей.

https://developers.openai.com/api/docs/guides/latest-model?model=gpt-5.6

Превью в телеге забавное, да.

@cgevent