This media is not supported in your browser
VIEW IN TELEGRAM
Krea добралась до Adobe Premiere
Похоже, кто-то послушал нейродеда и стал выпускать плагины и интеграции с профессиональными софтами, имеющими огромную юзербазу.
Krea бахнула интеграцию с Premiere Pro. Теперь генерировать нейрослоп можно прямо в монтажке, без этих постоянных переключений между браузером и софтом.
Что как бы умеет Krea for Premiere Pro:
• Генерировать новые видеопланы (shots) с помощью моделей (каких неясно) с Krea.
• Создавать недостающие перебивки и дополнительные кадры.
• Генерировать фоны и видеоподложки (plates) для композа.
• Экспериментировать с визуальными стилями и атмосферой сцен прямо в софте.
• Вонзать сгенерированные материалы непосредственно на таймлайн Premiere Pro.
Плагин доступен для Windows и macOS.
Но Premiere Pro - далеко не первая интеграция Krea.
Она уже предлагает целый набор плагинов:
Photoshop - генерация и редактирование изображений, замена фона, изменение освещения, создание рекламных мокапов, работа с Realtime Canvas. Результаты добавляются обычными слоями.
After Effects - генерация фонов, текстур, исходных изображений и визуальных концепций для моушн-дизайна. Поддерживается Realtime для быстрого поиска композиции и стиля.
Illustrator - генерация иллюстраций и логотипов, преобразование изображений в редактируемые векторные контуры через Image Trace. Krea Agent может создавать фигуры, работать с текстом и организовывать слои.
DaVinci Resolve - создание кинематографических кадров, фоновых материалов, перебивок и референсов для цветокоррекции. Есть Realtime-превью визуальных стилей. Пока только macOS и платная версия Resolve Studio.
Blender - генерация текстур, работа с освещением и рендеринг 3D-сцен с использованием моделей Krea прямо из 3D Viewport.
Важный момент: генерация выполняется в облаке Krea, а не локально. Для работы нужны (о боги) интернет и аккаунт Krea. Доступные модели и лимиты зависят от тарифа.
Наконец-то, Krea делает ставку не только на собственный зумерский веб-интерфейс, но и на интеграцию генеративного ИИ в привычные профессиональные инструменты.
Но тут я добавлю пессимизьма и сошлюсь на сегодняшний утренний репорт. Все такие интеграции должны делаться производителями софта. И DaVinci в этом смысле делает очень правильные шаги. И я не очень понимаю, почему молчит Адобченко. Наверное, у них до сих пор не хватает духу признать, что их собственные модели полное говно.
Тем не менее производители профессиональных софтов просто должны пачками выпускать такие плагины и использовать собственный биллинг для оплаты генераций. И все эти многочисленные посредники типа Krea и Runway в этой цепочке должны просто вымереть.
Ну и как справедливо пишут в комментах, время платных плагинов тоже заканчивается. Ибо любой подписчик может сейчас себя завайбкодить такой плагин с нужными рульками и педальками. А производители софтов должны, очевидно, выпускать бесплатные плагины. Просто у них преимущество в том, что они лучше знают свой софт.
Ссылки:
Premiere Pro:
https://www.krea.ai/plugins/premiere-pro
Полный каталог плагинов:
https://www.krea.ai/plugins
Подробности о Photoshop:
https://www.krea.ai/blog/krea-photoshop-plugin
DaVinci Resolve:
https://www.krea.ai/blog/krea-davinci-resolve-plugin
Illustrator:
https://www.krea.ai/blog/krea-illustrator-plugin
@cgevent
Похоже, кто-то послушал нейродеда и стал выпускать плагины и интеграции с профессиональными софтами, имеющими огромную юзербазу.
Krea бахнула интеграцию с Premiere Pro. Теперь генерировать нейрослоп можно прямо в монтажке, без этих постоянных переключений между браузером и софтом.
Что как бы умеет Krea for Premiere Pro:
• Генерировать новые видеопланы (shots) с помощью моделей (каких неясно) с Krea.
• Создавать недостающие перебивки и дополнительные кадры.
• Генерировать фоны и видеоподложки (plates) для композа.
• Экспериментировать с визуальными стилями и атмосферой сцен прямо в софте.
• Вонзать сгенерированные материалы непосредственно на таймлайн Premiere Pro.
Плагин доступен для Windows и macOS.
Но Premiere Pro - далеко не первая интеграция Krea.
Она уже предлагает целый набор плагинов:
Photoshop - генерация и редактирование изображений, замена фона, изменение освещения, создание рекламных мокапов, работа с Realtime Canvas. Результаты добавляются обычными слоями.
After Effects - генерация фонов, текстур, исходных изображений и визуальных концепций для моушн-дизайна. Поддерживается Realtime для быстрого поиска композиции и стиля.
Illustrator - генерация иллюстраций и логотипов, преобразование изображений в редактируемые векторные контуры через Image Trace. Krea Agent может создавать фигуры, работать с текстом и организовывать слои.
DaVinci Resolve - создание кинематографических кадров, фоновых материалов, перебивок и референсов для цветокоррекции. Есть Realtime-превью визуальных стилей. Пока только macOS и платная версия Resolve Studio.
Blender - генерация текстур, работа с освещением и рендеринг 3D-сцен с использованием моделей Krea прямо из 3D Viewport.
Важный момент: генерация выполняется в облаке Krea, а не локально. Для работы нужны (о боги) интернет и аккаунт Krea. Доступные модели и лимиты зависят от тарифа.
Наконец-то, Krea делает ставку не только на собственный зумерский веб-интерфейс, но и на интеграцию генеративного ИИ в привычные профессиональные инструменты.
Но тут я добавлю пессимизьма и сошлюсь на сегодняшний утренний репорт. Все такие интеграции должны делаться производителями софта. И DaVinci в этом смысле делает очень правильные шаги. И я не очень понимаю, почему молчит Адобченко. Наверное, у них до сих пор не хватает духу признать, что их собственные модели полное говно.
Тем не менее производители профессиональных софтов просто должны пачками выпускать такие плагины и использовать собственный биллинг для оплаты генераций. И все эти многочисленные посредники типа Krea и Runway в этой цепочке должны просто вымереть.
Ну и как справедливо пишут в комментах, время платных плагинов тоже заканчивается. Ибо любой подписчик может сейчас себя завайбкодить такой плагин с нужными рульками и педальками. А производители софтов должны, очевидно, выпускать бесплатные плагины. Просто у них преимущество в том, что они лучше знают свой софт.
Ссылки:
Premiere Pro:
https://www.krea.ai/plugins/premiere-pro
Полный каталог плагинов:
https://www.krea.ai/plugins
Подробности о Photoshop:
https://www.krea.ai/blog/krea-photoshop-plugin
DaVinci Resolve:
https://www.krea.ai/blog/krea-davinci-resolve-plugin
Illustrator:
https://www.krea.ai/blog/krea-illustrator-plugin
@cgevent
❤19👍12👎2
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка
«Симулятор пакета»
Автор: Арсений Попов
Спецвыпуск для Егора. Примечание админа.
Из-за отменённых рейсов я шестнадцать часов просидел в аэропорту. Медитировал на бумажный пакет. Заметил в его складках сходство со скульптурой и решил сохранить этот опыт в интерактивной форме.
Так у пакета появилась своя маленькая жизнь. Как правило, тяжёлая.
Его можно мять, рвать двумя пальцами, поднимать и бросать. Внутри шесть картошек: задача — вытряхнуть все на пол за минимальное время. Или забыть про таймер и почувствовать себя скульптором.
Это эксперимент с интерактивной рекламой: знакомая упаковка становится объектом, с которым зритель сам придумывает, что делать.
Как делал
Собирал проект в диалоге с ChatGPT / Codex: описывал поведение материала и жесты, проверял результат, возвращал конкретные правки. Идея, визуальное направление и оценка ощущений — мои; написание и переработка кода — через ИИ.
Основа — JavaScript и WebGL 2. Геометрия, фактуры и шейдеры создаются программно, сцена рассчитывается в реальном времени.
Больше всего возни было с физикой. Первые версии напоминали резину: пакет растягивался, пружинил, поверхности проходили друг сквозь друга. Дорабатывали ограничения растяжения, сохранение заломов, столкновения и разрывы. Отдельно пришлось убирать зависания после долгого сминания и искать баланс между детализацией и скоростью на телефоне. На мобильных расчёт физики вынесен в отдельный поток.
Звук
Шорох, хруст и разрывы синтезируются программно через Web Audio API и реагируют на действия пользователя. Варианты звука меняются, чтобы сминание не сопровождалось одним повторяющимся эффектом.
Время: первый прототип где-то 16 часов, и потом пару дней на доводку физики
Расходы: около 30% недельного лимита, подписка ChatGPT Pro 200
Помять пакет самому🙂
@cgevent
«Симулятор пакета»
Автор: Арсений Попов
Из-за отменённых рейсов я шестнадцать часов просидел в аэропорту. Медитировал на бумажный пакет. Заметил в его складках сходство со скульптурой и решил сохранить этот опыт в интерактивной форме.
Так у пакета появилась своя маленькая жизнь. Как правило, тяжёлая.
Его можно мять, рвать двумя пальцами, поднимать и бросать. Внутри шесть картошек: задача — вытряхнуть все на пол за минимальное время. Или забыть про таймер и почувствовать себя скульптором.
Это эксперимент с интерактивной рекламой: знакомая упаковка становится объектом, с которым зритель сам придумывает, что делать.
Как делал
Собирал проект в диалоге с ChatGPT / Codex: описывал поведение материала и жесты, проверял результат, возвращал конкретные правки. Идея, визуальное направление и оценка ощущений — мои; написание и переработка кода — через ИИ.
Основа — JavaScript и WebGL 2. Геометрия, фактуры и шейдеры создаются программно, сцена рассчитывается в реальном времени.
Больше всего возни было с физикой. Первые версии напоминали резину: пакет растягивался, пружинил, поверхности проходили друг сквозь друга. Дорабатывали ограничения растяжения, сохранение заломов, столкновения и разрывы. Отдельно пришлось убирать зависания после долгого сминания и искать баланс между детализацией и скоростью на телефоне. На мобильных расчёт физики вынесен в отдельный поток.
Звук
Шорох, хруст и разрывы синтезируются программно через Web Audio API и реагируют на действия пользователя. Варианты звука меняются, чтобы сминание не сопровождалось одним повторяющимся эффектом.
Время: первый прототип где-то 16 часов, и потом пару дней на доводку физики
Расходы: около 30% недельного лимита, подписка ChatGPT Pro 200
Помять пакет самому
@cgevent
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤53🔥26👎14😱10👍8😁5🙏1
😁38❤3👎3🔥2😱2
Forwarded from AI Product | Igor Akimov
OpenAI выкатили GPT-6.1 Terra
Давно ее не обновляли, теперь полноценное место между сол и луна.
Цены за 1M токенов (вход / выход):
– GPT-6 Luna – $0.10 / $0.50
– GPT-6.1 Terra – $1 / $5
– GPT-5.6 Terra – $2 / $12
– GPT-6.1 Sol и Sonnet 5.5 – $2 / $10
– Opus 5.5 – $4 / $20
По качеству:
– против прошлой Terra – в кодинге 50.3% против 21.5%, ошибок на провокационных запросах в 3 раза меньше
– против Sol – на max reasoning обходит, и в 3 раза быстрее
– против Opus 5.5 – отстаёт меньше чем на 5 пунктов при цене в 5+ раз ниже
– Luna всё ещё в 10 раз дешевле – для классификации и простого извлечения остаётся она.
Заточена на Computer use, так что для агентов, которые заполняют формы и бегают по интерфейсам, будет норм. А Sonnet за $2/$10 теперь выглядит дороговато – ждём ответа Anthropic)
https://openai.com/index/introducing-gpt-6-1-terra/
Давно ее не обновляли, теперь полноценное место между сол и луна.
Цены за 1M токенов (вход / выход):
– GPT-6 Luna – $0.10 / $0.50
– GPT-6.1 Terra – $1 / $5
– GPT-5.6 Terra – $2 / $12
– GPT-6.1 Sol и Sonnet 5.5 – $2 / $10
– Opus 5.5 – $4 / $20
По качеству:
– против прошлой Terra – в кодинге 50.3% против 21.5%, ошибок на провокационных запросах в 3 раза меньше
– против Sol – на max reasoning обходит, и в 3 раза быстрее
– против Opus 5.5 – отстаёт меньше чем на 5 пунктов при цене в 5+ раз ниже
– Luna всё ещё в 10 раз дешевле – для классификации и простого извлечения остаётся она.
Заточена на Computer use, так что для агентов, которые заполняют формы и бегают по интерфейсам, будет норм. А Sonnet за $2/$10 теперь выглядит дороговато – ждём ответа Anthropic)
https://openai.com/index/introducing-gpt-6-1-terra/
OpenAI
Introducing GPT-6.1 Terra
Delivering fast and capable computer use at scale
🔥15❤8👍2👎1
Принес ASCII милоту
Если кто-то ещё помнит демо-сцену и фанатеет по всем этим пиксел-артам и ASCII-артам, то вот держите симпатичный генератор.
Умеет работать как с картинками, так и с видео. Регистрация гуглом нужна только для экспорта.
И это не фильтр, это именно генератор. И тут количество настроек, конечно, поражает. От шрифтов до гранулированности.
Запехал туда Джессику и Мулан
https://devault-ascii.pages.dev/ascii-generator/app/
@cgevent
Если кто-то ещё помнит демо-сцену и фанатеет по всем этим пиксел-артам и ASCII-артам, то вот держите симпатичный генератор.
Умеет работать как с картинками, так и с видео. Регистрация гуглом нужна только для экспорта.
И это не фильтр, это именно генератор. И тут количество настроек, конечно, поражает. От шрифтов до гранулированности.
Запехал туда Джессику и Мулан
https://devault-ascii.pages.dev/ascii-generator/app/
@cgevent
🔥46👍12❤6👎1🙏1
Завайбкодил мета-модератора.
Точнее мета-онбордера.
Ну, потому что у меня давно опустились руки по поводу обработки всех этих запросов на вступление в группу комментариев. Поглядите на картинке, ну вот там примерно так на 50 процентов. А заявок у меня больше шести тысяч.
Поэтому, если вы читаете этот пост, подавали заявку на вступление в комментарии и вам прям надо туда попасть, то почитайте условия ниже и в самом конце жмакайте по ссылке. И да, вам придется ответить на пять вопросов, и это будет лучшей защитой от ботов. И подтверждением того, что вы прям сильно мотивированы.
Итак.
Правила группы
1. Прежде всего не хамить. У нас тут хватает своих городских сумасшедших, и даже если на вас наехали и нагрубили, вы делаете глубокий вдох и либо выходите из группы, либо продолжаете в вежливой манере.
2. Никакой политики, никакого офтопа и никакого флуда. Обсуждаем ИИ, графику, контент, задаем вопросы по теме, получаем ответы по теме, учимся и учим.
3. Писать одно предложение в трех сообщениях — смертный грех. Писать три предложения в трех сообщениях — тоже грех. Оформляйте свои мысли внятно. Зумерский стиль админа бесит.
4. Если вы пришли сюда продвигать свой канал и делать наивные репосты, то вы ошиблись чатом. Репосты на каналы в телеге не приветствуются и остаются прерогативой админа.
5. Ссылки на YouTube, Facebook, Insta и прочую бесовщину без проблем. Но с комментариями: зачем вы это запостили тут.
6. Если вы постите картинку или видос, также указывайте, зачем вы это запостили тут.
7. Мемасы и аниме админ с трудом, но терпит. Тем не менее не перебарщивайте с частотой мемасов, можете схлопотать бан за офтоп и флуд.
8. Ну и самое главное — думайте о том, как сделать этот чат лучше, чем полезным поделиться и как помочь людям. Вместо того, чтобы упражняться в остроумии и тешить свое эго.
9. За хамство и переход на личности лютый бан, который потом не отменяется.
Если не передумали, жмакайте сюда:
https://t.me/Meta_Moderator_Bot?start=onboarding
Не забывайте в конце анкеты также жмакнуть по "оставить заявку", потому что возможно ваша предыдущая заявка уже исдохла.
@cgevent
Точнее мета-онбордера.
Ну, потому что у меня давно опустились руки по поводу обработки всех этих запросов на вступление в группу комментариев. Поглядите на картинке, ну вот там примерно так на 50 процентов. А заявок у меня больше шести тысяч.
Поэтому, если вы читаете этот пост, подавали заявку на вступление в комментарии и вам прям надо туда попасть, то почитайте условия ниже и в самом конце жмакайте по ссылке. И да, вам придется ответить на пять вопросов, и это будет лучшей защитой от ботов. И подтверждением того, что вы прям сильно мотивированы.
Итак.
Правила группы
1. Прежде всего не хамить. У нас тут хватает своих городских сумасшедших, и даже если на вас наехали и нагрубили, вы делаете глубокий вдох и либо выходите из группы, либо продолжаете в вежливой манере.
2. Никакой политики, никакого офтопа и никакого флуда. Обсуждаем ИИ, графику, контент, задаем вопросы по теме, получаем ответы по теме, учимся и учим.
3. Писать одно предложение в трех сообщениях — смертный грех. Писать три предложения в трех сообщениях — тоже грех. Оформляйте свои мысли внятно. Зумерский стиль админа бесит.
4. Если вы пришли сюда продвигать свой канал и делать наивные репосты, то вы ошиблись чатом. Репосты на каналы в телеге не приветствуются и остаются прерогативой админа.
5. Ссылки на YouTube, Facebook, Insta и прочую бесовщину без проблем. Но с комментариями: зачем вы это запостили тут.
6. Если вы постите картинку или видос, также указывайте, зачем вы это запостили тут.
7. Мемасы и аниме админ с трудом, но терпит. Тем не менее не перебарщивайте с частотой мемасов, можете схлопотать бан за офтоп и флуд.
8. Ну и самое главное — думайте о том, как сделать этот чат лучше, чем полезным поделиться и как помочь людям. Вместо того, чтобы упражняться в остроумии и тешить свое эго.
9. За хамство и переход на личности лютый бан, который потом не отменяется.
Если не передумали, жмакайте сюда:
https://t.me/Meta_Moderator_Bot?start=onboarding
Не забывайте в конце анкеты также жмакнуть по "оставить заявку", потому что возможно ваша предыдущая заявка уже исдохла.
@cgevent
👍51👎30❤9🔥9🙏9😁5
Please open Telegram to view this post
VIEW IN TELEGRAM
33👎15🔥13😁11❤6👍4😱1
Forwarded from AI Product | Igor Akimov
Продолжаем разбирать статьи AI-лаб: Anthropic советует выкинуть половину сабагентов.
Еще одна провокационная статья из опыта реальных внедрений. Команда Applied AI посмотрела на корпоративные внедрения и увидела, что один агент со скиллами часто обходит по качеству и вариант "один промпт на все", и вариант с кучей сабагентов. И часто выходит дешевле и быстрее. У одного клиента одиночный цикл отработал примерно в 2 раза быстрее, чем мультиагентная обвязка. У другого дюжина сабагентов-специалистов в клиентском агенте ломала единый тон бренда и добавляла задержку.
Короче, все как в бизнесе: архитектура агента копирует оргструктуру :) Каждая команда пилит своего сабагента, сверху платформа ставит оркестратор. Что из этого вырастает:
– контекст теряется при передаче между агентами
– сотни пересекающихся сабагентов без стандартов и владельца
– "франкенштейн-промпт", куда каждая команда дописала по предложению
– локальные evals, по которым руководство принимает решения
– задержки
Что вместо этого надо делать:
– один цикл, одно контекстное окно, лимиты по ходам и бюджету
– постепенное раскрытие: модель видит короткие описания скиллов и инструментов и подгружает полные только когда нужно. Так они сократили системный промпт Claude Code больше чем на 80%
– инструменты группировать по намерениям пользователя, а не по API. После 30–50 описаний инструментов выбор начинает деградировать
– права доступа проверять внутри инструментов и возвращать понятный модели отказ, тогда один цикл обслуживает пользователей с разным доступом
Сабагенты все еще нужны, если есть измеримая деградация от раздутого контекста, нужны параллельные задачи со свежим контекстом, или агент путается в инструментах и противоречивых инструкциях. Но делить их надо по контексту, а не по типу задачи – иначе получается испорченный телефон.
Как мигрировать: сначала примеры (как же без них), хватит даже 10 штук. Потом сливать самых используемых и сильно связанных сабагентов, потом звать оставшихся как инструменты, потом по одному превращать в скиллы и сравнивать. Команды перестают владеть агентами и начинают владеть скиллами и инструментами, а системным промптом и качеством целиком владеет одна маленькая центральная команда. Есть кстати их скилл migration kit на GitHub.
Короче, как обычно, сначала в прошлом году все строили оркестраторов и агентов, а теперь это уже легаси. И забавно, что OpenAI в посте про своих Forward Deployted Engineers пришли к тому же самому – об этом в следующем посте.
https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop
Еще одна провокационная статья из опыта реальных внедрений. Команда Applied AI посмотрела на корпоративные внедрения и увидела, что один агент со скиллами часто обходит по качеству и вариант "один промпт на все", и вариант с кучей сабагентов. И часто выходит дешевле и быстрее. У одного клиента одиночный цикл отработал примерно в 2 раза быстрее, чем мультиагентная обвязка. У другого дюжина сабагентов-специалистов в клиентском агенте ломала единый тон бренда и добавляла задержку.
Короче, все как в бизнесе: архитектура агента копирует оргструктуру :) Каждая команда пилит своего сабагента, сверху платформа ставит оркестратор. Что из этого вырастает:
– контекст теряется при передаче между агентами
– сотни пересекающихся сабагентов без стандартов и владельца
– "франкенштейн-промпт", куда каждая команда дописала по предложению
– локальные evals, по которым руководство принимает решения
– задержки
Что вместо этого надо делать:
– один цикл, одно контекстное окно, лимиты по ходам и бюджету
– постепенное раскрытие: модель видит короткие описания скиллов и инструментов и подгружает полные только когда нужно. Так они сократили системный промпт Claude Code больше чем на 80%
– инструменты группировать по намерениям пользователя, а не по API. После 30–50 описаний инструментов выбор начинает деградировать
– права доступа проверять внутри инструментов и возвращать понятный модели отказ, тогда один цикл обслуживает пользователей с разным доступом
Сабагенты все еще нужны, если есть измеримая деградация от раздутого контекста, нужны параллельные задачи со свежим контекстом, или агент путается в инструментах и противоречивых инструкциях. Но делить их надо по контексту, а не по типу задачи – иначе получается испорченный телефон.
Как мигрировать: сначала примеры (как же без них), хватит даже 10 штук. Потом сливать самых используемых и сильно связанных сабагентов, потом звать оставшихся как инструменты, потом по одному превращать в скиллы и сравнивать. Команды перестают владеть агентами и начинают владеть скиллами и инструментами, а системным промптом и качеством целиком владеет одна маленькая центральная команда. Есть кстати их скилл migration kit на GitHub.
Короче, как обычно, сначала в прошлом году все строили оркестраторов и агентов, а теперь это уже легаси. И забавно, что OpenAI в посте про своих Forward Deployted Engineers пришли к тому же самому – об этом в следующем посте.
https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop
Claude
Building agents: When to fold subagents into your main agent loop
When to consider using fewer subagents and how to migrate the into your main loop.
👍13❤11😁5🔥2
Baidu бахнула Unlimited-OCR 2: модель для распознавания документов практически любой длины
Она умеет извлекать текст из сканов и PDF, обрабатывать таблицы, формулы и многостраничные материалы.
Но главная новизна работы не столько в качестве OCR, сколько в способе обработки очень длинных документов.
У современных OCR-моделей на базе LLM есть проблема: чем больше страниц они обрабатывают и чем длиннее становится генерируемый текст, тем больше вычислений и памяти требуется для продолжения работы. Модель вынуждена постоянно обращаться к растущему объёму предыдущего контекста.
Первая Unlimited-OCR уже частично решала эту проблему, ограничивая объём сохраняемой истории генерации. Но визуальные данные всех страниц по-прежнему могли создавать растущую вычислительную нагрузку.
В Unlimited-OCR 2 Baidu предложила механизм Sparse Reference Sliding Window Attention (SR-SWA).
Его идея довольно проста: при распознавании очередного фрагмента модель сосредотачивается на текущей странице и обращается лишь к небольшому набору наиболее полезных фрагментов из остального документа.
Вместо постоянного просмотра всей накопленной информации она использует ограниченную рабочую память - например, 512 опорных токенов.
В результате вычислительная стоимость каждого следующего шага остаётся приблизительно постоянной, даже когда документ становится значительно длиннее.
Все как у кожаных: переписывая длинную книгу, мы смотрим прежде всего на текущую страницу, а не перечитываем все предыдущие после каждого предложения.
Что на итоге?
По собственным тестам Baidu, на документах объёмом около 100 страниц новый механизм обеспечивает ускорение отдельных шагов декодирования до 7 раз относительно полного внимания и до 5.6 раза относительно предыдущего механизма.
Дополнительно модель использует обработку страниц перекрывающимися блоками, что позволяет освобождать память после завершения очередного участка документа.
Модель содержит около 3 млрд параметров. Код и веса опубликованы под лицензией MIT, в том числе для коммерческого использования.
Ссылки:
• GitHub: https://github.com/baidu/Unlimited-OCR
• Веса: https://huggingface.co/baidu/Unlimited-OCR-2
• Статья Unlimited-OCR: https://arxiv.org/abs/2606.23050
@cgevent
Она умеет извлекать текст из сканов и PDF, обрабатывать таблицы, формулы и многостраничные материалы.
Но главная новизна работы не столько в качестве OCR, сколько в способе обработки очень длинных документов.
У современных OCR-моделей на базе LLM есть проблема: чем больше страниц они обрабатывают и чем длиннее становится генерируемый текст, тем больше вычислений и памяти требуется для продолжения работы. Модель вынуждена постоянно обращаться к растущему объёму предыдущего контекста.
Первая Unlimited-OCR уже частично решала эту проблему, ограничивая объём сохраняемой истории генерации. Но визуальные данные всех страниц по-прежнему могли создавать растущую вычислительную нагрузку.
В Unlimited-OCR 2 Baidu предложила механизм Sparse Reference Sliding Window Attention (SR-SWA).
Его идея довольно проста: при распознавании очередного фрагмента модель сосредотачивается на текущей странице и обращается лишь к небольшому набору наиболее полезных фрагментов из остального документа.
Вместо постоянного просмотра всей накопленной информации она использует ограниченную рабочую память - например, 512 опорных токенов.
В результате вычислительная стоимость каждого следующего шага остаётся приблизительно постоянной, даже когда документ становится значительно длиннее.
Все как у кожаных: переписывая длинную книгу, мы смотрим прежде всего на текущую страницу, а не перечитываем все предыдущие после каждого предложения.
Что на итоге?
По собственным тестам Baidu, на документах объёмом около 100 страниц новый механизм обеспечивает ускорение отдельных шагов декодирования до 7 раз относительно полного внимания и до 5.6 раза относительно предыдущего механизма.
Дополнительно модель использует обработку страниц перекрывающимися блоками, что позволяет освобождать память после завершения очередного участка документа.
Модель содержит около 3 млрд параметров. Код и веса опубликованы под лицензией MIT, в том числе для коммерческого использования.
Ссылки:
• GitHub: https://github.com/baidu/Unlimited-OCR
• Веса: https://huggingface.co/baidu/Unlimited-OCR-2
• Статья Unlimited-OCR: https://arxiv.org/abs/2606.23050
@cgevent
👍31🔥10❤5
This media is not supported in your browser
VIEW IN TELEGRAM
#Нейропрожарка
🔦 Сторож маяка. Серия 1 — «3:17»
Автор: Микола Сторчеус (@kolianchik84)
Идея: мини-сериал-мистика на Чёрном море, на украинском. Ярина приезжает на маяк, где 30 лет служил её дед. Неделю назад его похоронили, а маяк всё равно кто-то зажигает — каждую ночь в 3:17. Хотелось сделать не нарезку красивых кадров, а серию с завязкой, правилами мира и обрывом на вопросе. Рыбака играю я сам.
🛠 Производство
1. Сценарий и раскадровка. Сначала написал серию целиком (8 сцен, ~90 с) — кто где стоит, что делает и что говорит в каждом плане. Писал «тело, а не чувства»: не «она испугана», а «отдёргивает руку, задерживает дыхание».
2. Персонажи — Nano Banana. Для каждого героя карточка на белом фоне: полный рост с 4 сторон + лицо крупно. Рыбак — по моему фото. Отдельно локации: маяк, ночной луч, три интерьера (комната смотрителя, низ маяка, комната лампы). Всего ~12 картинок с правками.
3. Проверка раскадровкой — главный лайфхак. До видео отдал Nano все карточки + сценарий и попросил нарисовать сетку из 8 кадров. Вылезли ошибки, которые иначе я бы нашёл только за деньги в видео: луч бил не из маяка, а из фонаря рыбака; рыбак стоял рядом с героиней, а не в дверях за её спиной; часы показывали 5:17. Поправил текст — сэкономил 3 перегенерации.
4. Видео — Vidu Q4 reference-to-video, 540p, 16:9, 8 сцен по 10–12 с. В каждую сцену — только рефы тех, кто в кадре (персонаж + локация), до 4 штук. Промпт: шапка камеры (ARRI Alexa 35, Kodak Vision3 500T, «NOT CGI, NOT glossy», зерно), блок «кто есть кто» с реальными расстояниями, дальше SHOT 1/2/3 по секундам и блок звука. Против пластиковой кожи отдельный блок: поры, веснушки, «no beauty filter, no airbrushing» — Vidu реально держит живую кожу.
Косяки Vidu: героиня в одном плане стоит лицом к двери, а в следующем «оборачивается» — вырезал поворот на монтаже, вышло даже резче.
5. Звук и липсинк. Vidu генерит звук сам (море, ветер, скрип двери, стуки) — его оставил. Но украинскую речь он произносит с сильным акцентом, поэтому все реплики переозвучил живыми голосами (мужской — мой, женский — живая озвучка) и вручную поставил под движение губ Vidu, длинные фразы ускорил на 15–18%. Отдельный липсинк не делал: пробовал Volcengine lite на крупных планах — на щеках вылезают скачки, на среднем плане заметно лучше.
6. Монтаж — ffmpeg: склейка, затемнения, переходы через туман, сайдчейн-приглушение моря под голос, титр. Хук в начале — 3,5 с самого страшного из финала («Його поховали тиждень тому. Але щоночі о 3:17 хтось запалює маяк»), потом серия. Вертикальная версия — с размытым фоном и субтитрами.
⏱️ Время: 2–3 часа на всю серию — от сценария до монтажа.
💰 Деньги (себестоимость API): Vidu ~100 с × $0.036 ≈ $3.6, картинки Nano ≈ $0.7 — около $4–5 на серию с перегенерациями.
⚖️ Сравнение: Seedance лучше даёт сложное движение камеры и экшен, но для диалоговых сцен с крупными лицами Vidu вышел дешевле (примерно в 1,5–2 раза в 540p) и с более живой кожей. Минус Vidu — язык: украинский/русский только переозвучкой.
@cgevent
🔦 Сторож маяка. Серия 1 — «3:17»
Автор: Микола Сторчеус (@kolianchik84)
Идея: мини-сериал-мистика на Чёрном море, на украинском. Ярина приезжает на маяк, где 30 лет служил её дед. Неделю назад его похоронили, а маяк всё равно кто-то зажигает — каждую ночь в 3:17. Хотелось сделать не нарезку красивых кадров, а серию с завязкой, правилами мира и обрывом на вопросе. Рыбака играю я сам.
🛠 Производство
1. Сценарий и раскадровка. Сначала написал серию целиком (8 сцен, ~90 с) — кто где стоит, что делает и что говорит в каждом плане. Писал «тело, а не чувства»: не «она испугана», а «отдёргивает руку, задерживает дыхание».
2. Персонажи — Nano Banana. Для каждого героя карточка на белом фоне: полный рост с 4 сторон + лицо крупно. Рыбак — по моему фото. Отдельно локации: маяк, ночной луч, три интерьера (комната смотрителя, низ маяка, комната лампы). Всего ~12 картинок с правками.
3. Проверка раскадровкой — главный лайфхак. До видео отдал Nano все карточки + сценарий и попросил нарисовать сетку из 8 кадров. Вылезли ошибки, которые иначе я бы нашёл только за деньги в видео: луч бил не из маяка, а из фонаря рыбака; рыбак стоял рядом с героиней, а не в дверях за её спиной; часы показывали 5:17. Поправил текст — сэкономил 3 перегенерации.
4. Видео — Vidu Q4 reference-to-video, 540p, 16:9, 8 сцен по 10–12 с. В каждую сцену — только рефы тех, кто в кадре (персонаж + локация), до 4 штук. Промпт: шапка камеры (ARRI Alexa 35, Kodak Vision3 500T, «NOT CGI, NOT glossy», зерно), блок «кто есть кто» с реальными расстояниями, дальше SHOT 1/2/3 по секундам и блок звука. Против пластиковой кожи отдельный блок: поры, веснушки, «no beauty filter, no airbrushing» — Vidu реально держит живую кожу.
Косяки Vidu: героиня в одном плане стоит лицом к двери, а в следующем «оборачивается» — вырезал поворот на монтаже, вышло даже резче.
5. Звук и липсинк. Vidu генерит звук сам (море, ветер, скрип двери, стуки) — его оставил. Но украинскую речь он произносит с сильным акцентом, поэтому все реплики переозвучил живыми голосами (мужской — мой, женский — живая озвучка) и вручную поставил под движение губ Vidu, длинные фразы ускорил на 15–18%. Отдельный липсинк не делал: пробовал Volcengine lite на крупных планах — на щеках вылезают скачки, на среднем плане заметно лучше.
6. Монтаж — ffmpeg: склейка, затемнения, переходы через туман, сайдчейн-приглушение моря под голос, титр. Хук в начале — 3,5 с самого страшного из финала («Його поховали тиждень тому. Але щоночі о 3:17 хтось запалює маяк»), потом серия. Вертикальная версия — с размытым фоном и субтитрами.
⏱️ Время: 2–3 часа на всю серию — от сценария до монтажа.
💰 Деньги (себестоимость API): Vidu ~100 с × $0.036 ≈ $3.6, картинки Nano ≈ $0.7 — около $4–5 на серию с перегенерациями.
⚖️ Сравнение: Seedance лучше даёт сложное движение камеры и экшен, но для диалоговых сцен с крупными лицами Vidu вышел дешевле (примерно в 1,5–2 раза в 540p) и с более живой кожей. Минус Vidu — язык: украинский/русский только переозвучкой.
@cgevent
👎88🔥11👍7❤5😁3😱2🙏1
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
👍50🔥13🙏8😱7❤3👎2