Если вы давно в этом канале, то знаете, что я люблю делать диванные прогнозы на будущее. Один из новых прогнозов:
Что это будет значить для нас:
Для всех, кто работает с генераторами музыки, диалоговыми аудио ботами, монтажем подкастов и т.д. – это огромное подспорье.
Как нативное понимание image когда-то позволило сильно прокачать возможности агентов во фронтенде, дизайне и любом другом визуале – если агент "видит" результат работы, он сразу может найти косяки и исправить их. Тот самый feedback loop, где feedback – это сам результат работы
Так же будет и с аудио. Сейчас я работаю с локальными генераторами аудио и voice cloning, и этого прям жестко не хватает. Поэтому приходится использовать самодельную версию агента с модельками gemini по API. Из альтернатив есть Antigravity – они добавили это к себе буквально через пару недель после моего эксперимента, причем сразу и с поддержкой видео (это, кстати, единственная причина использовать Antigravity, которую я знаю)
Если кому интересно, на чем основывается предсказание про появление омни модельки от openai:
Примерно месяц назад я расковырял новый коммит в codex-cli, который добавляет audio как валидный тип результата для tool_calls (наравне с text и image). Так же они добавляют это в поддержку MCP. И даже в dynamic_tools (это тулы, которые можно инжектить в codex извне. Например, codex desktop, который под капотом запускает codex, инжектит туда тулы для управления встроенным браузером и соседними чатами.
Короче, раз поддержка добавлена в харнес, то и модели должны быть на подходе
Ваш диванный предсказатель, @ai_grably
Скоро у openai появится агентная модель уровня sol+ с нативным audio инпутом как у gemini (ставлю на до конца года)
Что это будет значить для нас:
Для всех, кто работает с генераторами музыки, диалоговыми аудио ботами, монтажем подкастов и т.д. – это огромное подспорье.
Как нативное понимание image когда-то позволило сильно прокачать возможности агентов во фронтенде, дизайне и любом другом визуале – если агент "видит" результат работы, он сразу может найти косяки и исправить их. Тот самый feedback loop, где feedback – это сам результат работы
Так же будет и с аудио. Сейчас я работаю с локальными генераторами аудио и voice cloning, и этого прям жестко не хватает. Поэтому приходится использовать самодельную версию агента с модельками gemini по API. Из альтернатив есть Antigravity – они добавили это к себе буквально через пару недель после моего эксперимента, причем сразу и с поддержкой видео (это, кстати, единственная причина использовать Antigravity, которую я знаю)
Если кому интересно, на чем основывается предсказание про появление омни модельки от openai:
Ваш диванный предсказатель, @ai_grably
Telegram
AI и грабли
Несуществующие агенты для аудио
В последнее время много работаю с генерацией аудио. И удивляет, что в основном аудио пайплайны собираются в условном comfy – визуальном блочном редакторе. Удивляет, потому что это как писать код пайплайном в n8n вместо клода/кодекса…
В последнее время много работаю с генерацией аудио. И удивляет, что в основном аудио пайплайны собираются в условном comfy – визуальном блочном редакторе. Удивляет, потому что это как писать код пайплайном в n8n вместо клода/кодекса…
🔥17❤12👍5🗿3
Видел недавно интересный тейк, мол, все только хвастаются как внедряют ИИ, но конкретных успешных кейсов никто не показывает. Да и вообще, большая часть ИИ пилотов в компаниях – провалилась
Ну во-первых, большая часть пилотов и должны проваливаться по определению – это проверка гипотез
А во-вторых, я вижу, что реально успешные внедрения идут не от разработки кастомного решения, а от правильного онбординга уже готовых универсальных агентов (codex/cc) внутри компаний
Даже своих клиентов я сейчас отговариваю от кастома – вместо этого мы стали настраивать им агентную инфру с управлением скиллами, трейсиноом сессий и управлением доступами
Но это для среднего и малого бизнеса. Про крупняк я очень скептично настроен. Но на конфе от Community Sprints ребята обещают кейсы успешных применений в нетехнических командах известных компаний. Ну, посмотрим
Участие бесплатное и без подписок на спикеров (🫢)
Я там тоже как-то затесался – покажу один из своих любимых кейсов:
Продуктовый/маркетинговый рисерч агентами по одному из самых богатых, но наименее индексируемых хранилищ информации – ютубу
Еще будут крутые ребята из известных компаний (круто, что и РФ и международка). Весьма no-bullshit состав, на мой взгляд - многих знаю лично
8-10 сентября со стартом в 18:00 по мск
Бесплатная регистрация и подробности по темам – у ребят на сайте
Ну во-первых, большая часть пилотов и должны проваливаться по определению – это проверка гипотез
А во-вторых, я вижу, что реально успешные внедрения идут не от разработки кастомного решения, а от правильного онбординга уже готовых универсальных агентов (codex/cc) внутри компаний
Даже своих клиентов я сейчас отговариваю от кастома – вместо этого мы стали настраивать им агентную инфру с управлением скиллами, трейсиноом сессий и управлением доступами
Но это для среднего и малого бизнеса. Про крупняк я очень скептично настроен. Но на конфе от Community Sprints ребята обещают кейсы успешных применений в нетехнических командах известных компаний. Ну, посмотрим
Участие бесплатное и без подписок на спикеров (🫢)
Я там тоже как-то затесался – покажу один из своих любимых кейсов:
Продуктовый/маркетинговый рисерч агентами по одному из самых богатых, но наименее индексируемых хранилищ информации – ютубу
Еще будут крутые ребята из известных компаний (круто, что и РФ и международка). Весьма no-bullshit состав, на мой взгляд - многих знаю лично
8-10 сентября со стартом в 18:00 по мск
Бесплатная регистрация и подробности по темам – у ребят на сайте
🔥26❤10🤣9👍6🤡3😁1
↑ Cейчас разбирал с Фейблом system card gpt-6-astra и чет опять такими вайбами ai-2027.com повеяло, ух
Полтора года назад, когда она жестко зафорсилась в ИИ пузыре, ее мало кто реально прочитал, зато много кто высмеивал в нереалистичности (classic).
В целом не удивительно – тогда более-менее в теме актуальных возможностей ИИ были единицы, да и то скорее аккуратные скептики. Да и английский в статье не самый простой. Если кто пропустил, но хочет прочитать – напоминаю, что я тогда выложил перевод на хабр. Даже обе концовски сделал – можно выбрать свою
Перевод, кстати, уже тогда был полностью сделан нейронкой (даже картинки), хотя и с кучей хаков, чтобы это было комфортно читать
Время чтения – пару часов, ощущения – бесценны
https://habr.com/ru/articles/898622
Полтора года назад, когда она жестко зафорсилась в ИИ пузыре, ее мало кто реально прочитал, зато много кто высмеивал в нереалистичности (classic).
В целом не удивительно – тогда более-менее в теме актуальных возможностей ИИ были единицы, да и то скорее аккуратные скептики. Да и английский в статье не самый простой. Если кто пропустил, но хочет прочитать – напоминаю, что я тогда выложил перевод на хабр. Даже обе концовски сделал – можно выбрать свою
Перевод, кстати, уже тогда был полностью сделан нейронкой (даже картинки), хотя и с кучей хаков, чтобы это было комфортно читать
Есть всё-таки что-то ироничное в том, что текст про опасности ИИ полностью переведен самим ИИ
Время чтения – пару часов, ощущения – бесценны
https://habr.com/ru/articles/898622
1❤28🔥13👍5💩1🤡1🤣1
Разбор аудиорежима в кодексе
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
@ai_grably
Будет особенно интересно тем, кто сам разрабатывает что-то подобное.
Но и просто пользователям тоже постарался сделать полезным – чтобы понимать ограничения таких систем и лучшие практики взаимодействия с ними
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
P.s. я, конечно, очень сильно упростил работу менеджеров – на самом деле они делают гораздо больше, чем gpt-realtime-1. Это просто самая близкая и наглядная аналогия, которую я придумал. Если у вас есть лучше, прошу в комменты
@ai_grably
❤33🔥17👍10🤔3👎2
Поспорил я тут на днях в баре с одной дизейнеркой интерьеров
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
чертеж
→ 3d сцена
+ детектирование линий стен
→ локация камер
+ детектирование контуров батарей
→ 3d сцена с батареями
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
2🔥72😁35❤22👍7🥱7🤡3🤔2
Forwarded from Константин Доронин
Что вы знаете про bb?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
1❤11👍3👾1
Константин Доронин
Что вы знаете про bb? Они называют себя "AI IDE that builds itself". Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом. В текстовом варианте можете почитать отличный обзор у Рефата.…
⬆️ Расскажу про vscode moment для агентов и нативный способ дать клод коду оркестрировать кодекс агентов и наоборот
1👍22
This media is not supported in your browser
VIEW IN TELEGRAM
Я уже неделю не могу дописать важный пост про SynthID – метку о том, что контент сгенерирован, которую провайдеры зашивают в картинки (а с недавнего времени еще и в аудио и даже текст), а главное, про мои тесты её удаления
Так вот, пока серьёзные посты ждут своей очереди, вот вам несерьёзный – увидел в рилсе девочку, которая себе сделала такое, как на видео. Меня пробило ностальгией, скинул ссылку на рилс опусу, сказал, повтори, только чтобы все чисто в браузере работало
Через 3 минуты все было готово. Мозгу очевидно, что это не рокет сайенс уже давно, но чисто на уровне ощущений – очень приятно, что то, на что у меня 9 лет назад ушло несколько месяцев, сейчас можно сделать за три минуты и оно будет даже более залипательным
Поиграться самим тут
Кстати, если у кого-то есть оригинальные идеи, как использовать mediapipe (это готовый набор примитивов для on-device hand и face трэккинга) не только для забавных демок – поделитесь в комментах
Так вот, пока серьёзные посты ждут своей очереди, вот вам несерьёзный – увидел в рилсе девочку, которая себе сделала такое, как на видео. Меня пробило ностальгией, скинул ссылку на рилс опусу, сказал, повтори, только чтобы все чисто в браузере работало
Через 3 минуты все было готово. Мозгу очевидно, что это не рокет сайенс уже давно, но чисто на уровне ощущений – очень приятно, что то, на что у меня 9 лет назад ушло несколько месяцев, сейчас можно сделать за три минуты и оно будет даже более залипательным
Поиграться самим тут
Кстати, если у кого-то есть оригинальные идеи, как использовать mediapipe (это готовый набор примитивов для on-device hand и face трэккинга) не только для забавных демок – поделитесь в комментах
2🔥62❤10👍4🥱1
AI и грабли
Я уже неделю не могу дописать важный пост про SynthID – метку о том, что контент сгенерирован, которую провайдеры зашивают в картинки (а с недавнего времени еще и в аудио и даже текст), а главное, про мои тесты её удаления Так вот, пока серьёзные посты ждут…
О, Валера @neuraldeep принял эстафету и выложил свой neuraldeep.ru/depth с детекцией глубины по одиночной камере
1🔥16❤🔥3👍3🥱2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Скоро: видео-монтаж-слоп во всех лентах страны
Opus-5.5 теперь сам такое ваншотит на remotion, в т.ч. офигенно подстраивает звук под анимации. Раньше у меня такое работало только с кучей правок и корректировок, было больно
Сейчас для меня выглядит прям неплохо, но как ребята в чате верно заметили, нас всех через пару месяцев от такого будет тянуть блевать (а кого-то, кто глубоко в медиа-генерации, наверное, уже)
P.s. контент для видео агент сам насобирал под соусом анализа моих чатов, но полезного там почти ничего нет – со смыслами все еще нужно работать вручную
Opus-5.5 теперь сам такое ваншотит на remotion, в т.ч. офигенно подстраивает звук под анимации. Раньше у меня такое работало только с кучей правок и корректировок, было больно
Сейчас для меня выглядит прям неплохо, но как ребята в чате верно заметили, нас всех через пару месяцев от такого будет тянуть блевать (а кого-то, кто глубоко в медиа-генерации, наверное, уже)
P.s. контент для видео агент сам насобирал под соусом анализа моих чатов, но полезного там почти ничего нет – со смыслами все еще нужно работать вручную
🔥33👍10👏2🥱2❤1🤨1
Anthropic > OpenAI, но есть пара но
Предпосылки
1. opus-5.5 очень хорош
2. DevDay openai – унылое зрелище
3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года)
Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой
Но в экосистеме клод клода есть несколько штук, которые меня бесят:
1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает
2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴
3. Ну и нет встроенной генерации картинок
Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем:
- Все редкие задачи, для которых лень настраивать честный API/CLI/MCP
- Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.)
- Или если в них нет нужного метода (ЭЦП в сервисах ЭДО)
- Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит)
Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!)
В отличие от Claude in Chrome решения, он:
- работает с нативным Playwright синтаксисом
- переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах)
- текстовые A11y снэпшоты вместо скринов (вот и экономия)
- дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов)
- полный доступ к iframe'ам
- браузерный алерт не превращает агента в беспомощного котенка
- встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно)
Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом
И, кстати да, не забываем отправить агента установить официальный скилл (
Более полный список отличий на моем браузерном мини-бенче ↓
Предпосылки
1. opus-5.5 очень хорош
2. DevDay openai – унылое зрелище
3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года)
Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой
Но в экосистеме клод клода есть несколько штук, которые меня бесят:
1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает
2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴
3. Ну и нет встроенной генерации картинок
Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем:
- Все редкие задачи, для которых лень настраивать честный API/CLI/MCP
- Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.)
- Или если в них нет нужного метода (ЭЦП в сервисах ЭДО)
- Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит)
Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!)
В отличие от Claude in Chrome решения, он:
- работает с нативным Playwright синтаксисом
- переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах)
- текстовые A11y снэпшоты вместо скринов (вот и экономия)
- дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов)
- полный доступ к iframe'ам
- браузерный алерт не превращает агента в беспомощного котенка
- встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно)
Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом
И, кстати да, не забываем отправить агента установить официальный скилл (
npx -y skills add https://playwriter.dev или прям напрямую с гитхаба стащить)Более полный список отличий на моем браузерном мини-бенче ↓
2🔥42❤17❤🔥2🗿2👍1🥰1🤔1