Разбор аудиорежима в кодексе
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
@ai_grably
Будет особенно интересно тем, кто сам разрабатывает что-то подобное.
Но и просто пользователям тоже постарался сделать полезным – чтобы понимать ограничения таких систем и лучшие практики взаимодействия с ними
Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна
Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут
Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста)
В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением.
Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми
Такой типа эффект Джарвис. И это реально работает!
Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах:
- есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком
- есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой
А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки
Что интересного из этого следует для нас как для пользователей:
1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками)
2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится:
Менеджер
⬇️
Тимлид
↙️⬇️↘️
Исполнитель1, Исполнитель2, ..., ИсполнительN
Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы
Что тут полезного для тех, кто сам делает AI продукты/фичи
Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента
Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить
И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик
P.s. я, конечно, очень сильно упростил работу менеджеров – на самом деле они делают гораздо больше, чем gpt-realtime-1. Это просто самая близкая и наглядная аналогия, которую я придумал. Если у вас есть лучше, прошу в комменты
@ai_grably
❤33🔥17👍10🤔3👎2
Поспорил я тут на днях в баре с одной дизейнеркой интерьеров
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷♂️
Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал
Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе
В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет
Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь
Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок
Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле
Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд
Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении
Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение
Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото
Получается такая цепочка:
чертеж
→ 3d сцена
+ детектирование линий стен
→ локация камер
+ детектирование контуров батарей
→ 3d сцена с батареями
Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся
Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах
Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров
Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:
→ Ссылка с интерактивными штуками
(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)
2🔥72😁35❤22👍7🥱7🤡3🤔2
Forwarded from Константин Доронин
Что вы знаете про bb?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
Они называют себя "AI IDE that builds itself".
Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом.
В текстовом варианте можете почитать отличный обзор у Рефата.
Я же хочу предложить вам совместно изучить bb в формате практического стрима.
Вместе со мной разбираться в особенностях этой IDE будут:
1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra)
2. Коля, автор канала "AI и грабли"
Проходить стрим будет на моём YouTube-канале.
Дата и время: 21 сентября, 19:00 GTM+3
Ссылка для добавления события в календарь
p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?
1❤11👍3👾1
Константин Доронин
Что вы знаете про bb? Они называют себя "AI IDE that builds itself". Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом. В текстовом варианте можете почитать отличный обзор у Рефата.…
⬆️ Расскажу про vscode moment для агентов и нативный способ дать клод коду оркестрировать кодекс агентов и наоборот
1👍22
This media is not supported in your browser
VIEW IN TELEGRAM
Я уже неделю не могу дописать важный пост про SynthID – метку о том, что контент сгенерирован, которую провайдеры зашивают в картинки (а с недавнего времени еще и в аудио и даже текст), а главное, про мои тесты её удаления
Так вот, пока серьёзные посты ждут своей очереди, вот вам несерьёзный – увидел в рилсе девочку, которая себе сделала такое, как на видео. Меня пробило ностальгией, скинул ссылку на рилс опусу, сказал, повтори, только чтобы все чисто в браузере работало
Через 3 минуты все было готово. Мозгу очевидно, что это не рокет сайенс уже давно, но чисто на уровне ощущений – очень приятно, что то, на что у меня 9 лет назад ушло несколько месяцев, сейчас можно сделать за три минуты и оно будет даже более залипательным
Поиграться самим тут
Кстати, если у кого-то есть оригинальные идеи, как использовать mediapipe (это готовый набор примитивов для on-device hand и face трэккинга) не только для забавных демок – поделитесь в комментах
Так вот, пока серьёзные посты ждут своей очереди, вот вам несерьёзный – увидел в рилсе девочку, которая себе сделала такое, как на видео. Меня пробило ностальгией, скинул ссылку на рилс опусу, сказал, повтори, только чтобы все чисто в браузере работало
Через 3 минуты все было готово. Мозгу очевидно, что это не рокет сайенс уже давно, но чисто на уровне ощущений – очень приятно, что то, на что у меня 9 лет назад ушло несколько месяцев, сейчас можно сделать за три минуты и оно будет даже более залипательным
Поиграться самим тут
Кстати, если у кого-то есть оригинальные идеи, как использовать mediapipe (это готовый набор примитивов для on-device hand и face трэккинга) не только для забавных демок – поделитесь в комментах
2🔥62❤10👍4🥱1
AI и грабли
Я уже неделю не могу дописать важный пост про SynthID – метку о том, что контент сгенерирован, которую провайдеры зашивают в картинки (а с недавнего времени еще и в аудио и даже текст), а главное, про мои тесты её удаления Так вот, пока серьёзные посты ждут…
О, Валера @neuraldeep принял эстафету и выложил свой neuraldeep.ru/depth с детекцией глубины по одиночной камере
1🔥16❤🔥3👍3🥱2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Скоро: видео-монтаж-слоп во всех лентах страны
Opus-5.5 теперь сам такое ваншотит на remotion, в т.ч. офигенно подстраивает звук под анимации. Раньше у меня такое работало только с кучей правок и корректировок, было больно
Сейчас для меня выглядит прям неплохо, но как ребята в чате верно заметили, нас всех через пару месяцев от такого будет тянуть блевать (а кого-то, кто глубоко в медиа-генерации, наверное, уже)
P.s. контент для видео агент сам насобирал под соусом анализа моих чатов, но полезного там почти ничего нет – со смыслами все еще нужно работать вручную
Opus-5.5 теперь сам такое ваншотит на remotion, в т.ч. офигенно подстраивает звук под анимации. Раньше у меня такое работало только с кучей правок и корректировок, было больно
Сейчас для меня выглядит прям неплохо, но как ребята в чате верно заметили, нас всех через пару месяцев от такого будет тянуть блевать (а кого-то, кто глубоко в медиа-генерации, наверное, уже)
P.s. контент для видео агент сам насобирал под соусом анализа моих чатов, но полезного там почти ничего нет – со смыслами все еще нужно работать вручную
🔥33👍10👏2🥱2❤1🤨1
Anthropic > OpenAI, но есть пара но
Предпосылки
1. opus-5.5 очень хорош
2. DevDay openai – унылое зрелище
3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года)
Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой
Но в экосистеме клод клода есть несколько штук, которые меня бесят:
1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает
2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴
3. Ну и нет встроенной генерации картинок
Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем:
- Все редкие задачи, для которых лень настраивать честный API/CLI/MCP
- Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.)
- Или если в них нет нужного метода (ЭЦП в сервисах ЭДО)
- Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит)
Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!)
В отличие от Claude in Chrome решения, он:
- работает с нативным Playwright синтаксисом
- переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах)
- текстовые A11y снэпшоты вместо скринов (вот и экономия)
- дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов)
- полный доступ к iframe'ам
- браузерный алерт не превращает агента в беспомощного котенка
- встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно)
Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом
И, кстати да, не забываем отправить агента установить официальный скилл (
Более полный список отличий на моем браузерном мини-бенче ↓
Предпосылки
1. opus-5.5 очень хорош
2. DevDay openai – унылое зрелище
3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года)
Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой
Но в экосистеме клод клода есть несколько штук, которые меня бесят:
1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает
2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴
3. Ну и нет встроенной генерации картинок
Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем:
- Все редкие задачи, для которых лень настраивать честный API/CLI/MCP
- Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.)
- Или если в них нет нужного метода (ЭЦП в сервисах ЭДО)
- Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит)
Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!)
В отличие от Claude in Chrome решения, он:
- работает с нативным Playwright синтаксисом
- переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах)
- текстовые A11y снэпшоты вместо скринов (вот и экономия)
- дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов)
- полный доступ к iframe'ам
- браузерный алерт не превращает агента в беспомощного котенка
- встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно)
Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом
И, кстати да, не забываем отправить агента установить официальный скилл (
npx -y skills add https://playwriter.dev или прям напрямую с гитхаба стащить)Более полный список отличий на моем браузерном мини-бенче ↓
2🔥42❤17❤🔥2🗿2👍1🥰1🤔1