Поспорил я тут на днях в баре с одной дизейнеркой интерьеров

Говорит, что ваши эти ИИшки не держат геометрию и помещают в комнату объекты, которые там физически не могут находиться. А я ей – что ИИшки могут 🤷‍♂️

Говорит, кто проиграет пари – оплачивает весь банкет. А я человек азартный, мне часто вообще пофиг на что именно спорить, да и выпендриваться я люблю. А тут еще и такая возможность Астру потестить в ее родных задачах, чего я до сих пор нормально не сделал

Входные условия достаточно неприятные – чертеж и 4 плохих фотки. Но у меня настроен remote коннект на ноут, который в апартах на столе стоит включенным и пару ресетов в запасе

В целом то она права – если просто сгрузить все в кодекс и сказать наложить дизайн, то он тупо вызовет imagegen и геометрия точно поедет

Но мы уже решали похожие задачи и знаем, что вся соль – в создании промежуточной детерминированной модели. В нашем случае – просто 3д сцены квартиры. Можно в каком-нибудь CAD'е или blender'е, но тут с этим даже не заморачиваюсь

Взяв чертеж и загуглив проектную документацию здания (чтобы найти высоту потолков), агент строит базовую модель. Тут все ок

Дальше осталось расставить 3д объекты мебели, подогнать виртуальные ракурсы под камеру и уже по 3д сценам запустить генерацию секси картинок в нужном стиле

Пока агент работает, я попиваю джин-тоник и рассказываю всратые истории про Таиланд

Подгонка камер оказалась сложнее чем я думал и важнее, чем я думал. Я то хотел просто красивые картиночки со слайдерами сделать (см выше), чтобы наглядно показать корректную геометрию комнат. А на самом деле это важно, чтобы определять точные размеры и положение других объектов в помещении

Например вон тот радиатор у окна сильно влиял на ширину "спальни" и было не понятно, влезет ли кровать – нужно было точно знать его расположение

Поэтому я немного упоролся и отправил агента сначала сделать детектирование углов и линий стен, а потом накинуть немного матмоделирования – по сути итеративную подгонку положения и углов обзора камеры, пока линии виртуального мира не сойдутся с линиями на фото

Получается такая цепочка:

чертеж
  → 3d сцена
  + детектирование линий стен 
    → локация камер  
    + детектирование контуров батарей 
      → 3d сцена с батареями

Где-то в этот момент мы тоже занимаемся определением локации – локации следующего бара, так как предыдущий закрылся

Как только локация камер и бара установлена, мы делаем уже обратную процедуру по локализации батарей: зная положение стен относительно камеры и видя на ней радиаторы, можно точно определить их координаты на этих стенах

Не все проходит гладно: агент использует классический CV для определения линий стен и где-то он триггерится на пятна краски вместо реального угла, а из-за кривого освещения в 3d сцене imagegen не правильно распознает границы стен у потолка на паре кадров

Где-то в этот момент параллельная экспериментальная задача из другого проекта убивает мой ноут и коннекшн теряется. Через 20 минут и этот бар закрывается, я по-джентльменски закрываю счет, и заказываю такси до дома. К утру все готово, но у меня не сохранился ее контакт, так что делюсь ссылкой с вами:

→ Ссылка с интерактивными штуками

(история выше – художественный вымысел, а все совпадения с реальными людьми – случайность)

Anthropic > OpenAI, но есть пара но

Предпосылки
1. opus-5.5 очень хорош
2. DevDay openai – унылое зрелище
3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года)

Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой

Но в экосистеме клод клода есть несколько штук, которые меня бесят:

1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает

2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴

3. Ну и нет встроенной генерации картинок

Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем:

- Все редкие задачи, для которых лень настраивать честный API/CLI/MCP

- Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.)

- Или если в них нет нужного метода (ЭЦП в сервисах ЭДО)

- Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит)

Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!)

В отличие от Claude in Chrome решения, он:

- работает с нативным Playwright синтаксисом
- переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах)
- текстовые A11y снэпшоты вместо скринов (вот и экономия)
- дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов)
- полный доступ к iframe'ам
- браузерный алерт не превращает агента в беспомощного котенка
- встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно)

Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом

И, кстати да, не забываем отправить агента установить официальный скилл (npx -y skills add https://playwriter.dev или прям напрямую с гитхаба стащить)

Более полный список отличий на моем браузерном мини-бенче ↓