Ездил в апреле в США в SF - там все обсуждали harness

Приехал на Саусхаб - снова harness, агенты, AI, автоматизация.

Если вы вдруг еще не знаете что такое harness, почему это нужно и важно - рекомендую почитать AI-DISRUPT PDLC

Так, я не дурак 😀

Yupp сжег 33 ляма баксов и закрылся 😬😬😬

Что произошло: мы запустились в июне прошлого года, чтобы построить двусторонний маркетплейс для оценки AI-моделей: дать пользователям доступ к нескольким моделям и использовать это реальное взаимодействие, чтобы помогать AI-лабораториям оценивать свои модели. Мы привлекли более 1,3 млн пользователей и несколько лабораторий в качестве платящих клиентов, но не смогли достичь достаточно сильного product–market fit.

Тем временем рынок быстро изменился. Модели становятся гораздо более способными, а пользовательские сценарии смещаются в сторону агентных систем: моделей, подключенных к инструментам, памяти и внешним сервисам, а не отдельных чат-ботов. В таком мире краудсорсинговая оценка моделей на уровне чат-ботов становится все менее критичной.

ИИ сделает из тебя либо супергероя, либо суперзлодея

Недавно выступал на ИТ-Пикнике: вместе с ребятами из Сбера, Т-Банка, Т1 и Контура обсуждали, как ИИ меняет разработку, какие суперсилы даёт инженерам и почему некоторые компании от этого могут стать только хуже.

Дискуссия получилась интересной. Поспорили про будущее разработчиков, AI-агентов и то, насколько вообще безопасно отдавать ИИ управление реальными системами.

Поделился несколькими мыслями:

1. ИИ усиливает не только умных, но и дураков. Если ты понимаешь архитектуру, бизнес и умеешь ставить задачи, агенты дают тебе огромный рычаг. Если нет — ты просто начинаешь с гораздо большей скоростью генерировать нейрослоп и проблемы.

2. Маленькие команды получают огромное преимущество перед корпорациями. Несколько сильных инженеров с ИИ-инструментами уже могут делать то, для чего раньше требовались целые отделы. Пока большая компания проходит несколько кругов согласований, маленькая команда уже выкатывает продукт.

3. Самый опасный суперзлодей — инженер, который отдал агенту все доступы. API-ключи, облака, базы данных. А потом удивляется, когда очередной prompt injection приводит к утечке или падению прода. ИИ не отменяет информационную безопасность и здравый смысл.

4. Будущее за теми, кто умеет управлять агентами. Всё больше ценности будет создаваться в проектировании систем, постановке задач и контроле результата, а не в количестве написанных строк кода.

Мой главный тезис: ИИ не уравняет сильных и слабых инженеров. Наоборот, разрыв между ними станет ещё больше.

Для меня это не просто теоретическая дискуссия. Мы в LLM Arena и VseLLM каждый день работаем с моделями, их качеством и инфраструктурой, поэтому многие из этих изменений видим на практике.

Было интересно сравнить наш опыт с тем, как ИИ внедряют в крупных технологических компаниях. Получился хороший разговор без попыток представить ИИ волшебной таблеткой.

Полная запись дискуссии:
https://www.youtube.com/watch?v=WRBAQ82akrg