⏯ Как сделать PostgreSQL лучше

Мы поговорили с Андреем Бородиным*, руководителем направления разработки СУБД с открытым исходным кодом в Yandex Cloud. Обсудили, как опенсорс привёл его в компанию и как команда под его руководством развивает одну из главных систем управления базами данных в мире.

🤖 Изначально Андрей просто помогал улучшать код СУБД, а параллельно оптимизировал Яндекс Почту. А в итоге возглавил команду, которая помогает обслуживать 25 000 баз данных для хранения транзакций. Задача такого масштаба позволяет ему регулярно находить и решать сложные проблемы.

🔴 В команде Андрея есть недавние студенты и активные участники опенсорс-сообщества. Например, один из его стажёров привёл в проект целых 100 контрибьюторов из университета! А другой — за три месяца помог создать инструмент, которым теперь пользуются тысячи людей по всему миру. Поэтому, чтобы попасть в Яндекс через опенсорс, не нужно сразу быть гуру баз данных. Достаточно мотивации и желания решать максимально сложные задачи 😉

* Кстати, Андрей Бородин входит в топ-50 главных контрибьюторов PostgreSQL.

👳‍♂️ Читайте все подробности в карточках выше!

Подписывайтесь:
💬 @Yandex4Developers

📦 AI-агенты в маркетплейсах: опыт команды Яндекс Маркета

В начале ноября ребята из службы Поиска и диалоговых сценариев Яндекс Маркета выкатили обновлённого AI-агента. В карточках выше показываем, как он устроен, а ниже делимся инсайтами, которые наши инженеры получили во время разработки. Передаём слово Олегу Найдину, руководителю команды.

🅰️ Проводите хакатоны и привлекайте больше промпт-инженеров

Как только вы допилите реализацию базовых вызовов API и промптов — начинайте активно искать и привлекать промпт-инженеров для экспериментов. Их работа крайне важна для прототипирования: так вы сможете быстро переработать продуктовое ТЗ в инструмент, который будет устойчиво давать качественные ответы.

🅰️ Будьте осторожнее с промптами

Для масштабирования LLM-решений очень важно формулировать задачи, отталкиваясь от интегральной базовой технологии, а не от каждого нового среза в отрыве от предыдущих. Когда модель больше не может следовать базовым инструкциям, это значит, что пора остановиться. Если продолжать усложнять инструкции, возможна ситуация, когда промпт перегрузят минорными правками и нейросеть перестанет его понимать.

🅰️ Создавайте замеры качества. Итерируйте базовое качество и UX как можно чаще

Собирайте большие корзины запросов, которые репрезентативны ожидаемому потоку обращений к AI-агенту. И продумывайте подробные метрики качества, иначе двигаться в быстрых итерациях будет очень сложно. Бывают полезны как поточечные метрики качества (например, бинарная допустимость или недопустимость ответа по ряду продуктовых критериев), так и side-by-side-сравнения ответов.

Когда у вас появятся измерения, которым вы доверяете, начинайте часто итерировать качество ответа агентов и выбирайте лучшие подходы. Это поможет вам быстрее приступить к непосредственному внедрению в продакшен.

🅰️ Вкладывайтесь в инфраструктуру

Скорость и надёжность — очень важные продуктовые метрики. Пользователи не хотят долго ждать. Сразу добавьте поддержку постепенной генерации ответа, чтобы пользователь видел его по чанкам. Иначе придётся переделывать весь проект на ходу. А это долго, дорого и больно (поверьте нашему опыту). Мы советуем использовать квантизацию весов и спекулятивный декодинг для ускорения генерации ответов.

🅰️ Используйте мультиагентные фреймворки

Они помогают быстро итерироваться и тестировать разные пайплайны обработки запросов — так вы быстрее поймёте, как должен и может выглядеть конечный продукт. Плюсы и минусы разных решений ищите в карточках выше. Кстати, советую присмотреться к Yandex AI Studio!

🅰️ Специализируйте модели под домен, если это возможно. Поддерживайте баланс между AI-монолитом и AI-микросервисами

Дообучайте модели под конкретную задачу. В зависимости от возможностей можно использовать prompt-tuning, LoRA или полноценную связку SFT+RLHF. Это обеспечит больший контроль и качество результата, а ещё позволит использовать меньшие модели. Так вы сможете сэкономить вычислительные ресурсы и увеличить скорость генерации.

➕ Есть и альтернативная точка зрения. Некоторые исследователи считают, что, по закону Мура, вычисления заметно подешевеют в ближайшем будущем. И поэтому можно увеличивать размеры моделей, растя качество их ответов, не сильно переживая о стоимости GPU и скорости работы.

Эта позиция не лишена смысла, но мне кажется, что мир ещё не совсем готов к этому. На мой вкус, если можно дообучить модель под конкретную задачу, то лучше так и сделать.

Подписывайтесь:
💬 @Yandex4Developers