На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей читабельности, потому что в прямом переводе получался сложночитаемый булшит.
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
👍6👏3🔥2
В четверг выступал офлайн в бизнес день на главной конфе Сбера по ИИ — AI Journey.
Рассказывал как мы делаем AI-First аналитику и как трансформируется работа аналитиков и принятие решение.
Перфоманс оцениваю на четверку с небольшим плюсом: выступил ок, но готовиться было ну очень сложно из-за сильно размытой аудитории — нужно было и про бизнес, и попросили про техничку, но технички не так чтобы много, потому что все же про бизнес — и вооот это все нужно было уместить в 15 минут.
Единственное, чтобы добавил — на финальные слайды рядом с трейсингом надо было вынести те самые Evals, хотя я про них и в целом говорил. И в ответах на вопросы я сказал, что верю в голос как важный интерфейс общения с агентами - это почти так, я верю в сквозные интерфейсы, где стартовой точкой является голос, а дальше все нам привычное. Очень хочу раскрыть это как-то отдельным постом позже.
Ну и прикольно, что компания выступающих была очень мощная — босс по ИИ в Т-Банке Виктор Тарнавский, директор по ИИ Авито Андрей Рыбинцев, руководитель Yandex Cloud Григорий Атрепьев — вот их я тоже рекомендую посмотреть — ну и многие другие до и после.
Ссылка на выступление:
https://aij.ru/program?concreteDate=2025-11-20&streamId=46&topicId=1271
Рассказывал как мы делаем AI-First аналитику и как трансформируется работа аналитиков и принятие решение.
Перфоманс оцениваю на четверку с небольшим плюсом: выступил ок, но готовиться было ну очень сложно из-за сильно размытой аудитории — нужно было и про бизнес, и попросили про техничку, но технички не так чтобы много, потому что все же про бизнес — и вооот это все нужно было уместить в 15 минут.
Единственное, чтобы добавил — на финальные слайды рядом с трейсингом надо было вынести те самые Evals, хотя я про них и в целом говорил. И в ответах на вопросы я сказал, что верю в голос как важный интерфейс общения с агентами - это почти так, я верю в сквозные интерфейсы, где стартовой точкой является голос, а дальше все нам привычное. Очень хочу раскрыть это как-то отдельным постом позже.
Ну и прикольно, что компания выступающих была очень мощная — босс по ИИ в Т-Банке Виктор Тарнавский, директор по ИИ Авито Андрей Рыбинцев, руководитель Yandex Cloud Григорий Атрепьев — вот их я тоже рекомендую посмотреть — ну и многие другие до и после.
Ссылка на выступление:
https://aij.ru/program?concreteDate=2025-11-20&streamId=46&topicId=1271
🔥9👍4🤯1
Написал вчера пост про LLM Observability и трейсинг агентов 🤗
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
👍6🔥3
Три самые постоянные вещи в мире — оливье с мандаринами на Новый год🍊🌲, желание начать новую жизнь с понедельника🏃💪 и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на русский 🤩 🤩 🤩
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥4😁1💯1
Сегодня первый раз за много месяцев решил пока не продлевать подписку на Сursor, ушла эпоха 😀
Курсор очень люблю за революции в синхронизации понимания. Когда вместо тысячи слов и синков, вместо фигм или тикетов можно было быстренько "накурсорить" (термин - оставляем!) любой прототип, на нем обкатать ожидания и правильное понимание концепта со всех заинтересованных сторон и только после этого браться за что-то серьезнее. Это - супер круто.
Курсором я в целом был доволен, но из включенных моделей у меня всегда были только модели антропика. И пару дней назад поставил себе нативный Claude Code и решил, что поживу пока с ним.
Нет, по ощущениям он не сильно лучше - все так же плодит кучу ненужных файлов и десятки описаний, выжигая все токены, сворачивает совсем не туда, вызывает порывы на него наорать матом, жестко тупит и периодически выпиливает важные вещи из проекта (типа коннекторов к постгресу, с%ка!). Может быть, в стоке он даже хуже - модели Claude без правильной подготовки слишком много базарят(с) не по делу уже ПОСЛЕ ответа на вопрос. Но пока посижу месяц на такой нативке.
Из минусов - работает только с VPN, а курсор без. Еще из плюсов (но и сразу минусов) - Claude Code включен в общую платную подписку, с которой у него общий шаринг токенов - а с моими хотелками я быстро выбил лимит в коде и остался без любимой ллмки в вебе.
Вообщем, веду наблюдение! Как говорят на маркетплейсах, "пока не пользовался, но ставлю пятерку, через месяц отзыв обновлю" 😀
Курсор очень люблю за революции в синхронизации понимания. Когда вместо тысячи слов и синков, вместо фигм или тикетов можно было быстренько "накурсорить" (термин - оставляем!) любой прототип, на нем обкатать ожидания и правильное понимание концепта со всех заинтересованных сторон и только после этого браться за что-то серьезнее. Это - супер круто.
Курсором я в целом был доволен, но из включенных моделей у меня всегда были только модели антропика. И пару дней назад поставил себе нативный Claude Code и решил, что поживу пока с ним.
Нет, по ощущениям он не сильно лучше - все так же плодит кучу ненужных файлов и десятки описаний, выжигая все токены, сворачивает совсем не туда, вызывает порывы на него наорать матом, жестко тупит и периодически выпиливает важные вещи из проекта (типа коннекторов к постгресу, с%ка!). Может быть, в стоке он даже хуже - модели Claude без правильной подготовки слишком много базарят(с) не по делу уже ПОСЛЕ ответа на вопрос. Но пока посижу месяц на такой нативке.
Из минусов - работает только с VPN, а курсор без. Еще из плюсов (но и сразу минусов) - Claude Code включен в общую платную подписку, с которой у него общий шаринг токенов - а с моими хотелками я быстро выбил лимит в коде и остался без любимой ллмки в вебе.
Вообщем, веду наблюдение! Как говорят на маркетплейсах, "пока не пользовался, но ставлю пятерку, через месяц отзыв обновлю" 😀
👍8😁6👏2❤1👎1
Посмотрел вчера интервью Ильи Суцкевера на подкасте Дваркеша Пателя. Илья поговорил про будущее AGI, конец претрейна в текущем виде, об оптимизации моделей под прохождение тестов и природу этого.
Самое классное для меня в таких подкастах — это даже не предсказания будущего или супер-экспертная оценка происходящего, а фреймворк мышления и то, что можно достать из этого chain-of-thought Ильи (или другого топового гостя).
Самая крутая мысль на мой взгляд — про эволюцию как способ кодирования самого важного, что передается сквозь тысячелетия и поколения. «Простые сигналы» типа желания вкусно есть расшифровываются очень легко, потому что это относительно понятная химическая реакция. Но эволюция встроила в нас сложнейшие социальные желания (статус, признание, социальная интуиция), которые требуют огромных вычислений мозга для понимания ситуации.
«Каким-то образом неинтеллектуальный геном закодировал: „Заботься о результате вот этого сложнейшего вычисления большого куска твоего мозга." Это остаётся глубокой тайной — и возможно, ключом к созданию по-настоящему общего интеллекта». Шик!
Шикарная тема для поразмышлять (проснулся сегодня именно с ней) как просто в свободное время, так и для бара 😀
Максимально рекомендую!
https://www.youtube.com/watch?v=aR20FWCCjAs
Самое классное для меня в таких подкастах — это даже не предсказания будущего или супер-экспертная оценка происходящего, а фреймворк мышления и то, что можно достать из этого chain-of-thought Ильи (или другого топового гостя).
Самая крутая мысль на мой взгляд — про эволюцию как способ кодирования самого важного, что передается сквозь тысячелетия и поколения. «Простые сигналы» типа желания вкусно есть расшифровываются очень легко, потому что это относительно понятная химическая реакция. Но эволюция встроила в нас сложнейшие социальные желания (статус, признание, социальная интуиция), которые требуют огромных вычислений мозга для понимания ситуации.
«Каким-то образом неинтеллектуальный геном закодировал: „Заботься о результате вот этого сложнейшего вычисления большого куска твоего мозга." Это остаётся глубокой тайной — и возможно, ключом к созданию по-настоящему общего интеллекта». Шик!
Шикарная тема для поразмышлять (проснулся сегодня именно с ней) как просто в свободное время, так и для бара 😀
Максимально рекомендую!
https://www.youtube.com/watch?v=aR20FWCCjAs
YouTube
Ilya Sutskever – We're moving from the age of scaling to the age of research
Ilya & I discuss SSI’s strategy, the problems with pre-training, how to improve the generalization of AI models, and how to ensure AGI goes well.
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Transcript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Transcript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
👍4🔥3🤔3❤1💯1
Захотелось зановогодить аватарку, выкладываю бекстейдж со съемки 🍊🌲
Мне ооочень нравятся роботы, но не нравятся их исключительно избитые клише в футуристических картинках, а вот помещать их в обычный позднесоветкий быт со всеми его неидеальностями и колоритом - прям очень заходит.
Когда я делал свой туристический стартапчик (форк maps.me), то заказывал у иллюстратора большое количество изображений и разработка главного персонажа по ценам 2015 года стоила около 3 тыс рублей, а каждая следующая иллюстрация - около 1 тыс рэ. И на каждую картинку уходило несколько дней.
А теперь свои самые бешеные фантазии можно получить за 15 секунд и пару центов, внести в моменте самые отбитые пожелания по правкам (на одной из картинок я пробовал сделать добрую версию самого страшного робота моего детства из "ну погоди"), бесконечно экспериментировать, и я не могу назвать ни одной причины, почему я когда-либо теперь пойду платить деньги за иллюстрации людям. Учитывая, что все вот это вот можно проделать с любой своей или чужой фотографией, то нас ждет какое-то безумно интересно будущее.
Бесконечный ai-слоп и фейки? Жесткая регуляция генеративок?
What a time to be alive! 🔥
Мне ооочень нравятся роботы, но не нравятся их исключительно избитые клише в футуристических картинках, а вот помещать их в обычный позднесоветкий быт со всеми его неидеальностями и колоритом - прям очень заходит.
Когда я делал свой туристический стартапчик (форк maps.me), то заказывал у иллюстратора большое количество изображений и разработка главного персонажа по ценам 2015 года стоила около 3 тыс рублей, а каждая следующая иллюстрация - около 1 тыс рэ. И на каждую картинку уходило несколько дней.
А теперь свои самые бешеные фантазии можно получить за 15 секунд и пару центов, внести в моменте самые отбитые пожелания по правкам (на одной из картинок я пробовал сделать добрую версию самого страшного робота моего детства из "ну погоди"), бесконечно экспериментировать, и я не могу назвать ни одной причины, почему я когда-либо теперь пойду платить деньги за иллюстрации людям. Учитывая, что все вот это вот можно проделать с любой своей или чужой фотографией, то нас ждет какое-то безумно интересно будущее.
Бесконечный ai-слоп и фейки? Жесткая регуляция генеративок?
What a time to be alive! 🔥
😁5👍4🔥1🤔1🌭1
Привет! Канал не заброшен 🤩
Еще перед новым годом я вписался в личный Манхэттенский проект - хочу полностью переосмыслить свой рабочий процесс и максимально его агентизировать. Что-то типа того, чем является Claude Code, но персонально под себя и без жесткой привязки к конкретному вендору. Планировал закончить за новогодние, но (спасибо оливье и рому) что-то пошло не так 🥹 До результатов Манхэттена мы еще доберемся, а пока интересная заметка:
Cursor + ChatGPT 5.2:
Хотя я хотел отказаться от курсора, полноценно у меня не вышло, потому что мои хотелки выжрали целиком все платные лимиты claude code и тот отправил меня на недельку отдохнуть. Курсором пользуюсь, но уже не по любви💔
Gpt 5.2 прекрасна в написании кода и по ощущениям в целеполагании/планировании/коде не уступает даже Опусу. Но все порет сам Cursor - для задач НЕ написания кода напрямую он под капотом делает слишком много оптимизаций, и я прям физически ощущаю, как он пытается сделать контекст поменьше - где-то недогрепать, где-то выйти из поиска раньше нужного, ленится посмотреть весь файл, хотя он небольшой. На масштабах курсора такие оптимизации экономят миллионы долларов, но проблемы ̶н̶е̶г̶р̶о̶в̶ ̶(̶н̶а̶ ̶с̶а̶м̶о̶м̶ ̶д̶е̶л̶е̶ ̶и̶н̶д̶у̶с̶о̶в̶)̶ не волнуют, мне дела надо делать 😅
Под такими не по написанию кода задачами я имею ввиду нечто вроде "вот у тебя csv, возьми из третьей колонки значения и переложи их в базу вот в такую таблицу" - все это у курсора вызывает проблемы. А Claude Code переваривает такое хорошо! Поэтому задумываюсь попробовать gpt5.2 в его нативном исполнении и, вероятно, что будущее все же именно за нативными кодописцами.
У меня накопилось огромное количество идей для контента, что-то уже даже начато и его нужно дооформить. Елку выкидываем, а с понедельника - на лыжи! 🫡🏂
Stay tuned, как говорится!
Еще перед новым годом я вписался в личный Манхэттенский проект - хочу полностью переосмыслить свой рабочий процесс и максимально его агентизировать. Что-то типа того, чем является Claude Code, но персонально под себя и без жесткой привязки к конкретному вендору. Планировал закончить за новогодние, но (спасибо оливье и рому) что-то пошло не так 🥹 До результатов Манхэттена мы еще доберемся, а пока интересная заметка:
Cursor + ChatGPT 5.2:
Хотя я хотел отказаться от курсора, полноценно у меня не вышло, потому что мои хотелки выжрали целиком все платные лимиты claude code и тот отправил меня на недельку отдохнуть. Курсором пользуюсь, но уже не по любви
Gpt 5.2 прекрасна в написании кода и по ощущениям в целеполагании/планировании/коде не уступает даже Опусу. Но все порет сам Cursor - для задач НЕ написания кода напрямую он под капотом делает слишком много оптимизаций, и я прям физически ощущаю, как он пытается сделать контекст поменьше - где-то недогрепать, где-то выйти из поиска раньше нужного, ленится посмотреть весь файл, хотя он небольшой. На масштабах курсора такие оптимизации экономят миллионы долларов, но проблемы ̶н̶е̶г̶р̶о̶в̶ ̶(̶н̶а̶ ̶с̶а̶м̶о̶м̶ ̶д̶е̶л̶е̶ ̶и̶н̶д̶у̶с̶о̶в̶)̶ не волнуют, мне дела надо делать 😅
Под такими не по написанию кода задачами я имею ввиду нечто вроде "вот у тебя csv, возьми из третьей колонки значения и переложи их в базу вот в такую таблицу" - все это у курсора вызывает проблемы. А Claude Code переваривает такое хорошо! Поэтому задумываюсь попробовать gpt5.2 в его нативном исполнении и, вероятно, что будущее все же именно за нативными кодописцами.
У меня накопилось огромное количество идей для контента, что-то уже даже начато и его нужно дооформить. Елку выкидываем, а с понедельника - на лыжи! 🫡🏂
Stay tuned, как говорится!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥5
