LLM Arena
Мне безумно зашел раздел “Analysis of LLM User Retention”. Делюсь инсайдами, которые почерпнул:
Почти у всех LLM быстрый churn, но иногда появляются foundational cohorts — ранние группы, которые удерживаются заметно лучше. Это значит, что для них случился устойчивый workload–model fit: модель впервые реально закрыла важную задачу, и её встраивают в пайплайны/процессы, из-за чего переключаться становится дорого.
Это описывается как эффект “Cinderella / Glass Slipper”: есть набор ценных нерешённых задач, и каждая новая frontier-модель «примеряется» к ним. Когда совпали требования по качеству/стоимости/стабильности — происходит “идеальная посадка” и возникает lock-in. Поэтому когортный retention — индикатор скачка возможностей и преимущества “first-to-solve”, но окно короткое: после догоняющих релизов такие когорты почти не формируются.
Еще занимательный факте: если модель провалилась, как, например, Llama 4 Maverick - у такой модели не будет сильных когорт вообще (не было “frontier-fit”). Поэтому и происходит LLM гонка - попытки выпустить frontier-модель, и за счет более долгого оттока ее окупить.
Какой все же интересный рынок развития LLM! По промкоду ROMAN дарю вам 200 руб на счет в моем сервисе VseLLM - русском аналоге OpenRouter.
Почти у всех LLM быстрый churn, но иногда появляются foundational cohorts — ранние группы, которые удерживаются заметно лучше. Это значит, что для них случился устойчивый workload–model fit: модель впервые реально закрыла важную задачу, и её встраивают в пайплайны/процессы, из-за чего переключаться становится дорого.
Это описывается как эффект “Cinderella / Glass Slipper”: есть набор ценных нерешённых задач, и каждая новая frontier-модель «примеряется» к ним. Когда совпали требования по качеству/стоимости/стабильности — происходит “идеальная посадка” и возникает lock-in. Поэтому когортный retention — индикатор скачка возможностей и преимущества “first-to-solve”, но окно короткое: после догоняющих релизов такие когорты почти не формируются.
Еще занимательный факте: если модель провалилась, как, например, Llama 4 Maverick - у такой модели не будет сильных когорт вообще (не было “frontier-fit”). Поэтому и происходит LLM гонка - попытки выпустить frontier-модель, и за счет более долгого оттока ее окупить.
Какой все же интересный рынок развития LLM! По промкоду ROMAN дарю вам 200 руб на счет в моем сервисе VseLLM - русском аналоге OpenRouter.
👍13❤5🔥3
В марте лечу на Snow BASE - кэмп в Красной Поляне для C-level в области AI и Data Science!
В преддверии кэмпа ребята предложили провести эфир и по самым насущным и актуальными темам в AI. И я, как любитель такой движухи, с радостью согласился. В следующий вторник в 18:00 буду снимать покровы с тематики GenAI.
Позвал:
— Валерий Ковальский, Head of AI в Red.Mad.Robot
— Александр Абрамов, Head of AI CoE во ВкусВилл
— Артур Самигуллин, руководитель Yandex AI Studio
— Александр Толмачев, CDO
Обсудим:
— Как считать реальную ценность AI-агентов и выбирать направления, которые дадут эффект
— Техники повышения надёжности: снижение галлюцинаций, scaffolding, caching, debate-подходы
— Честные кейсы и факапы внедрения GenAI — что сработало, что провалилось, сколько стоило
— Agent swarm и другие тренды: перспектива или хайп?
— Как вайбкодинг изменил процессы разработки, найма и структуру команд
Ссылка на трансляцию: тут!
В преддверии кэмпа ребята предложили провести эфир и по самым насущным и актуальными темам в AI. И я, как любитель такой движухи, с радостью согласился. В следующий вторник в 18:00 буду снимать покровы с тематики GenAI.
Позвал:
— Валерий Ковальский, Head of AI в Red.Mad.Robot
— Александр Абрамов, Head of AI CoE во ВкусВилл
— Артур Самигуллин, руководитель Yandex AI Studio
— Александр Толмачев, CDO
Обсудим:
— Как считать реальную ценность AI-агентов и выбирать направления, которые дадут эффект
— Техники повышения надёжности: снижение галлюцинаций, scaffolding, caching, debate-подходы
— Честные кейсы и факапы внедрения GenAI — что сработало, что провалилось, сколько стоило
— Agent swarm и другие тренды: перспектива или хайп?
— Как вайбкодинг изменил процессы разработки, найма и структуру команд
Ссылка на трансляцию: тут!
🔥17❤7👍6👏1
Роман с данными
В марте лечу на Snow BASE - кэмп в Красной Поляне для C-level в области AI и Data Science! В преддверии кэмпа ребята предложили провести эфир и по самым насущным и актуальными темам в AI. И я, как любитель такой движухи, с радостью согласился. В следующий…
Напоминаю, что сегодня в 18:00 у нас эфир!
Большой фокус хочу уделить ROI и целесообразности внедрения ИИ в бизнес.
Приходите, будет интересно.
Ссылка на трансляцию: тут!
Большой фокус хочу уделить ROI и целесообразности внедрения ИИ в бизнес.
Приходите, будет интересно.
Ссылка на трансляцию: тут!
11😁8👍4🤝1
Anthropic выкатили любопытный разбор “Detecting and preventing distillation attacks”
Они утверждают, что DeepSeek, Moonshot (Kimi) и MiniMax в промышленных масштабах «дистиллировали» Claude — то есть генерили ответы сильной модели и использовали их как обучающие данные для своих. По их оценке, было сгенерировано больше 16 млн диалогов через ~24 тыс. фрод-аккаунтов и прокси. Ключевая цель — самые дорогие навыки: reasoning, tool-use, coding, агентность.
Почему это вообще имеет смысл? Потому что это про экономику.
Если вы хотите получить сопоставимое качество данных «вручную», то вам нужны тысячи человеко-часов: разметка, сравнение ответов, рубрики, проверки, консистентность, контроль качества. Даже если очень грубо и дешево считать $1 за “качественную единицу разметки” (а для сложных задач это часто сильно выше), 16 млн единиц — это $16 млн. Если считать ближе к реальности пост-трейнинга (где люди реально думают, оценивают, спорят, прогоняют рубрики) — легко получается сотни миллионов долларов!
А синтетика от сильной модели превращает это в «копейки». Условно: не $1–$20, а $0.01 и ниже (в зависимости от длины ответов, модели и прайса/доступа). Тогда 16 млн — это $160k–$1.6 млн. То есть разница не “в два раза”, а на порядки: x50–x500+ по стоимости (и это без учета того, что синтетика ещё и масштабируется мгновенно).
Вот почему тема дистилляции такая токсичная: вы не просто «ускоряете обучение», вы переносите самый дорогой актив — “качество” — практически напрямую. И дальше уже вопрос не только бизнеса, но и контроля: сохранятся ли safeguards, как это влияет на экспортные ограничения и т.д.
Мой вывод простой: у фронтира главный дефицит — не только GPU, а качественный пост-трейнинг. И именно поэтому все будут либо защищаться от дистилляции, либо пытаться её делать.
Кстати, мы во VseLLM натренировались и научились генерировать синтетику не хуже китайцев.
Так что если интересно - пишите в ЛС 😉
Они утверждают, что DeepSeek, Moonshot (Kimi) и MiniMax в промышленных масштабах «дистиллировали» Claude — то есть генерили ответы сильной модели и использовали их как обучающие данные для своих. По их оценке, было сгенерировано больше 16 млн диалогов через ~24 тыс. фрод-аккаунтов и прокси. Ключевая цель — самые дорогие навыки: reasoning, tool-use, coding, агентность.
Почему это вообще имеет смысл? Потому что это про экономику.
Если вы хотите получить сопоставимое качество данных «вручную», то вам нужны тысячи человеко-часов: разметка, сравнение ответов, рубрики, проверки, консистентность, контроль качества. Даже если очень грубо и дешево считать $1 за “качественную единицу разметки” (а для сложных задач это часто сильно выше), 16 млн единиц — это $16 млн. Если считать ближе к реальности пост-трейнинга (где люди реально думают, оценивают, спорят, прогоняют рубрики) — легко получается сотни миллионов долларов!
А синтетика от сильной модели превращает это в «копейки». Условно: не $1–$20, а $0.01 и ниже (в зависимости от длины ответов, модели и прайса/доступа). Тогда 16 млн — это $160k–$1.6 млн. То есть разница не “в два раза”, а на порядки: x50–x500+ по стоимости (и это без учета того, что синтетика ещё и масштабируется мгновенно).
Вот почему тема дистилляции такая токсичная: вы не просто «ускоряете обучение», вы переносите самый дорогой актив — “качество” — практически напрямую. И дальше уже вопрос не только бизнеса, но и контроля: сохранятся ли safeguards, как это влияет на экспортные ограничения и т.д.
Мой вывод простой: у фронтира главный дефицит — не только GPU, а качественный пост-трейнинг. И именно поэтому все будут либо защищаться от дистилляции, либо пытаться её делать.
Кстати, мы во VseLLM натренировались и научились генерировать синтетику не хуже китайцев.
Так что если интересно - пишите в ЛС 😉
❤11🔥8😱4👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Вижу дичайший спрос у РФ компаний на Claude Code.
Уже помогли нескольким оплатить корпоративные подписки в рамках нашей услуги по оплате зарубежных сервисов.
Подскажите, пользуетесь ли вы у себя на работе Claude Code? Как работодатель оплачивает? Хочу понять на сколько большая боль сейчас по оплате и как ее решает бизнес.
Уже помогли нескольким оплатить корпоративные подписки в рамках нашей услуги по оплате зарубежных сервисов.
Подскажите, пользуетесь ли вы у себя на работе Claude Code? Как работодатель оплачивает? Хочу понять на сколько большая боль сейчас по оплате и как ее решает бизнес.
5😁17👍5👎4🥱2🤣2👨💻2🌚1
🚜 Разметка данных — это новый трактор для экономики знаний
Есть ощущение, что мы сейчас смотрим на очень большой сдвиг, но пока не до конца его осознаём.
Раньше, чтобы человечество стало продуктивнее, нужно было, чтобы миллионы людей сами учились лучше пахать землю, лучше работать руками, лучше делать одно и то же действие.
Потом кто-то умный придумал трактор.
И внезапно стало не нужно, чтобы каждый фермер умел проектировать двигатель, собирать коробку передач и разбираться в металлургии.
Достаточно было, чтобы небольшая группа инженеров где-то в одном месте придумала и произвела трактор.
А дальше миллионы людей по всему миру просто научились им управлять — и их продуктивность выросла в десятки раз.
Мне кажется, с ИИ сейчас происходит примерно то же самое.
Раньше, чтобы человек научился программировать, анализировать данные, писать юридические документы, делать научные исследования или решать сложные инженерные задачи, ему нужно было самому пройти долгий путь:
• Годы обучения.
• Универ.
• Практика.
• Ошибки.
• Книги.
• Менторы.
• Опыт.
То есть знание распространялось через обучение каждого отдельного человека.
А теперь появляется новая схема.
Не нужно 5 миллионов PhD, чтобы 5 миллионов людей могли решать сложные задачи.
Достаточно найти 15–20 очень сильных экспертов, профессоров, олимпиадников, инженеров, врачей, юристов, аналитиков — и посадить их размечать самые сложные frontier-задачи для OpenAI, Anthropic, Google или других лабораторий.
Они показывают модели:
• как думать;
• как рассуждать;
• где ошибка;
• какой ответ лучше;
• как выглядит хорошее решение;
• как выглядит плохое решение;
• как эксперт принимает решение в сложной ситуации.
И дальше происходит магия.
Их знания не остаются внутри этих 15–20 людей.
Они дистиллируются в модель.
А потом эта модель попадает к миллионам пользователей по всему миру.
То есть разметка данных становится не просто “ручной работой для датасетов”.
Она становится трубой, через которую знания лучших людей планеты перетекают в массовый продукт.
Раньше знание масштабировалось через образование.
Теперь знание масштабируется через разметку данных и обучение моделей.
Это очень сильный сдвиг, а вы как считаете?
VseLLM | LLM Arena | AI Roman
Есть ощущение, что мы сейчас смотрим на очень большой сдвиг, но пока не до конца его осознаём.
Раньше, чтобы человечество стало продуктивнее, нужно было, чтобы миллионы людей сами учились лучше пахать землю, лучше работать руками, лучше делать одно и то же действие.
Потом кто-то умный придумал трактор.
И внезапно стало не нужно, чтобы каждый фермер умел проектировать двигатель, собирать коробку передач и разбираться в металлургии.
Достаточно было, чтобы небольшая группа инженеров где-то в одном месте придумала и произвела трактор.
А дальше миллионы людей по всему миру просто научились им управлять — и их продуктивность выросла в десятки раз.
Мне кажется, с ИИ сейчас происходит примерно то же самое.
Раньше, чтобы человек научился программировать, анализировать данные, писать юридические документы, делать научные исследования или решать сложные инженерные задачи, ему нужно было самому пройти долгий путь:
• Годы обучения.
• Универ.
• Практика.
• Ошибки.
• Книги.
• Менторы.
• Опыт.
То есть знание распространялось через обучение каждого отдельного человека.
А теперь появляется новая схема.
Не нужно 5 миллионов PhD, чтобы 5 миллионов людей могли решать сложные задачи.
Достаточно найти 15–20 очень сильных экспертов, профессоров, олимпиадников, инженеров, врачей, юристов, аналитиков — и посадить их размечать самые сложные frontier-задачи для OpenAI, Anthropic, Google или других лабораторий.
Они показывают модели:
• как думать;
• как рассуждать;
• где ошибка;
• какой ответ лучше;
• как выглядит хорошее решение;
• как выглядит плохое решение;
• как эксперт принимает решение в сложной ситуации.
И дальше происходит магия.
Их знания не остаются внутри этих 15–20 людей.
Они дистиллируются в модель.
А потом эта модель попадает к миллионам пользователей по всему миру.
То есть разметка данных становится не просто “ручной работой для датасетов”.
Она становится трубой, через которую знания лучших людей планеты перетекают в массовый продукт.
Раньше знание масштабировалось через образование.
Теперь знание масштабируется через разметку данных и обучение моделей.
Это очень сильный сдвиг, а вы как считаете?
VseLLM | LLM Arena | AI Roman
👍21❤11🔥9
Всем привет!
Я уже много лет подряд организую на DataFest секцию Data Collection & Labeling — про данные, разметку, контроль качества и всё то, без чего AI на самом деле не работает.
Все говорят, что “LLM заменят разметку”, но по факту разметка не умирает — она превращается в новую инженерную дисциплину вокруг данных, качества и автоматизации.
В этом году я постарался собрать максимально прикладную программу: без воды, с реальными кейсами от сильных команд.
Пятница — офлайн в Лемана Тех
12:10 — Контроль качества CV-разметки (Яндекс)
12:40 — LegalEval: бенчмарк + Kaggle (Физтех)
13:10 — Как LLM снижает шум в разметке изображений (Яндекс)
13:40 — RL-инструмент для анализа контекстов (Яндекс)
Воскресенье — онлайн
12:00 — Как угодить заказчикам и почему этого мало (Тбанк)
12:30 — Аналитика платформы разметки (Тбанк)
13:00 — AI-разметчик и контроль качества авторазметки (Тбанк)
Если вы работаете с ML, LLM, CV, датасетами или AI-продуктами — заглядывайте. Мне кажется, получилась живая и полезная секция про то, как сегодня реально устроено производство данных для AI.
Я уже много лет подряд организую на DataFest секцию Data Collection & Labeling — про данные, разметку, контроль качества и всё то, без чего AI на самом деле не работает.
Все говорят, что “LLM заменят разметку”, но по факту разметка не умирает — она превращается в новую инженерную дисциплину вокруг данных, качества и автоматизации.
В этом году я постарался собрать максимально прикладную программу: без воды, с реальными кейсами от сильных команд.
Пятница — офлайн в Лемана Тех
12:10 — Контроль качества CV-разметки (Яндекс)
12:40 — LegalEval: бенчмарк + Kaggle (Физтех)
13:10 — Как LLM снижает шум в разметке изображений (Яндекс)
13:40 — RL-инструмент для анализа контекстов (Яндекс)
Воскресенье — онлайн
12:00 — Как угодить заказчикам и почему этого мало (Тбанк)
12:30 — Аналитика платформы разметки (Тбанк)
13:00 — AI-разметчик и контроль качества авторазметки (Тбанк)
Если вы работаете с ML, LLM, CV, датасетами или AI-продуктами — заглядывайте. Мне кажется, получилась живая и полезная секция про то, как сегодня реально устроено производство данных для AI.
👍17❤8🔥6
Лечу на Southub отмечать свой 31-й день рождения 🥳
Рейс задержали на 2 часа, нашел время зайти в галерею.
Год был крайне интересный и насыщенный:
- 2 поездки в США
- 2 купленных мотоцикла (да, кризис 30-ти такой)
- 2 месяца в Гоголь Скул на программе, которая сильно поменяла отношение к миру
- 2 поездки POLUBVI
- 2-е место у llmarena.ru на Gen AI Awards
- 20+ конференций
- х2 каждый месяц растет vsellm.ru последние пол года
Вместо умных мыслей и выводов - запечатленные моменты
Рейс задержали на 2 часа, нашел время зайти в галерею.
Год был крайне интересный и насыщенный:
- 2 поездки в США
- 2 купленных мотоцикла (да, кризис 30-ти такой)
- 2 месяца в Гоголь Скул на программе, которая сильно поменяла отношение к миру
- 2 поездки POLUBVI
- 2-е место у llmarena.ru на Gen AI Awards
- 20+ конференций
- х2 каждый месяц растет vsellm.ru последние пол года
Вместо умных мыслей и выводов - запечатленные моменты
🔥10❤5👍2