Forwarded from LLM Arena
Классические лидерборды больше не отражают реальную эффективность моделей в прикладных задачах. Мы видим, что специалисты комбинируют метрики и сигналы, чтобы подобрать идеальную LLM под свой уникальный кейс.
Мы проводим новое исследование, чтобы понять:
🔹Как профессионалы выбирают решение на базе LLM.
🔹Какие данные, инструменты и сигналы реально помогают.
🧑💻 Для кого?
Приглашаем всех, кто профессионально связан с AI-продуктами и работает с LLM: ML-инженеры, дата-сайентисты, исследователи, продакты, MLOps и индивидуальные контрибьюторы.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👏7🔥4👍2
Мем смешной, ситуация страшная.
В канале LLM Arena выложили расследование, полностью отражающее непристойную картинку выше.
В канале LLM Arena выложили расследование, полностью отражающее непристойную картинку выше.
1😁33🙈5🥴2❤1🔥1
В последний месяц активно изучал рынок использования API LLM, а рынка не оказалось😢
Если кратко, то в РФ есть 3 типа клиентов:
1. Большой бизнес. Это огромные компании (Сибур, Русал, РЖД и т.д) с выручкой 10+ миллиардов рублей. Вижу, как эти компании активно внедряют LLM и GenAI в свой бизнес, но девиз у них "все on-prem, все внутри контура". Причины: безопасники не разрешают, слишком большие риски утечки данных.
2. Малый бизнес. Это шаурмичные, салоны красоты, небольшие конторы численностью до 100 человек. При внедрении LLM собственник в первую очередь смотрит на оптимизацию прибыли, а не на риски. Поэтому в ход идут n8n, AI тг боты, а для инференса юзают зарубежный openrouter.ai, и чхали они на штрафы за трансграничную передачу перс. данных.
3. И остается небольшая прослойка среднего бизнеса. Они не такие большие, чтобы закупать на десятки миллионов рублей свои стойки с GPU и платить девопсу 500к в месяц. Но и не такие маленькие, чтобы творить что угодно и не следовать законам. Их выбор — облака. В основном используют Сloud.ru, да Yandex Cloud.
Вот и весь рынок🤷♂️
Но я верю, что спрос на LLM в РФ будет сильно расти. Только посмотрите, какие иксы сделал openrouter.ai за последний год по использованию. А вы как считаете?
Если кратко, то в РФ есть 3 типа клиентов:
1. Большой бизнес. Это огромные компании (Сибур, Русал, РЖД и т.д) с выручкой 10+ миллиардов рублей. Вижу, как эти компании активно внедряют LLM и GenAI в свой бизнес, но девиз у них "все on-prem, все внутри контура". Причины: безопасники не разрешают, слишком большие риски утечки данных.
2. Малый бизнес. Это шаурмичные, салоны красоты, небольшие конторы численностью до 100 человек. При внедрении LLM собственник в первую очередь смотрит на оптимизацию прибыли, а не на риски. Поэтому в ход идут n8n, AI тг боты, а для инференса юзают зарубежный openrouter.ai, и чхали они на штрафы за трансграничную передачу перс. данных.
3. И остается небольшая прослойка среднего бизнеса. Они не такие большие, чтобы закупать на десятки миллионов рублей свои стойки с GPU и платить девопсу 500к в месяц. Но и не такие маленькие, чтобы творить что угодно и не следовать законам. Их выбор — облака. В основном используют Сloud.ru, да Yandex Cloud.
Вот и весь рынок🤷♂️
Но я верю, что спрос на LLM в РФ будет сильно расти. Только посмотрите, какие иксы сделал openrouter.ai за последний год по использованию. А вы как считаете?
5👍27🔥11❤8
Forwarded from LLM Arena
Наше исследование (21 июля — 10 августа 2025, практики и предприниматели в сфере ИИ) показало реальную картину: команды всё меньше ориентируются на абстрактные бенчмарки и всё чаще принимают решения через собственные тесты.
— 82,2% проводят собственные проверки и используют бенчмарки только как дополнительный сигнал.
— 26,7% принципиально не опираются на рейтинги.
— Лишь около 18% обращаются к агрегаторам по типу llmstats
Главные критерии выбора AI-решений для продуктов: качество + цена + скорость, устойчивость без галлюцинаций и совместимость с инфраструктурой
P.S. Огромная благодарность всем, кто помогал собирать данные для исследования, а также авторам и энтузиастам, помогающим его популязировать. Замечания по исследованию и предложения по будущим рисёрч-проектам можно оставить здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍13❤7🔥6
Дал Анфисе небольшое интервью, рассказал как AI помогает в реальной жизни.
С Анфисой знаком уже много лет, в своё время я почти проинвестировал в ее 18+ компанию feelpurpur.com, но это уже совсем другая история🙃
С Анфисой знаком уже много лет, в своё время я почти проинвестировал в ее 18+ компанию feelpurpur.com, но это уже совсем другая история🙃
👍13🔥9❤7
В пятницу проводим панельную дискуссию «Почему бенчмаркам нельзя верить»! Если вы будете на aiconf.ru, обязательно заходите!
P.S а опрос ниже поможет мне понять: это только у меня куха едет от кол-ва конференций в этом году или у всех так.
P.S а опрос ниже поможет мне понять: это только у меня куха едет от кол-ва конференций в этом году или у всех так.
1🔥5👍2❤1
Всем привет! Хочу анонсировать бета-запуск нашего нового проекта VseLLM!🥳
Вместе с командой LLM Arena мы решили собрать информацию про все LLM в одном месте: какие модели доступны у российских провайдеров, сколько стоит использование, скорость и пропускная способность, и другая прикладная информация для интеграции моделей в ваши проекты.
❗️Помимо агрегатора данных о LLM мы делаем единый API-доступ: через один ключ можно работать и с ChatGPT, и с Гигачатом. На текущий момент доступно 20 моделей. Всё это — с оплатой в рублях и закрывающими документами для юрлиц.
Как это устроено:
— У каждой модели есть основная версия с SLA на уровне 99%+ за счет прямых подключений (минимум сбоев, SLA высокого уровня, рекомендовано для задач, где важна максимальная стабильность и высокий отклик).
— Дополнительно для некоторых моделей доступны noSLA версии — более гибкий SLA из альтернативных каналов (~95% доступности), при этом качество работы моделей остаётся на том же уровне при более низкой цене.
Мы открываем бета-тестирование и дарим 500 ₽ по промокоду
Хочешь попробовать? Забирай свой API-ключ в @vsellm_bot.
Чтобы избежать накруток, можем запросить дополнительные данные для модерации перед начислением бонуса
Вместе с командой LLM Arena мы решили собрать информацию про все LLM в одном месте: какие модели доступны у российских провайдеров, сколько стоит использование, скорость и пропускная способность, и другая прикладная информация для интеграции моделей в ваши проекты.
❗️Помимо агрегатора данных о LLM мы делаем единый API-доступ: через один ключ можно работать и с ChatGPT, и с Гигачатом. На текущий момент доступно 20 моделей. Всё это — с оплатой в рублях и закрывающими документами для юрлиц.
Как это устроено:
— У каждой модели есть основная версия с SLA на уровне 99%+ за счет прямых подключений (минимум сбоев, SLA высокого уровня, рекомендовано для задач, где важна максимальная стабильность и высокий отклик).
— Дополнительно для некоторых моделей доступны noSLA версии — более гибкий SLA из альтернативных каналов (~95% доступности), при этом качество работы моделей остаётся на том же уровне при более низкой цене.
Мы открываем бета-тестирование и дарим 500 ₽ по промокоду
SPECIALGIFT на баланс первым пользователям.Хочешь попробовать? Забирай свой API-ключ в @vsellm_bot.
Чтобы избежать накруток, можем запросить дополнительные данные для модерации перед начислением бонуса
7👍25❤13🔥12
Media is too big
VIEW IN TELEGRAM
Рассказал про свое ощущение пузыря в LLM токенах.
Но мы не боимся и с vsellm.ru тоже влетаем в этот пузырь!
По промокоду
Но мы не боимся и с vsellm.ru тоже влетаем в этот пузырь!
По промокоду
SPECIALGIFT в @vsellm_bot дарим 500 руб на счет. А цены на GPT-4.1 и GPT-4.1-mini ниже опенроутера на 10%!7❤10👍6🔥3😁3
🚀 Вакансия в VseLLM — Middle Python Backend Developer
Привет! Мы команда VseLLM — авторы LLM Arena, самого популярного бенчмарка нейросетей в России.
Недавно запустили наш новый продукт — vsellm.ru — удобный доступ ко всем ИИ без прокси и VPN.
Сейчас расширяемся и ищем бэкенд-разработчика уровня Middle, который поможет нам развивать:
• Админку vsellm.ru
• Telegram-бота @vsellm_bot
🧩 Мы ожидаем
• Опыт Python 3+ лет
• Знание FastAPI, PostgreSQL
• Умение проектировать системы и писать тесты
• Опыт с Docker / Docker Compose
• Бонусом будет опыт разработки Telegram-ботов и работа с Kubernetes
⚙️ Условия
• Удалёнка и гибкий график
• Можно part-time (от 20 часов в неделю)
• Минимум бюрократии, максимум влияния на продукт
• Оплата — по договорённости, обсуждается индивидуально
📨 Хочешь присоединиться?
Отправь CV → @roman_kucev
Привет! Мы команда VseLLM — авторы LLM Arena, самого популярного бенчмарка нейросетей в России.
Недавно запустили наш новый продукт — vsellm.ru — удобный доступ ко всем ИИ без прокси и VPN.
Сейчас расширяемся и ищем бэкенд-разработчика уровня Middle, который поможет нам развивать:
• Админку vsellm.ru
• Telegram-бота @vsellm_bot
🧩 Мы ожидаем
• Опыт Python 3+ лет
• Знание FastAPI, PostgreSQL
• Умение проектировать системы и писать тесты
• Опыт с Docker / Docker Compose
• Бонусом будет опыт разработки Telegram-ботов и работа с Kubernetes
⚙️ Условия
• Удалёнка и гибкий график
• Можно part-time (от 20 часов в неделю)
• Минимум бюрократии, максимум влияния на продукт
• Оплата — по договорённости, обсуждается индивидуально
📨 Хочешь присоединиться?
Отправь CV → @roman_kucev
10❤9👍5🔥3😁1
Media is too big
VIEW IN TELEGRAM
Продолжаю тестировать Comet.
Как вы и просили: сделал прожарку ИИ браузера от Perplexity и дал самую интересную задачу - настроить проект по разметке в Яндекс.Заданиях.
Что из этого вышло, смотрите на видео!
0:00-0:51 постановка задачи
0:52-14:31 работа ИИ агента
14:33-16:05 разбор полетов, проверка
Как вы и просили: сделал прожарку ИИ браузера от Perplexity и дал самую интересную задачу - настроить проект по разметке в Яндекс.Заданиях.
Что из этого вышло, смотрите на видео!
0:00-0:51 постановка задачи
0:52-14:31 работа ИИ агента
14:33-16:05 разбор полетов, проверка
2🔥9😁3👍1