Компания Arena, которая не создает собственные AI-модели, а оценивает чужие, вышла на годовую выручку в $100 млн. Проект начинался как открытое исследование команды UC Berkeley в 2023 году под названием Chatbot Arena. Через 8 месяцев после запуска коммерческих услуг Arena достигла этой отметки.
Платформа представляет собой «арену» для тестирования больших языковых моделей. Пользователи вводят запрос, система анонимно отправляет его двум моделям, а затем выбирает лучший ответ. На основе миллионов таких голосов формируется Elo-рейтинг. На сегодняшний день накоплено более 10 млн отзывов, 700 млн диалогов, 82 млн голосов и более 10 млн ежемесячных посетителей из 150 стран. Около 80% запросов каждый день - новые, что исключает возможность предварительного запоминания ответов.
OpenAI, Google, Anthropic и Meta отправляют свои флагманские модели на тестирование в Arena. OpenAI тестировала модель под кодовым названием Summit еще до официального релиза GPT-5. В сентябре 2024 года Arena запустила коммерческий сервис AI Evaluations: разработчики моделей и крупные предприятия платят за то, чтобы сообщество Arena провело углубленную оценку их моделей. Это классическая модель «продажи воды» во время золотой лихорадки - чем активнее конкуренция среди разработчиков AI, тем выше спрос на услуги оценки.
Проект основали три человека из Berkeley. CEO Анастасиос Ангелопулос - математик, учился у Стивена Бойда в Stanford, его научными руководителями в Berkeley были Майкл Джордан и Джитендра Малик. CTO Вэй-Линь Чан - создатель открытого чат-бота Vicuna, получил PhD в Berkeley под руководством Иона Стойки, работал в Google, Amazon и Microsoft. Третий сооснователь - профессор Berkeley и сооснователь Databricks Ион Стойка. Весной 2025 года проект выделился из университета, получил $100 млн посевного раунда при оценке $600 млн, а в январе 2026 года - $150 млн раунда Series A при оценке $1,7 млрд.
Arena запустила Agent Mode - оценку не просто диалогов, а реальной работы AI-агентов: написание кода, отладка, исследование, анализ документов. Оценка ведется по объективным метрикам - процент выполнения задач и уровень галлюцинаций.
#Business #Ai #Evaluation #Startup #Berkeley
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1