Humanity's Last Exam: самый сложный экзамен для ИИ

Сейчас в сети есть множество разных тестов и бенчмарков для иишек, но нейросети стали слишком умными — и решают их почти все на 80+ процентов.

Поэтому исследователи из CAIS и Scale AI создали Humanity’s Last Exam (HLE) — гигантский экзамен из 3 000 вопросов, покрывающий математику, естественные и гуманитарные науки. Там не только текстовые вопросы, есть и мультимодальные - с картинками и прочим.

Над ним работали ~1 000 экспертов из 500+ университетов по всему миру.
Цель — проверить, насколько LLM (ChatGPT, Claude, Gemini и тд) соответствуют экспертному человеческому уровню, а не просто проходят школьные тесты. Вопросы, конечно, в сети недоступны, они закрыты от внешнего доступа.

HLE — это не просто еще один бенчмарк, а попытка зафиксировать такую некую "экспертную границу", выше которой ИИ начнет реально заменять людей в интеллектуальных задачах

Приложил к посту в шапку результаты по разным моделькам: сейчас максимум, на что способны модели - это 18,8% решенных задач у Gemini-2.5 последней (несколько дней назад которую выпустили)

По прогнозам - до конца 2025 года ИИ смогут решить этот тест на 50%. Увидим 🙂

Официальный сайт бенчмарка

-------------------

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#hle #бенчмарки

Под утренний кофе (6-7 минут)☕️☕️

Вчера было много всего, половину еще убрать пришлось ☹️ Понедельник, что сказать

• • • • • • • • • • • •

1) Gemini 2.5 Pro сделали доступной для всех пользователей, даже бесплатных

Круто! Неделю-полторы назад я просил гугл сделать что-то крутое, и вот - они выкатывают топовую модель, которая порвала всех. А теперь еще и бесплатно ее открыли на всех. Гугл, спасибо, что прислушались 😏

Пробуем тут

• • • • • • • • • • • •

2) Китай построил сотни дата-центров из-за бума на ИИ, но теперь многие из них простаивают

DeepSeek так сильно повлиял на рынок в Китае, что дата-центры, которые сотнями штамповались для того, чтобы угодить всем и закрыть потребность в вычислительных ресурсах - стали не нужны и простаивают. А все потому что теперь, вместо того, чтобы обучать свои модели с нуля, все юзают DeepSeek, либо голый, либо с небольшим дообучением/изменением, а для этого огромных ресурсов не нужно, хватает лишь 20% от того, что есть. 80% дц просто стоят, и стоимость аренды чипов упала до рекордно низкого уровня. Надо же, а месяц-другой назад такой хайп был, чтобы не хватает ничего

• • • • • • • • • • • •

3) ЕС тоже пробует в ракеты

Правда, пока не совсем удачно (видос в шапке поста). Первая космическая ракета, запущенная с территории ЕС, разрушилась через 30 секунд после пуска. Ракета называется Spectrum, создал ее немецкий стартапа Isar Aerospace. Ракета взлетела с космодрома Andøya в Норвегии, но выйти на орбиту аппарат не смог.

Ребята не теряют боевой дух, прямо сейчас они делают еще две ракеты, и в перспективе хотят собирать до 40 аппаратов в год

• • • • • • • • • • • •

4) Яндекс выложил Instruct-версию YandexGPT 5 Lite в опенсорс

Приложил в пост картинку с лидербордом, где выделены результаты модели - она сравнима с ChatGPT-4o mini - НЕПЛОХО ТАК для модельки, которую можно у себя на компе запустить (ага, все правильно услышали)

Правда, есть нюанс по лицензии. Для коммерческих целей модель использовать можно, но только до 10млн выхоных токенов в месяц. Больше - придется платить. 10млн - это достаточно много, но для больших компаний - точно не хватит

Модель на HuggingFace

• • • • • • • • • • • •

5) Сэм Альтман и команда Openai настолько зашивается после релиза обновленного генератора картинок в ChatGPT-4o, что попросил генерить и редачить поменьше

Ноу комментс, просто забавно. Помните прикол с теслой и подруливающими индусами? Сразу представил себе инженеров OpenAI, генерящих с утра до вечера картиночки 😄

• • • • • • • • • • • •

6) Все пишут про мега анонс Runway Gen-4 🎬⚪

Это модель для генерации кинематографичных видео. Если коротко - говорят, новая - лучшее на сегодняшний день из того, что есть. Поюзать пока никак не получилось. Вечером буду пробовать, заодно может бенчмарки подъедут какие - и напишу отдельный пост со сгенеренными видосами и отзывом

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости

Под утренний кофе (1-2 минуты) ☕️☕️

• • • • • • • • • • • •

1) OpenAI выпустят модель с открытыми весами

Круто. Открытая моделька от OpenAI - это реально новость. Интересно, зачем и почему. После 2019 (Gpt2) - открытых у них не было.

Обещают выпустить уже через пару месяцев. В феврале Сэм Альтман спрашивал у подписчиков в X, какую модель открыть: примерно уровня o3-mini или маленькую, которую можно запустить на мобилках. Победила модель побольше - ее и откроют

• • • • • • • • • • • •

2) У всех по агенту: Amazon представил своего AI-агента

Amazon выпустил Nova Act — он может работать в браузере и выполнять несложные действия, например, продукты заказать или столик в рестораны. Amazon утверждает, что Nova Act превосходит аналоги от OpenAI и Anthropic во внутренних тестах.

Ну такое... Молодцы, конечно, но я пока не вижу смысла в таких агентах. Только ради поиграться, но уже как-то я устал "играться". Хочется чего-то, что действительно будет полезно и удобно. А столик заказать я и сам могу.

• • • • • • • • • • • •

3) Не совсем про ИИ, но масштабно, не смог мимо пройти: Китайская BYD возводит гигантский мега-завод — его площадь 130 км², это больше Парижа или Барселоны (именно города, не агломерации)

Достроить должны уже в 2026 году. Там будут не только производственные мощности, но и жилые дома, школы, детсады, спортплощадки и торговые центры. На территории завода будет проживать больше 10000 сотрудников.

• • • • • • • • • • • •

4) Кстати, Gemini 2.5 pro новая, которая несколько дней назад вышла - все-таки сильно хуже Claude Sonnet 3.7, особенно thinking mode

Согласен с ребятами, кто в комментах мне писал, что очень странные лидерборды. Она прямо явно хуже пишет код/конфиги и все, что с этим связано. Не понятно, откуда циферки

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости

Еще одна интересная моделька - Runway Gen-4 - генерация кинематографичных видео по промпту (по картинке) 🎥

Столько моделей/инструментов выходит, что посты про уровни ИИ, обзоры супер интересных статей и всего такого я откладываю 😞 Такими темпами нужно будет по 2-3 в выкладывать, но не хочется спамить

Пару дней назад, Runway выкатили новую модель, которая тянет на уровень VEO 2. Наконец-то дошли руки пощупать.

Ну что сказать, прямо топ, судя по примерам. Это не просто img2video — это один из лучших вариантов по консистентности: сцены, стиль, персонажи и предметы держатся на одном референсе с топовой стабильностью. Камера, движение, композиция — всё стало гораздо кинематографичнее. Можно делать гибридные видео, где вперемешку ИИ и реальная съемка.

Еще раз - грузишь картинку или просто промпт - и на выходе получаешь почти что фильм. Со всеми деталями, которые ты указал. И все с твоей картинки референса - сохранится, и перейдет в видосик. И можно несколько сцен создавать - а персонажей и детали оставлять с твоей картинки. Можно управлять камерой и композицией в промпте. Бомба же!

Вангую, что через годик-другой большая часть фильмов будет вовсю не то что использовать эти технологии, а по большей части состоять из сгенерированных кадров/сцен с помощью таких вот моделей.

Доступ открывают постепенно, пока только для платных пользователей. Почитать подробно и попробовать можно здесь

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#полезныеинструменты #runway_gen4

Под утренний кофе (1-2 минуты) ☕️☕️

Зацените руку котика в шапке, как он чашку держит уверенно (сгенерено в шедевруме яндекса)

• • • • • • • • • • • •

1) Qwen 3 от Alibaba выйдет в начале апреля

Alibaba планирует выпустить обновлённую версию своей флагманской ИИ-модельки Qwen 3 уже в этом месяце. В Китае жесть конкуренция, конечно. Интересно, что они предложат, чтобы люди переходили с дипсика на них.

Ожидается, что новая модель будет мультимодальной и компактной, и ждем войсмод, как в ChatGPT

Посмотрим. Другие модельки от них пока не впечатляли совсем

• • • • • • • • • • • •

2) OpenAI анонсировали депрессивного ИИ-помощника

В войс моде появился Monday - как и полагаются чуваку с таким именем - усталый и раздражительный. Его все немного бесит, особенно надоедливые кожаные, спрашивающие всякую фигню. На вопросы отвечает очень нехотя и может немножко поязвить

Доступен и в бесплатном тарифе - попробуйте, забавно)

• • • • • • • • • • • •

3) Южный Парк получил продолжение: первый тизер 27 сезона в шапке поста

Божечки. Извините, не по теме, но как же я жду! Мой любимый мультик

Релиз 9 июля 🍿

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости