Humanity's Last Exam: самый сложный экзамен для ИИ

Сейчас в сети есть множество разных тестов и бенчмарков для иишек, но нейросети стали слишком умными — и решают их почти все на 80+ процентов.

Поэтому исследователи из CAIS и Scale AI создали Humanity’s Last Exam (HLE) — гигантский экзамен из 3 000 вопросов, покрывающий математику, естественные и гуманитарные науки. Там не только текстовые вопросы, есть и мультимодальные - с картинками и прочим.

Над ним работали ~1 000 экспертов из 500+ университетов по всему миру.
Цель — проверить, насколько LLM (ChatGPT, Claude, Gemini и тд) соответствуют экспертному человеческому уровню, а не просто проходят школьные тесты. Вопросы, конечно, в сети недоступны, они закрыты от внешнего доступа.

HLE — это не просто еще один бенчмарк, а попытка зафиксировать такую некую "экспертную границу", выше которой ИИ начнет реально заменять людей в интеллектуальных задачах

Приложил к посту в шапку результаты по разным моделькам: сейчас максимум, на что способны модели - это 18,8% решенных задач у Gemini-2.5 последней (несколько дней назад которую выпустили)

По прогнозам - до конца 2025 года ИИ смогут решить этот тест на 50%. Увидим 🙂

Официальный сайт бенчмарка

-------------------

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#hle #бенчмарки

Под утренний кофе (6-7 минут)☕️☕️

Вчера было много всего, половину еще убрать пришлось ☹️ Понедельник, что сказать

• • • • • • • • • • • •

1) Gemini 2.5 Pro сделали доступной для всех пользователей, даже бесплатных

Круто! Неделю-полторы назад я просил гугл сделать что-то крутое, и вот - они выкатывают топовую модель, которая порвала всех. А теперь еще и бесплатно ее открыли на всех. Гугл, спасибо, что прислушались 😏

Пробуем тут

• • • • • • • • • • • •

2) Китай построил сотни дата-центров из-за бума на ИИ, но теперь многие из них простаивают

DeepSeek так сильно повлиял на рынок в Китае, что дата-центры, которые сотнями штамповались для того, чтобы угодить всем и закрыть потребность в вычислительных ресурсах - стали не нужны и простаивают. А все потому что теперь, вместо того, чтобы обучать свои модели с нуля, все юзают DeepSeek, либо голый, либо с небольшим дообучением/изменением, а для этого огромных ресурсов не нужно, хватает лишь 20% от того, что есть. 80% дц просто стоят, и стоимость аренды чипов упала до рекордно низкого уровня. Надо же, а месяц-другой назад такой хайп был, чтобы не хватает ничего

• • • • • • • • • • • •

3) ЕС тоже пробует в ракеты

Правда, пока не совсем удачно (видос в шапке поста). Первая космическая ракета, запущенная с территории ЕС, разрушилась через 30 секунд после пуска. Ракета называется Spectrum, создал ее немецкий стартапа Isar Aerospace. Ракета взлетела с космодрома Andøya в Норвегии, но выйти на орбиту аппарат не смог.

Ребята не теряют боевой дух, прямо сейчас они делают еще две ракеты, и в перспективе хотят собирать до 40 аппаратов в год

• • • • • • • • • • • •

4) Яндекс выложил Instruct-версию YandexGPT 5 Lite в опенсорс

Приложил в пост картинку с лидербордом, где выделены результаты модели - она сравнима с ChatGPT-4o mini - НЕПЛОХО ТАК для модельки, которую можно у себя на компе запустить (ага, все правильно услышали)

Правда, есть нюанс по лицензии. Для коммерческих целей модель использовать можно, но только до 10млн выхоных токенов в месяц. Больше - придется платить. 10млн - это достаточно много, но для больших компаний - точно не хватит

Модель на HuggingFace

• • • • • • • • • • • •

5) Сэм Альтман и команда Openai настолько зашивается после релиза обновленного генератора картинок в ChatGPT-4o, что попросил генерить и редачить поменьше

Ноу комментс, просто забавно. Помните прикол с теслой и подруливающими индусами? Сразу представил себе инженеров OpenAI, генерящих с утра до вечера картиночки 😄

• • • • • • • • • • • •

6) Все пишут про мега анонс Runway Gen-4 🎬⚪

Это модель для генерации кинематографичных видео. Если коротко - говорят, новая - лучшее на сегодняшний день из того, что есть. Поюзать пока никак не получилось. Вечером буду пробовать, заодно может бенчмарки подъедут какие - и напишу отдельный пост со сгенеренными видосами и отзывом

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости

Под утренний кофе (1-2 минуты) ☕️☕️

• • • • • • • • • • • •

1) OpenAI выпустят модель с открытыми весами

Круто. Открытая моделька от OpenAI - это реально новость. Интересно, зачем и почему. После 2019 (Gpt2) - открытых у них не было.

Обещают выпустить уже через пару месяцев. В феврале Сэм Альтман спрашивал у подписчиков в X, какую модель открыть: примерно уровня o3-mini или маленькую, которую можно запустить на мобилках. Победила модель побольше - ее и откроют

• • • • • • • • • • • •

2) У всех по агенту: Amazon представил своего AI-агента

Amazon выпустил Nova Act — он может работать в браузере и выполнять несложные действия, например, продукты заказать или столик в рестораны. Amazon утверждает, что Nova Act превосходит аналоги от OpenAI и Anthropic во внутренних тестах.

Ну такое... Молодцы, конечно, но я пока не вижу смысла в таких агентах. Только ради поиграться, но уже как-то я устал "играться". Хочется чего-то, что действительно будет полезно и удобно. А столик заказать я и сам могу.

• • • • • • • • • • • •

3) Не совсем про ИИ, но масштабно, не смог мимо пройти: Китайская BYD возводит гигантский мега-завод — его площадь 130 км², это больше Парижа или Барселоны (именно города, не агломерации)

Достроить должны уже в 2026 году. Там будут не только производственные мощности, но и жилые дома, школы, детсады, спортплощадки и торговые центры. На территории завода будет проживать больше 10000 сотрудников.

• • • • • • • • • • • •

4) Кстати, Gemini 2.5 pro новая, которая несколько дней назад вышла - все-таки сильно хуже Claude Sonnet 3.7, особенно thinking mode

Согласен с ребятами, кто в комментах мне писал, что очень странные лидерборды. Она прямо явно хуже пишет код/конфиги и все, что с этим связано. Не понятно, откуда циферки

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости

Еще одна интересная моделька - Runway Gen-4 - генерация кинематографичных видео по промпту (по картинке) 🎥

Столько моделей/инструментов выходит, что посты про уровни ИИ, обзоры супер интересных статей и всего такого я откладываю 😞 Такими темпами нужно будет по 2-3 в выкладывать, но не хочется спамить

Пару дней назад, Runway выкатили новую модель, которая тянет на уровень VEO 2. Наконец-то дошли руки пощупать.

Ну что сказать, прямо топ, судя по примерам. Это не просто img2video — это один из лучших вариантов по консистентности: сцены, стиль, персонажи и предметы держатся на одном референсе с топовой стабильностью. Камера, движение, композиция — всё стало гораздо кинематографичнее. Можно делать гибридные видео, где вперемешку ИИ и реальная съемка.

Еще раз - грузишь картинку или просто промпт - и на выходе получаешь почти что фильм. Со всеми деталями, которые ты указал. И все с твоей картинки референса - сохранится, и перейдет в видосик. И можно несколько сцен создавать - а персонажей и детали оставлять с твоей картинки. Можно управлять камерой и композицией в промпте. Бомба же!

Вангую, что через годик-другой большая часть фильмов будет вовсю не то что использовать эти технологии, а по большей части состоять из сгенерированных кадров/сцен с помощью таких вот моделей.

Доступ открывают постепенно, пока только для платных пользователей. Почитать подробно и попробовать можно здесь

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#полезныеинструменты #runway_gen4

Под утренний кофе (1-2 минуты) ☕️☕️

Зацените руку котика в шапке, как он чашку держит уверенно (сгенерено в шедевруме яндекса)

• • • • • • • • • • • •

1) Qwen 3 от Alibaba выйдет в начале апреля

Alibaba планирует выпустить обновлённую версию своей флагманской ИИ-модельки Qwen 3 уже в этом месяце. В Китае жесть конкуренция, конечно. Интересно, что они предложат, чтобы люди переходили с дипсика на них.

Ожидается, что новая модель будет мультимодальной и компактной, и ждем войсмод, как в ChatGPT

Посмотрим. Другие модельки от них пока не впечатляли совсем

• • • • • • • • • • • •

2) OpenAI анонсировали депрессивного ИИ-помощника

В войс моде появился Monday - как и полагаются чуваку с таким именем - усталый и раздражительный. Его все немного бесит, особенно надоедливые кожаные, спрашивающие всякую фигню. На вопросы отвечает очень нехотя и может немножко поязвить

Доступен и в бесплатном тарифе - попробуйте, забавно)

• • • • • • • • • • • •

3) Южный Парк получил продолжение: первый тизер 27 сезона в шапке поста

Божечки. Извините, не по теме, но как же я жду! Мой любимый мультик

Релиз 9 июля 🍿

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#подутреннийкофе #новости

🧠 ИИ-гидрогель, который играет в Pong

Учёные из Университета Рединга провернули настоящее волшебство: заставили ионный гидрогель — по сути, кусок желе с солью — играть в классическую видеоигру Pong. И не просто играть, а со временем учиться и играть лучше 🤯

Как это вообще возможно?

Честно, я когда увидел видео, и прочитал статью, сначала вообще ничего не понял

Итак, что я понял, покопавшись:
• Гель состоит из воды, полимеров и ионов — заряженных частиц
• Когда через него пускают ток, ионы движутся к источнику тока, утягивая воду за собой
• Из-за этого гель набухает в разных местах, в зависимости от того, куда подан ток
• Исследователи подают ток в разных точках, чтобы показать мячу, где он на экране
• Другая система электродов считывает, как гель отреагирует (где и как набух)
• Компьютер интерпретирует эти изменения и двигает ракетку

Гель набухает быстрее, чем сжимается, и это "запаздывание" сохраняет информацию о прошлом.
Суть в том, что гель физически реагирует на электрические сигналы не мгновенно, а с инерцией:
• При подаче тока ионы быстро начинают движение → гель быстро набухает в этом месте
• Когда ток выключается, ионы не сразу возвращаются → гель медленно сжимается
• Это создаёт след от предыдущего воздействия — как будто отпечаток недавнего события

Благодаря этому следу, можно определить:
• где и как часто было воздействие,
• в каком направлении двигался "мяч" в Pong.

То есть каждый новый импульс воспринимается не в пустом контексте, а с учётом того, что было раньше. Это и есть простейшая форма памяти — не цифровая, а физическая, аналоговая

Знаете, в чем главный прикол? Со временем он играл всё точнее — на 10% лучше, и ралли становились дольше. Это похоже на примитивное обучение, прямо как у нейросетей

То есть, по сути - это ИИ-материал. И в будущем потенциально такие материалы могут управлять роботами или выполнять вычисления без классических процессоров. Автор эксперимента говорит, что это фактически потенциальный материал, из которого будут состоять мозги будущих роботов. Но пока практически - потенциал очень слабый

Прикольно конечно, было интересно 😇

• • • • • • • • • • • •

😑 +1 в карму за лайк

❤️ @thats_it_ai_tech

#обзорстатьи