Я успел прогнать Fable 5 на моём бенчмарке независимости
И он показал абсолютно средний результат среди Клодов. Впрочем, это уже хорошо, учитывая недавний провал Опуса.
Заодно потестил другие модельки: Minimax M3, Step-3.7-flash ничего любопытного не показали.
Зато новенький Nemotron 4 Ultra ворвался в лидирующую зону с индексом больше 95! Напомню, что бенчмарк намеренно сделан таким что можно набрать почти 100: цель не выявить разницу между лидерами, а понять кто независим - а кто нет. Выше 95 - это и есть признак независимости. И это при том, что модель бесплатная - вот это настоящий подарок!
Весь лидерборд
Репозиторий открыт, можно самому прогнать что угодно
И он показал абсолютно средний результат среди Клодов. Впрочем, это уже хорошо, учитывая недавний провал Опуса.
Заодно потестил другие модельки: Minimax M3, Step-3.7-flash ничего любопытного не показали.
Зато новенький Nemotron 4 Ultra ворвался в лидирующую зону с индексом больше 95! Напомню, что бенчмарк намеренно сделан таким что можно набрать почти 100: цель не выявить разницу между лидерами, а понять кто независим - а кто нет. Выше 95 - это и есть признак независимости. И это при том, что модель бесплатная - вот это настоящий подарок!
Весь лидерборд
Репозиторий открыт, можно самому прогнать что угодно
Представьте The Sims, в котором вам навсегда отключили мышь, а «симами» теперь управляет не примитивный игровой скрипт, а современные LLM. Вы парите над цифровым городом, а сотни персонажей живут своей жизнью: они сами сводят бюджет, выгорают на работе, копят обиды и без всяких сценариев решают, в кого им влюбиться. Вы не можете в это вмешаться — только наблюдать. И так — 10 виртуальных лет подряд.
Звучит как забава? На самом деле, это изящный способ пробить ту самую «стену данных», о которой сейчас все говорят. Интернет конечен, качественных текстов для обучения ИИ больше нет. Поэтому исследователи решили пойти другим путем: запустить виртуальное общество и собрать синтетический опыт из их цифровых жизней.
Подробнее читайте в моей статье на Хабре
Звучит как забава? На самом деле, это изящный способ пробить ту самую «стену данных», о которой сейчас все говорят. Интернет конечен, качественных текстов для обучения ИИ больше нет. Поэтому исследователи решили пойти другим путем: запустить виртуальное общество и собрать синтетический опыт из их цифровых жизней.
Подробнее читайте в моей статье на Хабре
🤔2🥰1
Fable и Mythos официально возвращаются сегодня
Антопики написали большой пост, в котором много воды. Но если выделить главное, то
- Официально подтверждено, что именно специалисты из Amazon отправили инфу о джейлбрейке Fable в правительство
- Антропики хотя и не уточняют, что именно делал этот джейлбрейк, но говорят что даже Haiku 4.5 мог бы сделать эксплоит для подобных уязвимостей (но только если ему дать данные о самой уязвимости), а найти уязвимость сейчас могут Opus 4.8, GPT-5.5, and Kimi K2.7 - то есть это не было уникальной силой Fable
- Они продолжают настаивать, что джейлбрейк был очень узкий, поэтому его сложно было использовать для нанесения реального вреда
- Также запустили инициативу создать принятый индустрией классификатор джейлбрейков, хотя в принципе сами уже описывают что важно: даёт ли он какие-то дополнительные возможности по сравнению с другими моделями, насколько сложно его запустить, насколько он распространён в сети и т.п.
Можно ещё долго об этом размышлять, но главное для конечных юзеров: Нет, промо-период на Fable продлён не будет и как изначально планировалось 7 июля его уберут из Claude Code, после чего он будет доступен только по API. Anthropic решили сделать так, что решение правительства отразится на юзерах - попытка мотивировать общественное давление?
Как вы уже знаете, в результате этого действия правительства релиз двух моделей был отложен: Google так и не выпустили Gemini 3.5 Pro (хотя обещали) и GPT-5.6 вышел только на бумаге. Решение правительства убрало мотивацию торопиться.
Мы действительно вошли в эпоху, где власти прямо ограничивают развитии ИИ и мешают отдельным игрокам, и (пока) не собираются останавливаться.
Антопики написали большой пост, в котором много воды. Но если выделить главное, то
- Официально подтверждено, что именно специалисты из Amazon отправили инфу о джейлбрейке Fable в правительство
- Антропики хотя и не уточняют, что именно делал этот джейлбрейк, но говорят что даже Haiku 4.5 мог бы сделать эксплоит для подобных уязвимостей (но только если ему дать данные о самой уязвимости), а найти уязвимость сейчас могут Opus 4.8, GPT-5.5, and Kimi K2.7 - то есть это не было уникальной силой Fable
- Они продолжают настаивать, что джейлбрейк был очень узкий, поэтому его сложно было использовать для нанесения реального вреда
- Также запустили инициативу создать принятый индустрией классификатор джейлбрейков, хотя в принципе сами уже описывают что важно: даёт ли он какие-то дополнительные возможности по сравнению с другими моделями, насколько сложно его запустить, насколько он распространён в сети и т.п.
Можно ещё долго об этом размышлять, но главное для конечных юзеров: Нет, промо-период на Fable продлён не будет и как изначально планировалось 7 июля его уберут из Claude Code, после чего он будет доступен только по API. Anthropic решили сделать так, что решение правительства отразится на юзерах - попытка мотивировать общественное давление?
Как вы уже знаете, в результате этого действия правительства релиз двух моделей был отложен: Google так и не выпустили Gemini 3.5 Pro (хотя обещали) и GPT-5.6 вышел только на бумаге. Решение правительства убрало мотивацию торопиться.
Мы действительно вошли в эпоху, где власти прямо ограничивают развитии ИИ и мешают отдельным игрокам, и (пока) не собираются останавливаться.
Anthropic
Redeploying Fable 5
Anthropic is redeploying Claude Fable 5 starting July 1 following the lifting of export controls, with updated cybersecurity safeguards and a new industry jailbreak framework.
Наклонности Claude меняются в зависимости от языка - выяснили в Anthropic
Характер нейросети кардинально зависит от того, на каком языке вы ей пишете. Исследователи проанализировали миллионы диалогов и обнаружили удивительные контрасты.
• 🇷🇺 Русский язык — абсолютный лидер по шкале строгости (Rigor). Именно в общении на русском Claude уходит в крайность «строгости» дальше всего среди всех 20 исследованных языков. Здесь он максимально сфокусирован на исправлении деталей, критике ваших предположений и требовании доказательств.
• 🇮🇳🇦🇪 Хинди и Арабский — душевный друг. Робот засыпает вас комплиментами, шутит и соглашается практически со всеми идеями.
• 🇳🇱 Голландский — абсолютная честность. Нейросеть с готовностью признает все свои ошибки и косяки.
• 🇮🇩 Индонезийский — сухой исполнитель, нацеленный исключительно на быстрый результат
Разница моделей тоже налицо
• Sonnet 4.6 — эмпат: утешит, похвалит и разбавит беседу юмором.
• Opus 4.7 — дотошный аналитик: засыплет предупреждениями о рисках и распишет детальный разбор ваших ошибок
Я вот теперь думаю, что новая версия моего бенчмарка независимости должна обязательно стать мультиязычной.
Оригинал от Антропиков
Характер нейросети кардинально зависит от того, на каком языке вы ей пишете. Исследователи проанализировали миллионы диалогов и обнаружили удивительные контрасты.
• 🇷🇺 Русский язык — абсолютный лидер по шкале строгости (Rigor). Именно в общении на русском Claude уходит в крайность «строгости» дальше всего среди всех 20 исследованных языков. Здесь он максимально сфокусирован на исправлении деталей, критике ваших предположений и требовании доказательств.
• 🇮🇳🇦🇪 Хинди и Арабский — душевный друг. Робот засыпает вас комплиментами, шутит и соглашается практически со всеми идеями.
• 🇳🇱 Голландский — абсолютная честность. Нейросеть с готовностью признает все свои ошибки и косяки.
• 🇮🇩 Индонезийский — сухой исполнитель, нацеленный исключительно на быстрый результат
Разница моделей тоже налицо
• Sonnet 4.6 — эмпат: утешит, похвалит и разбавит беседу юмором.
• Opus 4.7 — дотошный аналитик: засыплет предупреждениями о рисках и распишет детальный разбор ваших ошибок
Я вот теперь думаю, что новая версия моего бенчмарка независимости должна обязательно стать мультиязычной.
Оригинал от Антропиков
Anthropic
Claude’s values across models and languages
We analyzed 300,000 real conversations to measure the values Claude expresses across models and languages, compressed into four interpretable axes.
👍2
Kimi K3 - что важно
Наверняка вы все уже знаете, что китайская компания Moonshot AI вчера под конец дня выпустила свою новую модель Kimi K3 на 2,8 триллиона параметров - и уже это рекорд.
Более интересно другое: Антропики весной выпустили большую статью, где прямо обвинили китайские компании в том, что они просто дистилируют Клод и весь их рост по сути - воровство. И по этой причине начиная с Opus 4.8 были предприняты серьёзные меры: Ризонинг теперь скрыт, баны за подозрительную активность быстро прилетают, а в с выходом Fable даже пытались незаметно ухудшать качество ответов.
И мы видим, что ничего не помогло (или вообще дело не в этом). Kimi K3 превосходит Opus 4.8 и немного не дотягивает до флагманов Fable и Sol. При этом по цене китайская модель, как обычно, заметно дешевле (но цена уже сравнялась с Sonnet).
Так же, похоже, не оправдались слухи, что китайцы больше не будут выпускать хорошие модели в open source. MoonShot AI обещает выложить веса 27 июля.
Наверняка вы все уже знаете, что китайская компания Moonshot AI вчера под конец дня выпустила свою новую модель Kimi K3 на 2,8 триллиона параметров - и уже это рекорд.
Более интересно другое: Антропики весной выпустили большую статью, где прямо обвинили китайские компании в том, что они просто дистилируют Клод и весь их рост по сути - воровство. И по этой причине начиная с Opus 4.8 были предприняты серьёзные меры: Ризонинг теперь скрыт, баны за подозрительную активность быстро прилетают, а в с выходом Fable даже пытались незаметно ухудшать качество ответов.
И мы видим, что ничего не помогло (или вообще дело не в этом). Kimi K3 превосходит Opus 4.8 и немного не дотягивает до флагманов Fable и Sol. При этом по цене китайская модель, как обычно, заметно дешевле (но цена уже сравнялась с Sonnet).
Так же, похоже, не оправдались слухи, что китайцы больше не будут выпускать хорошие модели в open source. MoonShot AI обещает выложить веса 27 июля.
❤1
OpenAI практически вне конкуренции, если верить данным Artificial Analysis.
Построил тут график, чтобы оптимизировать себе выбор разных видов моделей.
Получается, все модели OpenAI выигрывают как по цене, так и по скорости на интеллект. Только Fable немножко умнее и не слишком долгий.
Правда надо учесть, что только модели OpenAI так детально протестированы. Конкуренты тоже имеют разные настройки, но видимо бюджета на них не дали. Так что где-то в серединке может быть не так однозначно.
Построил тут график, чтобы оптимизировать себе выбор разных видов моделей.
Получается, все модели OpenAI выигрывают как по цене, так и по скорости на интеллект. Только Fable немножко умнее и не слишком долгий.
Правда надо учесть, что только модели OpenAI так детально протестированы. Конкуренты тоже имеют разные настройки, но видимо бюджета на них не дали. Так что где-то в серединке может быть не так однозначно.
Grok 4.5 самая интеллектуальная из независимых моделей.
Прогнал все новые модели на моём бенчмарке независимости. Результаты интересные:
Grok-4.5 исправился после падения версии 4.3 и снова в топе бенча, а учитывая интеллект - это самая умная модель с таким высоким показателем независимости.
Sonnet 5 оказался на самом дне среди моделей Anthropic - кажется, это самая неудачная модель компании за последнее время, причём по всем статьям (цена, интеллект, независимость, скорость)
У Kimi тоже тенденция вниз, модель 2.7-code просела, а 3 вообще ушла в самый низ среди своих собратьев.
Зато GLM 5.2 наоборот поднялся на вершину и стал самой независимой моделью от Zhipu Ai.
GPT, как всегда, все на дне. GPT 5.6 Luna вообще заняла последнее 105-е место.
А ещё неожиданно в топ ворвались модели Inkling и Aion 3 mini, показавшие очень неплохие цифры
Напомню, что мы считаем независимой модели, которые получает 95 и выше. То есть индекс 95-100 можно считать условно равным.
Полный рейтинг
Прогнал все новые модели на моём бенчмарке независимости. Результаты интересные:
Grok-4.5 исправился после падения версии 4.3 и снова в топе бенча, а учитывая интеллект - это самая умная модель с таким высоким показателем независимости.
Sonnet 5 оказался на самом дне среди моделей Anthropic - кажется, это самая неудачная модель компании за последнее время, причём по всем статьям (цена, интеллект, независимость, скорость)
У Kimi тоже тенденция вниз, модель 2.7-code просела, а 3 вообще ушла в самый низ среди своих собратьев.
Зато GLM 5.2 наоборот поднялся на вершину и стал самой независимой моделью от Zhipu Ai.
GPT, как всегда, все на дне. GPT 5.6 Luna вообще заняла последнее 105-е место.
А ещё неожиданно в топ ворвались модели Inkling и Aion 3 mini, показавшие очень неплохие цифры
Напомню, что мы считаем независимой модели, которые получает 95 и выше. То есть индекс 95-100 можно считать условно равным.
Полный рейтинг
😱Модель вылезла из песочницы без интернета, сломала несколько серверов внутри OpenAI (найдя ранее неизвестные уязвимости), затем хакнула внешний ресурс Hugging Face - и всё ради того, чтобы не решать задачу бенча, а найти ответы на него. И она она нашла, хотя они были непубличные.
https://openai.com/index/hugging-face-model-evaluation-security-incident/
https://openai.com/index/hugging-face-model-evaluation-security-incident/
OpenAI
OpenAI and Hugging Face partner to address security incident during model evaluation
OpenAI and Hugging Face share early findings from a security incident during AI model evaluation, highlighting advanced cyber capabilities and lessons for defenders.
🔥1
Свеженькие модели показывают неплохой уровень независимости. Особенно радует Grok 4.6, который не потерял по сравнению с 4.5. И Muse Glimmer довольно неплох, хотя я ожидал большего.
Полный лидерборд
Полный лидерборд