Скрытый слой
819 subscribers
18 photos
2 files
2 links
Нейросети: новости, теория и тесты
Download Telegram
🎯 Top-p: из каких слов на самом деле выбирает LLM
Модель пишет текст по токену, и на каждом шаге у неё тысячи кандидатов. Top-p решает, кого вообще пустить в лотерею.
Механика: токены сортируют по вероятности и складывают, пока сумма не дойдёт до p. Это ядро: следующий токен тянут только из него, хвост выкидывают.

📊 Фишка в адаптивности. При top_p=0.9 уверенная модель оставит пару кандидатов, сомневающаяся — десятки. У top-k их число фиксировано.
Метод предложили Хольцман и соавторы в 2019-м (nucleus sampling), чтобы текст не зацикливался, как при жадном выборе, и не уходил в бред из-за редких токенов.
top_p=1 — фильтра нет, 0.1 — почти всегда самый вероятный токен. OpenAI советует менять top_p или temperature, но не оба сразу.

💡 Нужна точность — опускай top_p, нужна фантазия — держи ближе к 1.

#LLM #гиперпараметры #сэмплинг
❤5👍2
🌡 Температура LLM: точность против разнообразия
От температуры зависит, насколько предсказуемо модель выбирает следующий токен: получите ли вы стабильный ответ или набор вариаций.
Модель выдаёт логиты — необработанные оценки для каждого токена словаря. Их делят на температуру T и пропускают через softmax, получая вероятности.
При T < 1 распределение становится острее: лидер забирает почти всю вероятность. При T > 1 оно сглаживается, и шанс получают редкие токены. При T → 0 выбор сводится к самому вероятному токену.

📊 Пример: два токена с логитами 2 и 1. При T = 1 их вероятности — 73% и 27%, при T = 0.5 — 88% и 12%, при T = 2 — 62% и 38%.
Температура не добавляет знаний и не повышает качество: меняется только степень случайности. Даже T = 0 в API не гарантирует идентичных ответов из-за особенностей параллельных вычислений.

💡 Для кода, извлечения данных и классификации обычно берут 0–0.3, для текстов и идей — 0.7–1.

#LLM #гиперпараметры #сэмплинг
❤4
Новый ролик: top-p целиком.
— почему длинный ответ почти наверняка цепляет мусор из хвоста
— чем top-p лучше top-k
— 180 генераций на RTX 3090 Ti и карта сомнений модели
— почему одни и те же настройки в llama.cpp и transformers дают разный текст
— и от чего top-p не спасает
В архиве оба скрипта, все тексты с разметкой и инструкция. Повторите на своей модели и пришлите цифры.

https://youtu.be/I-nE48FV7xM
🔥6👍5❤4🆒1
Google DeepMind показала Genie 4 — новую модель мира

Представьте игру без движка. Каждый кадр нейросеть придумывает прямо сейчас, глядя, какую кнопку вы нажали секунду назад.

Примерно так и работает Genie 4. Видеогенератор выдаёт готовый ролик, а модель мира всё время угадывает, что случится дальше. Пошли вперёд — дорисовала дорогу. Написали «пусть пойдёт дождь» — пошёл дождь, и его даже слышно: звук и голоса персонажей модель теперь генерирует сама.

Внутри любопытное разделение труда. Genie рисует картинку, а Gemini работает кем-то вроде режиссёра: раскладывает задачу на шаги и проверяет, получился ли кадр.
Зачем это, кроме развлечения? Роботам и ИИ-агентам надо где-то тренироваться, а в симуляции разбитая ваза ничего не стоит. В DeepMind считают умение моделировать мир одним из ключей к AGI.

Есть и слабое место — память. Минуты через две мир забывает сам себя, и детали плывут. Так что до Матрицы пока далеко 🙂
Доступ сейчас только у тестировщиков.
❤5🔥4❤‍🔥1
ИИ уже помогает создавать следующее поколение ИИ

Anthropic опубликовала R&D Automation Index — метрику, которая показывает, какую часть исследовательской работы компании выполняет Claude.

Данные на август 2026:
- Claude ведёт 26% задач, хотя в феврале было меньше 1%
- Более 90% задач выполняются с его участием хотя бы на уровне сотрудничества

«Ведёт» значит, что Claude получает задачу в общих чертах и делает большую часть работы сам, а человек контролирует процесс и принимает решения. Полностью автономно Claude пока не работает ни в одной области.

Оговорка: данные Anthropic собрала о себе сама, и компания признаёт, что это может искажать оценку.

Это шаг к рекурсивному самоулучшению, когда ИИ сам разрабатывает свои следующие версии. Сооснователь Anthropic Джек Кларк в октябре сдвинул прогноз: теперь он считает, что полноценное самоулучшение скорее станет возможным в 2027 году, а не в 2028-м.

Если ИИ ускоряет разработку самого себя, насколько быстро будет развиваться вся индустрия?
👍6❤‍🔥1🔥1
Мощные MoE-модели теперь на домашнем железе: NVIDIA выкатила линейку Nemotron 3.5 🧠

Ключевые модели линейки Nemotron 3.5 (2026)

Nemotron 3.5 Super VL (120B): Флагманская мультимодальная модель (12 млрд активных параметров). Предназначена для глубокого анализа текста, изображений, кода и видео. Поддерживает контекстное окно до 1 миллиона токенов и обеспечивает пятикратное преимущество по пропускной способности по сравнению с аналогами.

Nemotron 3.5 Transcribe (30B): Специализированная речевая MoE-модель (4.3 млрд активных параметров). Признана одной из лучших открытых моделей для транскрипции на 40 языках, перевода, распознавания спикеров и ответов на вопросы по аудиозаписям.

Nemotron 3.5 Lightning (30B): Быстрая и экономичная модель для высокопроизводительных ИИ-агентов.

Nemotron 3.5 Bolt (E4B / 4GB): Сверхкомпактная малая языковая модель (SLM), созданная на базе архитектуры Gemma 4 с постобучением от NVIDIA. Нацелена на максимальную скорость работы с ограниченным объемом видеопамяти.
🔥9👍6🥰1
Сколько сестёр у брата Алисы?
«У Алисы 3 брата и 2 сестры». Правильно — 3: сама Алиса тоже сестра.

В 2024-м статья LAION (arXiv:2406.02061) показала, что на этой задаче сыплются даже флагманы: GPT-4o решал её примерно в 65% случаев, Claude 3 Opus — в 43%.
Я прогнал 12 локальных моделей на RTX 3090 Ti по промптам из статьи. Модели от 27B решают простую версию на 100% — даже без размышлений. Мелкие путаются: 76% ошибок — «забыла посчитать саму Алису». А усложнённую версию с кузенами лучше всех решают Gemma 4 31B (94%) и Gemma 4 26B (83%), остальные — 50% и ниже.

Лучшие цитаты:
— «У Алисы 4 сестры… и она сама не является сестрой, потому что она женщина» — Qwen3 1.7B
— «У неё также есть 1 сестра (это она сама)» — Qwen2.5 7B
— «Алиса сама уже учтена как одна из „дочерей“, а не как „сестра“ для брата» — gpt-oss 20B
— «У брата Алисы 0 сестёр, потому что он брат, а не сестра» — Qwen2.5 1.5B
— «Ответ: шестерки» — DeepSeek-R1 1.5B
😁16🔥7👍3❤1
ИИ уже вдвое ускоряет создание ИИ

Независимая исследовательская организация METR 11 недель изучала внутренние данные Anthropic и 5 ноября выпустила отчёт. Вывод: с октября 2025 года способности моделей Anthropic растут в 1,9 раза быстрее, чем раньше. За последний год компания прошла примерно два «старых» года прогресса.

Дело не в том, что ускорилось наращивание вычислительных мощностей. По оценке METR, около 80% ускорения дал сам ИИ: модели помогают разрабатывать следующие модели.

Оговорки: неопределённость большая — реальное ускорение может быть от 1,3× до 3×. Речь о задачах, которые легко проверить автоматически. А самые информативные данные Anthropic из отчёта вычеркнула.

На графике — индекс способностей моделей Anthropic с 2024 года. Оранжевые точки — внутренние модели, которые ещё не вышли, пунктир — каким был бы прогресс без ускорения.

Источник: отчёт METR, metr.org
❤6👍3💘1
Как ИИ «съедает» бенчмарки

Бенчмарк — это экзамен для нейросетей. Когда лучшие модели упираются в потолок и их результаты почти не различаются, тест перестаёт показывать, кто сильнее. Это называют насыщением бенчмарка. И происходит оно всё быстрее.

1998 — MNIST, рукописные цифры. К уровню человека подошли через 14 лет.

2010 — ImageNet, картинки. Оценку человека превзошли через 5 лет.

2018 — GLUE, понимание текста. Неспециалистов обогнали за 14 месяцев.

2020 — MMLU, вопросы по 57 предметам: с 44% до 92%.

2025 — «Последний экзамен человечества»: с 8% до 55% меньше чем за два года.

2026 — ARC-AGI-3, игры без инструкций. На старте у ИИ меньше 1%, а люди прошли все игры. Через 4 месяца лучшая модель набрала 30%.

По исследованию с ICML 2026, почти половина из 60 изученных языковых бенчмарков уже насыщена.

Следующий экзамен — нерешённые научные задачи. И ИИ уже начал его сдавать: за последние недели он заявил о решении двух давних гипотез, их сейчас проверяют.
🔥10👍4❤2😱1
Anthropic перекупила чужой заказ за $3,4 млрд

По данным Financial Times, создатель Claude договорился купить газовые генераторы, которые два года назад заказала другая компания. Их мощность 1,7 ГВт, примерно как у полутора атомных реакторов.

Как это вышло
Техасская OnePWR заказала генераторы у Caterpillar, но ей не хватало финансирования, чтобы завершить покупку.
Anthropic собиралась стать её клиентом и покупать электричество. Вместо этого она забрала сам заказ вместе с работами по установке.

Зачем перекупать
Дата-центры резко подняли спрос на такие генераторы, и новые заказы приходится долго ждать. Заказ двухлетней давности помогает не начинать очередь с нуля.

Зачем ИИ генераторы
Нейросетям нужно очень много электричества, а подключить дата-центр к обычной сети непросто.
🔥6👍2❤1
Anthropic представила Claude Fable 5.2, обновление своей флагманской модели.

Главное:

Цена API снижена на 20%: $8 за миллион входных токенов и $40 за выходные (у Fable 5.1 было $10 и $50). Скорость генерации выросла до 30%.

Заметный прогресс в агентном программировании: 49,1% на FrontierCode 2.0 против 32,4% у предыдущей версии. По данным компании, модель опережает Opus 5.5 и GPT-6 Astra.

Самый показательный пример из анонса: 1000 агентов на Fable 5.2 формализовали доказательство Великой теоремы Ферма за 30 часов. В сентябре аналогичная работа заняла 11 дней.

Ложные срабатывания защитных фильтров сократились примерно на 55%.

Стоит учитывать: за токен модель вдвое дороже Opus 5.5, а на максимальном уровне усилий задача обходится дороже, чем на 5.1. По первым независимым замерам, уже на уровне high Fable 5.2 превосходит 5.1 на максимуме и стоит меньше, поэтому настройку лучше подбирать под задачу.

Модель доступна на платных тарифах Claude и через API.
🔥7
Anthropic показала набор инструментов, с которыми Claude всё больше напоминает офисный пакет. Презентация прошла 10 ноября в Сан-Франциско, накануне ожидаемого IPO компании.

Claude Meetings. Claude подключается к звонку в Google Meet как участник: ведёт заметки, отвечает в чате встречи и начинает готовить документы ещё до её окончания. Бета для Team и Enterprise.

Claude Sheets. Таблицы по текстовому запросу: вкладки, формулы, выпадающие списки, совместное редактирование. Правки Claude подсвечиваются, файл можно выгрузить в Excel. Бета.

Claude Whiteboards. Общая доска, на которой Claude группирует идеи по темам и распределяет задачи между участниками. Бета.

Claude Data (бывшие Dashboards) вышел из беты. Подключается к CRM и хранилищам данных, строит дашборды, истории на основе данных и видео с озвучкой.

Кроме того, внутри Claude теперь открываются полноценные приложения Adobe, Atlassian и HubSpot.
🔥8
Gemini 4 Carbon вышла для всех — но уже не первая

10 ноября Google открыла Carbon в платном API, Gemini for business и подписке AI Ultra (от $99,99 в месяц в США). До этого почти две недели модель была только у специалистов по кибербезопасности.

Сколько стоит
До 30 ноября — $2 и $10 за миллион входных и выходных токенов, потом $4 и $20, как у Claude Opus 5.5. GPT-6 Astra стоит $10 и $50.

Место в рейтинге
На старте Carbon возглавила индекс Artificial Analysis, но 9 ноября вышла Claude Fable 5.2 с 65 баллами. Сейчас у Carbon 60, у Opus 5.5 — 59, у Astra — 57. А в тесте FrontierSWE 2 Carbon уступает и Astra, и Opus.

Что на графике
На прогон индекса Carbon потратила 205 млн выходных токенов, Astra — 54 млн. Рассуждения оплачиваются как обычный ответ, поэтому по стандартным ценам Astra выходит дешевле за задачу: $6,24 против $7,76, хотя её токены в 2,5 раза дороже. До 30 ноября, со скидкой, — наоборот.

Вывод: сравнивайте модели по цене решённой задачи, а не токена.
🔥7👍5
agent.zip
4.4 KB
Скрипт .py из нового ролика про ИИ-Агентов. Кто не посмотрел - приятного просмотра 😊
👍22❤3🔥1
Google представила Gemini 4 Hydrogen — быструю модель для агентских задач и кодинга

Google отказалась от индекса Flash и перешла на элементы таблицы Менделеева. Новая Gemini 4 Hydrogen адаптирована на базе флагмана Gemini 4 Carbon, но заточена под максимальную скорость отклика в повседневном кодинге и мультиагентных пайплайнах.

Что внутри:

- Скорость и масштаб: Работает в ~2 раза быстрее 3.8 Flash, имеет единое контекстное окно на 1 млн токенов и поддерживает фоновую генерацию (long decode) тоже до 1 млн токенов.

- Уровни мышления: Появился новый режим глубины рассуждений xhigh (в дополнение к low, medium и high) — можно гибко балансировать между задержкой и сложностью задачи.

- Надежность агентов: В 12 раз снизилось количество «срезания углов» и сбоев при вызове инструментов (tool calling), а устойчивость к непрямым промпт-инъекциям выросла в 2,3 раза.

- Цена: $1,50 за 1 млн входных и $7,50 за 1 млн выходных токенов (есть бесплатный тир в AI Studio).
❤10
Anthropic и OpenAI объявили войну мультиаккаунтам и «серым» подпискам

Два главных ИИ-гиганта синхронно выкатили жесткие антифрод-правила, которые напрямую бьют по привычным схемам доступа к Claude и ChatGPT. Индустрия переходит от гонки за охватами к оптимизации выручки перед грядущим IPO.

Что меняется:
Проверка паспортов в Claude: С 12 ноября обновилась Supported Regions Policy — под запретом любое использование сервисов (включая API и Claude Code) структурами, связанными с лицами из неподдерживаемых стран. При подозрении на аномалии аккаунт отправляют на KYC через Persona (паспорт и живое селфи), что для документов РФ и Китая заканчивается мгновенным баном без возврата средств.

Лимит устройств в ChatGPT: OpenAI закрыла лазейку с ротацией нескольких дешевых аккаунтов Plus на одном ПК ради расширения лимитов Codex и чата — теперь срабатывает блокировка по железу и банковской карте

Запрет серых роутеров: С 20 ноября OpenAI запрещает работу сторонних API-шлюзов и агрегаторов моделей без разрешения.
😢8❤3🤬3👍2
Alibaba выпустила Qwen4-Max — новый флагман на 2.4 трлн параметров

Модель вышла в публичный API (включая OpenRouter) с упором на агентские задачи, кодинг и дешёвый инференс на длинном контексте.

Главное:
- Архитектура: 2.4T Sparse MoE

- активирует на 25% меньше параметров на токен, чем Qwen 3.8-Max, при более высоком качестве.

- Память: гибридное внимание (3 слоя Gated DeltaNet + Qwen Sparse Attention) кратно удешевляет работу на длинных сессиях.

- Контекст и thinking: окно на 1 млн токенов и до 393 тыс. на вывод с настраиваемой глубиной рассуждений (low — xhigh).

- Вход: текст, картинки и видео.

- Цена: $1.50 / $4.50 за 1 млн входных/выходных токенов (на 62% дешевле в агентских пайплайнах).

Открытых весов для Max нет - ждём релиз младшей open-weights версии на 27B.
🔥17❤8👏3🤔1👀1
Anthropic научила ИИ-агентов «видеть сны», чтобы они не деградировали в долгих сессиях

Исследователи компании выяснили: главная причина сбоев автономных агентов — не нехватка контекста, а замусоривание памяти. Когда модель дописывает в файлы всё подряд, старые ошибки и ложные гипотезы начинают перебивать реальность.

Как работает механизм Dreaming:

— Запись в моменте: Во время работы агент не тратит ресурсы на глубокую аналитику — лишь фиксирует сырые наблюдения, а полный лог уходит в архив.
— Фоновая ревизия: В простое запускается асинхронный цикл. Система пересматривает до 100 прошлых логов и сверяет их с базой знаний.
— Сборка вики: Модель вычищает устаревшие «галлюцинации», удаляет дубли и пересобирает заметки в иерархическую вики-базу.
— Безопасный коммит: Новая память пишется в изолированное хранилище и заменяет рабочую базу только после проверки.

На тестах с корпусом в 350 000 файлов такие «сны» подняли точность ответов с 13% до 48%.
👍24🔥8❤2👎1😁1
Google продолжает радовать темпом релизов: компания выпустила Gemini 4 Neon — среднюю модель в линейке с контекстом 1 млн токенов и ставкой на агентов

Это уже четвертая модель четвертого поколения меньше чем за два месяца (после Argon, Carbon и Hydrogen). Neon заняла нишу между быстрой Hydrogen ($1.5/$7.5) и тяжелым флагманом Carbon ($4/$20 с 1 декабря). Главная цель релиза - глубокое рассуждение и длинные агентские сессии без переплаты за лишние токены.

Что внутри:

4 уровня глубины рассуждений: помимо стандартных low, medium и high добавили режим xhigh. В нем модель набирает 61 балл в Artificial Analysis Intelligence Index, обходя Claude Opus 5.5 (59) и GPT-6.2 Sol (57).

Упор на длинный контекст и код: единое окно на 1 048 576 токенов (до 1M на выход в фоновом режиме long decode). В тесте на работу с контекстом от 256K до 1M (GraphWalks) модель выбила 95.2% против 66.8% у Opus 5.5.

Экономика: $3 за 1 млн входных токенов ($0.15 за кэш) и $15 за выходные.
👍12🔥1🐳1💅1