UnMaskFork: несколько диффузионных моделей вместе решают одну задачу
Статья от Sakana UnMaskFork, принятая на ICML 2026, предлагает новый способ масштабирования вычислений во время вывода для маскированных диффузионных языковых моделей.
Обычные LLM генерируют текст последовательно - токен за токеном. Маскированные диффузионные модели начинают с полностью скрытого текста и постепенно восстанавливают его части, причём могут заполнять несколько фрагментов параллельно.
Но привычный подход к test-time scaling - повысить температуру и сгенерировать много разных ответов, для таких моделей работает не слишком эффективно.
UnMaskFork решает проблему иначе:
- несколько диффузионных моделей работают над одним ответом;
- каждая по очереди раскрывает те участки, в которых наиболее уверена;
- промежуточный результат передаётся следующей модели;
- поиск по дереву Монте-Карло выбирает наиболее перспективную последовательность действий.
Разнообразие создаётся не случайностью, а переключением между моделями с разными сильными сторонами.
В экспериментах подход улучшил результаты Dream-Coder на задачах по программированию и показал стабильный рост качества на математических бенчмарках при увеличении вычислений во время вывода.
При этом UnMaskFork:
- не требует дополнительного обучения;
- не меняет внутреннюю архитектуру моделей;
- работает как отдельный алгоритм координации;
- позволяет комбинировать модели, обученные на разных данных и разными методами.
Работа продолжает исследования Sakana AI в области «коллективного разума» моделей - систем, где результат достигается не одной большой LLM, а координацией нескольких разных моделей.
Блог: https://pub.sakana.ai/umf
Статья: https://arxiv.org/abs/2602.04344
#AI #LLM #DiffusionModels #ICML2026 #MachineLearning #SakanaAI
Статья от Sakana UnMaskFork, принятая на ICML 2026, предлагает новый способ масштабирования вычислений во время вывода для маскированных диффузионных языковых моделей.
Обычные LLM генерируют текст последовательно - токен за токеном. Маскированные диффузионные модели начинают с полностью скрытого текста и постепенно восстанавливают его части, причём могут заполнять несколько фрагментов параллельно.
Но привычный подход к test-time scaling - повысить температуру и сгенерировать много разных ответов, для таких моделей работает не слишком эффективно.
UnMaskFork решает проблему иначе:
- несколько диффузионных моделей работают над одним ответом;
- каждая по очереди раскрывает те участки, в которых наиболее уверена;
- промежуточный результат передаётся следующей модели;
- поиск по дереву Монте-Карло выбирает наиболее перспективную последовательность действий.
Разнообразие создаётся не случайностью, а переключением между моделями с разными сильными сторонами.
В экспериментах подход улучшил результаты Dream-Coder на задачах по программированию и показал стабильный рост качества на математических бенчмарках при увеличении вычислений во время вывода.
При этом UnMaskFork:
- не требует дополнительного обучения;
- не меняет внутреннюю архитектуру моделей;
- работает как отдельный алгоритм координации;
- позволяет комбинировать модели, обученные на разных данных и разными методами.
Работа продолжает исследования Sakana AI в области «коллективного разума» моделей - систем, где результат достигается не одной большой LLM, а координацией нескольких разных моделей.
Блог: https://pub.sakana.ai/umf
Статья: https://arxiv.org/abs/2602.04344
#AI #LLM #DiffusionModels #ICML2026 #MachineLearning #SakanaAI
❤8🔥5👍4
SpaceXAI строит ещё один гигантский дата-центр
По данным The Information, компания рассматривает несколько площадок в Техасе. Мощность нового комплекса может составить не менее 1 ГВт, то есть быть сопоставимой или даже превосходить инфраструктуру SpaceXAI в Мемфисе. Среди вариантов: строительство с нуля или переоборудование существующего склада. Компания уже нанимает специалистов по дата-центрам в Остине, Бастропе и Конро.
CEO Supermicro Чарльз Лян также заявил, что компания поможет SpaceXAI запустить «ещё один гигаваттный AI-дата-центр» менее чем за год. Место он не раскрыл.
SpaceXAI ускоренно превращается в полноценного AI-гиперскейлера: собственные модели, вычислительные кластеры, энергетическая инфраструктура, спутниковая связь и в перспективе орбитальные дата-центры. Новый проект в Техасе станет ещё одной заявкой на лидерство в гонке вычислительных мощностей.
http://theinformation.com/articles/spacexai-explores-major-data-center-expansion-texas
По данным The Information, компания рассматривает несколько площадок в Техасе. Мощность нового комплекса может составить не менее 1 ГВт, то есть быть сопоставимой или даже превосходить инфраструктуру SpaceXAI в Мемфисе. Среди вариантов: строительство с нуля или переоборудование существующего склада. Компания уже нанимает специалистов по дата-центрам в Остине, Бастропе и Конро.
CEO Supermicro Чарльз Лян также заявил, что компания поможет SpaceXAI запустить «ещё один гигаваттный AI-дата-центр» менее чем за год. Место он не раскрыл.
SpaceXAI ускоренно превращается в полноценного AI-гиперскейлера: собственные модели, вычислительные кластеры, энергетическая инфраструктура, спутниковая связь и в перспективе орбитальные дата-центры. Новый проект в Техасе станет ещё одной заявкой на лидерство в гонке вычислительных мощностей.
http://theinformation.com/articles/spacexai-explores-major-data-center-expansion-texas
🔥7❤6👍4🤣1
Google Cloud вырос на 82% за год
Выручка облачного подразделения Alphabet достигла $24,8 млрд за квартал. В пересчёте на год это почти $100 млрд. Контрактные обязательства Google Cloud выросли до $514 млрд, превысив прогноз аналитиков в $488 млрд.
Рост всё сильнее связан с ИИ-инфраструктурой: облачными GPU, собственными TPU и доступом к моделям через Vertex AI. Результаты Alphabet стали первой серьёзной проверкой того, окупается ли гонка капитальных затрат на дата-центры. Только в 2026 году крупнейшие технологические компании собираются потратить на инфраструктуру более $700 млрд.
Одним из драйверов Google Cloud, вероятно, стала Anthropic. Компания заказала до миллиона TPU стоимостью в десятки миллиардов долларов, которые должны добавить более 1 ГВт мощности в течение 2026 года. С 2027 года партнёрство с Google и Broadcom расширится ещё на несколько гигаватт вычислений.
Google уже показывает, что огромные расходы на ИИ способны превращаться в реальную облачную выручку. Теперь главный вопрос: хватит ли темпов роста, чтобы оправдать сотни миллиардов новых инвестиций.
Выручка облачного подразделения Alphabet достигла $24,8 млрд за квартал. В пересчёте на год это почти $100 млрд. Контрактные обязательства Google Cloud выросли до $514 млрд, превысив прогноз аналитиков в $488 млрд.
Рост всё сильнее связан с ИИ-инфраструктурой: облачными GPU, собственными TPU и доступом к моделям через Vertex AI. Результаты Alphabet стали первой серьёзной проверкой того, окупается ли гонка капитальных затрат на дата-центры. Только в 2026 году крупнейшие технологические компании собираются потратить на инфраструктуру более $700 млрд.
Одним из драйверов Google Cloud, вероятно, стала Anthropic. Компания заказала до миллиона TPU стоимостью в десятки миллиардов долларов, которые должны добавить более 1 ГВт мощности в течение 2026 года. С 2027 года партнёрство с Google и Broadcom расширится ещё на несколько гигаватт вычислений.
Google уже показывает, что огромные расходы на ИИ способны превращаться в реальную облачную выручку. Теперь главный вопрос: хватит ли темпов роста, чтобы оправдать сотни миллиардов новых инвестиций.
👍9❤6🔥3🤣2
10 GitHub-репозиториев, которые слишком хороши для бесплатных
1. OmniRoute
Единый OpenAI-совместимый эндпоинт для сотен моделей и провайдеров. Поддерживает Claude Code, Codex, Cursor и Cline, автоматическое переключение между бэкендами и сжатие контекста.
https://github.com/diegosouzapw/OmniRoute
2. OfficeCLI
CLI для создания и редактирования файлов Word, Excel и PowerPoint с помощью ИИ-агентов. Microsoft Office устанавливать не нужно.
https://github.com/iOfficeAI/OfficeCLI
3. System Prompts Leaks
Коллекция системных промптов Claude, ChatGPT, Gemini, Grok, Cursor, Copilot и других продуктов.
https://github.com/asgeirtj/system_prompts_leaks
4. OpenCut
Open-source видеоредактор в браузере, который развивается как альтернатива CapCut.
https://github.com/OpenCut-app/OpenCut
5. AI Job Search
Агент на базе Claude Code, который анализирует вакансии, адаптирует резюме, пишет сопроводительные письма и готовит вопросы для интервью.
https://github.com/MadsLorentzen/ai-job-search
6. Meetily
Локальная расшифровка и суммаризация встреч с Whisper, Parakeet и Ollama. Бэкенд написан на Rust.
https://github.com/Zackriya-Solutions/meetily
7. Vibe-Trading
Платформа для исследования рынков и создания торговых стратегий с помощью естественного языка и ИИ-агентов.
https://github.com/HKUDS/Vibe-Trading
8. Strix
Open-source сканер безопасности, который использует ИИ-агентов для поиска и проверки уязвимостей.
https://github.com/usestrix/strix
9. Superpowers
Набор навыков и рабочих процессов для ИИ-кодеров: планирование, TDD, выполнение задач и проверка результата.
https://github.com/obra/superpowers
10. Firecrawl
Превращает сайты в чистые данные для LLM, RAG и агентных пайплайнов.
https://github.com/firecrawl/firecrawl
Все проекты имеют открытый исходный код и точно заслуживают места в закладках.
1. OmniRoute
Единый OpenAI-совместимый эндпоинт для сотен моделей и провайдеров. Поддерживает Claude Code, Codex, Cursor и Cline, автоматическое переключение между бэкендами и сжатие контекста.
https://github.com/diegosouzapw/OmniRoute
2. OfficeCLI
CLI для создания и редактирования файлов Word, Excel и PowerPoint с помощью ИИ-агентов. Microsoft Office устанавливать не нужно.
https://github.com/iOfficeAI/OfficeCLI
3. System Prompts Leaks
Коллекция системных промптов Claude, ChatGPT, Gemini, Grok, Cursor, Copilot и других продуктов.
https://github.com/asgeirtj/system_prompts_leaks
4. OpenCut
Open-source видеоредактор в браузере, который развивается как альтернатива CapCut.
https://github.com/OpenCut-app/OpenCut
5. AI Job Search
Агент на базе Claude Code, который анализирует вакансии, адаптирует резюме, пишет сопроводительные письма и готовит вопросы для интервью.
https://github.com/MadsLorentzen/ai-job-search
6. Meetily
Локальная расшифровка и суммаризация встреч с Whisper, Parakeet и Ollama. Бэкенд написан на Rust.
https://github.com/Zackriya-Solutions/meetily
7. Vibe-Trading
Платформа для исследования рынков и создания торговых стратегий с помощью естественного языка и ИИ-агентов.
https://github.com/HKUDS/Vibe-Trading
8. Strix
Open-source сканер безопасности, который использует ИИ-агентов для поиска и проверки уязвимостей.
https://github.com/usestrix/strix
9. Superpowers
Набор навыков и рабочих процессов для ИИ-кодеров: планирование, TDD, выполнение задач и проверка результата.
https://github.com/obra/superpowers
10. Firecrawl
Превращает сайты в чистые данные для LLM, RAG и агентных пайплайнов.
https://github.com/firecrawl/firecrawl
Все проекты имеют открытый исходный код и точно заслуживают места в закладках.
❤19👍6🔥6
Kimi K3 за 27 минут нашла RCE в Redis и собрала рабочий эксплойт 😨
Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.
Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.
Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.
github.com/berabuddies/redis-poc
@data_analysis_ml
Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.
Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.
Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.
github.com/berabuddies/redis-poc
@data_analysis_ml
🔥30❤8👍7🐳3
NVIDIA показала Ising Decoder ColorCode 1 Fast для квантовой коррекции ошибок. В тесте с color codes он дал до 347,7× меньший Logical Error Rate и одновременно работал в 7,3× быстрее Chromobius при distance=31 и физической ошибке 0,3%.
В основе подхода небольшая 3D CNN, которая предварительно обрабатывает синдромы ошибок и убирает большую часть локальных ошибок до запуска основного декодера. Это снижает задержку и делает color codes практичнее для коррекции ошибок в реальном времени.
Модель компактная: около 2,9 млн параметров и 17 слоёв. Её можно адаптировать под конкретный QPU, профиль шума и требуемый баланс между скоростью и точностью.
NVIDIA открыла веса, тренировочные рецепты и пайплайн генерации синтетических данных на базе cuQuantum и cuStabilizer. Код обучения опубликован под Apache 2.0.
https://developer.nvidia.com/blog/nvidia-ising-decoding-cuts-color-code-logical-error-rates-by-over-300x/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤6👍3⚡2
Первый пост Дженсена Хуанга в X - и сразу про открытый ИИ
Дженсен Хуанг наконец завёл X, и свой первый пост посвятил открытым моделям. NVIDIA вместе с Meta, Microsoft, Mistral, Hugging Face, IBM, Mozilla, Palantir и другими компаниями подписала письмо в их поддержку.
Открытые модели позволяют компаниям и государствам скачивать, изучать, изменять и запускать ИИ на собственной инфраструктуре.
Это даёт:
- меньше зависимости от нескольких крупных AI-провайдеров;
- больше контроля над данными и моделями;
- возможность создавать дешёвые специализированные системы;
- больше возможностей для исследователей безопасности;
- технологический суверенитет.
При этом позиция NVIDIA не сводится к войне open source против закрытых моделей. Сам Хуанг ранее говорил, что экосистеме нужны и открытые, и проприетарные frontier-модели.
Хороший первый пост. Особенно на фоне разговоров об ограничениях открытых моделей: один из самых влиятельных людей в AI-индустрии публично встал на их сторону.
https://x.com/Machinelearrn/status/2080653700205318331
Дженсен Хуанг наконец завёл X, и свой первый пост посвятил открытым моделям. NVIDIA вместе с Meta, Microsoft, Mistral, Hugging Face, IBM, Mozilla, Palantir и другими компаниями подписала письмо в их поддержку.
Открытые модели позволяют компаниям и государствам скачивать, изучать, изменять и запускать ИИ на собственной инфраструктуре.
Это даёт:
- меньше зависимости от нескольких крупных AI-провайдеров;
- больше контроля над данными и моделями;
- возможность создавать дешёвые специализированные системы;
- больше возможностей для исследователей безопасности;
- технологический суверенитет.
При этом позиция NVIDIA не сводится к войне open source против закрытых моделей. Сам Хуанг ранее говорил, что экосистеме нужны и открытые, и проприетарные frontier-модели.
Хороший первый пост. Особенно на фоне разговоров об ограничениях открытых моделей: один из самых влиятельных людей в AI-индустрии публично встал на их сторону.
https://x.com/Machinelearrn/status/2080653700205318331
❤27👍11🔥5⚡2
Forwarded from Machinelearning
Anthropic выпустила Claude Opus 5
Новая флагманская модель компании уже доступна.
Anthropic позиционирует Opus 5 как модель для сложного кодинга, агентных задач, анализа и длинных рабочих сценариев.
Что заявляют:
• SOTA на Frontier-Bench v0.1 для software engineering
• примерно в 3 раза выше результат на ARC-AGI 3 относительно ближайшего конкурента
• сильные результаты на OSWorld 2.0
• лучше Opus 4.8 в отладке, research и длинных агентных задачах
• модель чаще сама проверяет результат и исправляет ошибки перед финальным ответом
Цена:
$5 / 1M input tokens
$25 / 1M output tokens
Также есть Fast Mode примерно с 2.5× скоростью, но по более высокой цене.
В API модель называется:
claude-opus-5
https://www.anthropic.com/news/claude-opus-5
Новая флагманская модель компании уже доступна.
Anthropic позиционирует Opus 5 как модель для сложного кодинга, агентных задач, анализа и длинных рабочих сценариев.
Что заявляют:
• SOTA на Frontier-Bench v0.1 для software engineering
• примерно в 3 раза выше результат на ARC-AGI 3 относительно ближайшего конкурента
• сильные результаты на OSWorld 2.0
• лучше Opus 4.8 в отладке, research и длинных агентных задачах
• модель чаще сама проверяет результат и исправляет ошибки перед финальным ответом
Цена:
$5 / 1M input tokens
$25 / 1M output tokens
Также есть Fast Mode примерно с 2.5× скоростью, но по более высокой цене.
В API модель называется:
claude-opus-5
https://www.anthropic.com/news/claude-opus-5
👍17❤13🥰5
Machinelearning
Anthropic выпустила Claude Opus 5 Новая флагманская модель компании уже доступна. Anthropic позиционирует Opus 5 как модель для сложного кодинга, агентных задач, анализа и длинных рабочих сценариев. Что заявляют: • SOTA на Frontier-Bench v0.1 для software…
Anthropic пишет, что Opus 5 автоматически переключается на Opus 4.8 для части запросов по offensive cybersecurity, потому что Opus 5 стал заметно сильнее в кибербезопасности и компания усилила ограничения.😂
Например, fallback может сработать на запросах про:
• генерацию эксплойтов;
• некоторые виды поиска уязвимостей;
• offensive pentesting.
То есть ты выбираешь Opus 5 → система считает запрос рискованным → тот же запрос отправляется Opus 4.8 → ответ уже генерирует 4.8. После этого чат даже остаётся на 4.8, пока вручную не переключишь обратно.
При этом обычный defensive security, анализ исходников на уязвимости и secure coding остаются доступны в Opus 5. Anthropic отдельно говорит, что большинство cyber-запросов fallback не вызывают.
https://support.claude.com/en/articles/16049681-why-claude-switched-models-in-your-conversation-with-opus-5
Например, fallback может сработать на запросах про:
• генерацию эксплойтов;
• некоторые виды поиска уязвимостей;
• offensive pentesting.
То есть ты выбираешь Opus 5 → система считает запрос рискованным → тот же запрос отправляется Opus 4.8 → ответ уже генерирует 4.8. После этого чат даже остаётся на 4.8, пока вручную не переключишь обратно.
При этом обычный defensive security, анализ исходников на уязвимости и secure coding остаются доступны в Opus 5. Anthropic отдельно говорит, что большинство cyber-запросов fallback не вызывают.
https://support.claude.com/en/articles/16049681-why-claude-switched-models-in-your-conversation-with-opus-5
🤣39❤5👍5💔3👏2😁2
🐋 Глава DeepSeek: Nvidia «роет себе могилу» в Китае
Лян Вэньфэн довольно жёстко прошёлся по Nvidia. По его оценке, Huawei 950 SuperNode уже способен заменить GB200/GB300 по рабочим задачам, даже если решение Huawei окажется в 2–3 раза дороже.
Но разрыв в железе остаётся: Лян оценивает соотношение примерно как 4 Huawei 950 = 1 Nvidia GB300, плюс около двух лет технологического отставания.
DeepSeek получила от Huawei около 16 000 карт, то есть примерно 4 000 GB300-эквивалентов по этой оценке. А для обучения модели масштаба крупнейших современных систем, по словам Ляна, потребовалось бы около 50 000 GB300 или 200 000 Huawei 950.
Получается, проблема Китая сейчас уже не только в CUDA и софте. Главный дефицит - физический объём доступных ускорителей.
А Nvidia тем временем получает в Китае конкурента, которого экспортные ограничения только заставляют развиваться быстрее.
Лян Вэньфэн довольно жёстко прошёлся по Nvidia. По его оценке, Huawei 950 SuperNode уже способен заменить GB200/GB300 по рабочим задачам, даже если решение Huawei окажется в 2–3 раза дороже.
Но разрыв в железе остаётся: Лян оценивает соотношение примерно как 4 Huawei 950 = 1 Nvidia GB300, плюс около двух лет технологического отставания.
DeepSeek получила от Huawei около 16 000 карт, то есть примерно 4 000 GB300-эквивалентов по этой оценке. А для обучения модели масштаба крупнейших современных систем, по словам Ляна, потребовалось бы около 50 000 GB300 или 200 000 Huawei 950.
Получается, проблема Китая сейчас уже не только в CUDA и софте. Главный дефицит - физический объём доступных ускорителей.
А Nvidia тем временем получает в Китае конкурента, которого экспортные ограничения только заставляют развиваться быстрее.
👍40🔥11❤7😁3🤔1
Китайский гигант запустил инициативу STEM Scientist в рамках проекта Seed. Компания отберет 100 ученых и аспирантов для полугодовой работы над применением машинного обучения в фундаментальной науке.
Программа предполагает 2 формата: позиции научных консультантов для отраслевых экспертов и стажировки для PhD-студентов STEM-направлений.
Базовое требование - опыт использования ИИ в исследованиях. Навыки программирования станут плюсом.
Со своей стороны ByteDance предоставляет зарплату, доступ к вычислительным ресурсам и работу с собственной ИИ-командой.
Участие требует очного присутствия в пекинском офисе компании. Заявки принимаются до 30 сентября 2026 года.
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥4❤3