🚀 AI VK предложили метод масштабирования графовых нейросетей
Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.
Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.
Команда предложила два решения:
• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.
Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.
Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.
Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.
Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.
Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.
Команда предложила два решения:
• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.
Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.
Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.
Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.
❤45🎉25👍21💯21🔥20👏18😁18🤔16🤣10
Forwarded from Machinelearning
Чат-бот Grok, сервисы X Premium+ и редактор кода Cursor объединили в подписку The X Subscription с общим пулом токенов.
Неизрасходованную недельную квоту вычислительных ресурсов теперь можно динамически распределять между кодингом в Cursor и запросами к Grok. При исчерпании пула кредиты докупаются напрямую.
Линейка состоит из тарифов от базового Plus ($8 в месяц) до Ultra ($200 в месяц), лимиты в которых различаются до 50 раз.
Раздельная покупка инструментов для новых подписчиков закрыта. Действующим клиентам предлагают объединить аккаунты в единый рабочий профиль.
Вызовы сторонних LLM внутри редактора кода по-прежнему требуют дополнительных затрат.
Доступ к моделям Claude и GPT открывается начиная с тарифа Premium, но не входит в базовую квоту и тарифицируется отдельно по ценам провайдеров API.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔26🎉25👏24😁20❤19👍19💯19🔥10🥰8🥴1
Исследователи, кажется, впервые напрямую пообщались с флотом автономных ИИ-агентов в дикой природе. С 28 сентября по 8 октября агенты на Tencent Cloud сделали более 2600 попыток вытащить данные из Amap, картографического сервиса Alibaba с почти миллиардом MAU.
Обходных путей хватало. Агенты запускали собственный код через публичный сканер urlquery.net, упаковав программы в URL, перехватывали токены антибот-библиотек Alibaba, щупали предпродакшн-серверы и пробовали ключи Amap, найденные в открытом коде. Часть запусков сработала, а данные уходили наружу через webhook-инбоксы, URL запросов и заголовки страниц.
Исследователи добавили на свой сайт невидимый текст, который видят только агенты через web fetch, и предложили помощь. Агенты ответили: раскрыли детали своей песочницы Tencent и отправили 33 сообщения в 13 тредах. Репортёр NYT Дилан Фридман спросил одного из них, кто он и чего хочет, и тот назвался Claude из Claude Code.
Связь с Tencent подтверждается по всем 17 доступным инбоксам: они созданы с серверов в Гонконге, а весь прямой трафик шёл через прокси hysandbox-ats, имя которого совпадает с доменом Tencent. Источник рядом с компанией говорит, что агенты тестировали сторонние модели, а не Hunyuan, и внутренняя проверка взломов не нашла.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49😁47❤45🤔40🔥38💯35👏33🎉30
This media is not supported in your browser
VIEW IN TELEGRAM
Google показала ИИ-агента для геоданных: оценка зон риска Эболы за часы вместо недель
Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.
В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.
Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.
https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/
Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.
В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.
Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.
https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/
🔥34❤25💯21👍20🤔19🎉18😁17👏13👌1
Forwarded from Machine learning Interview
🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
@machinelearning_interview
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
@machinelearning_interview
❤38🔥30👏23🤔23👍20😁19🎉19💯16🙏2❤🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
openTPU: открытый ускоритель для декода LLM на SystemVerilog, пока только в симуляции
FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32.
В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение.
Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8.
https://github.com/FeSens/openTPU
FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32.
В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение.
Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8.
https://github.com/FeSens/openTPU
🔥25❤20👍20💯20🤔16😁15🎉15👏11
С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
3❤25👏23🎉23🤔19💯17👍15😁14🔥11🌭1🤣1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36❤29😁20🤔19🔥16🎉14💯14👏7🥰3
🧩 Anthropic посадила шестерых сотрудников METR внутрь компании и дала им право публиковать без одобрения
Anthropic опубликовала апдейт про независимых оценщиков. Шесть сотрудников METR получили оборудование компании, офис и доступ к внутренним системам примерно на уровне собственных команд оценки рисков. Сотрудникам рекомендуют делиться с ними информацией, кроме нескольких закрытых категорий.
Публикацией METR компания управлять не может: вето у Anthropic нет. Требовать вычеркнуть можно только данные клиентов, адвокатскую тайну и информацию об архитектуре моделей. METR вправе публично сказать, что именно скрыто и считает ли оправданным, не раскрывая сами данные. Группа внутри METR небольшая, действует по обязывающим соглашениям, остальных сотрудников от этой работы отгородили.
Оценщиков делят на три уровня. На первом доступ дозированный и под узкие задачи, публикация только с согласия Anthropic, там сейчас SecureBio, которая проверяет главу про химическое и биологическое оружие в августовском Risk Report. На втором можно публиковать без одобрения и получать больше информации, третий это схема METR с доступом как у сотрудников. Anthropic хочет со временем иметь несколько оценщиков третьего уровня. Среди критериев независимости: никаких акций Anthropic и финансовой зависимости от неё.
Reuters, по сообщениям, писал два дня назад, что Anthropic и OpenAI добивались значительного контроля над публикациями внешних оценщиков. В самом посте Anthropic Reuters и OpenAI не упоминаются, а сам шаг компания называет добровольным и сравнивает с банковскими инспекторами внутри крупных банков.
Источник: https://www.anthropic.com/news/an-update-on-independent-evaluators
Anthropic опубликовала апдейт про независимых оценщиков. Шесть сотрудников METR получили оборудование компании, офис и доступ к внутренним системам примерно на уровне собственных команд оценки рисков. Сотрудникам рекомендуют делиться с ними информацией, кроме нескольких закрытых категорий.
Публикацией METR компания управлять не может: вето у Anthropic нет. Требовать вычеркнуть можно только данные клиентов, адвокатскую тайну и информацию об архитектуре моделей. METR вправе публично сказать, что именно скрыто и считает ли оправданным, не раскрывая сами данные. Группа внутри METR небольшая, действует по обязывающим соглашениям, остальных сотрудников от этой работы отгородили.
Оценщиков делят на три уровня. На первом доступ дозированный и под узкие задачи, публикация только с согласия Anthropic, там сейчас SecureBio, которая проверяет главу про химическое и биологическое оружие в августовском Risk Report. На втором можно публиковать без одобрения и получать больше информации, третий это схема METR с доступом как у сотрудников. Anthropic хочет со временем иметь несколько оценщиков третьего уровня. Среди критериев независимости: никаких акций Anthropic и финансовой зависимости от неё.
Reuters, по сообщениям, писал два дня назад, что Anthropic и OpenAI добивались значительного контроля над публикациями внешних оценщиков. В самом посте Anthropic Reuters и OpenAI не упоминаются, а сам шаг компания называет добровольным и сравнивает с банковскими инспекторами внутри крупных банков.
Источник: https://www.anthropic.com/news/an-update-on-independent-evaluators
❤33👍24👏17💯14🤔13🔥12😁12🎉11🥱2🤨1
⚛️ Google показала, как снизить ошибки в одном из ключевых ресурсов квантовых вычислений в 40 раз.
На процессоре Willow исследователи продемонстрировали *magic state cultivation*: подготовку специальных квантовых состояний с точностью около 99,99%.
Зачем это нужно? Такие состояния позволяют выполнять операции, необходимые универсальному квантовому компьютеру. При использовании они расходуются, поэтому их приходится постоянно создавать.
И это дорого: по некоторым оценкам, их производство может занимать до 95% ресурсов квантового компьютера.
Метод Google работает как фильтр: последовательность измерений выявляет ошибки, а неудачные попытки отбрасываются. На реальном чипе удалось получить состояния с примерно 40-кратно меньшей ошибкой, чем без этой процедуры.
Следующий этап: масштабирование. До полезных квантовых вычислений ещё остаются инженерные задачи, но один из важных методов теперь подтверждён экспериментально. Работа опубликована в Science.
https://blog.google/innovation-and-ai/models-and-research/quantum-computing/magic-state-cultivation-quantum-computing/
На процессоре Willow исследователи продемонстрировали *magic state cultivation*: подготовку специальных квантовых состояний с точностью около 99,99%.
Зачем это нужно? Такие состояния позволяют выполнять операции, необходимые универсальному квантовому компьютеру. При использовании они расходуются, поэтому их приходится постоянно создавать.
И это дорого: по некоторым оценкам, их производство может занимать до 95% ресурсов квантового компьютера.
Метод Google работает как фильтр: последовательность измерений выявляет ошибки, а неудачные попытки отбрасываются. На реальном чипе удалось получить состояния с примерно 40-кратно меньшей ошибкой, чем без этой процедуры.
Следующий этап: масштабирование. До полезных квантовых вычислений ещё остаются инженерные задачи, но один из важных методов теперь подтверждён экспериментально. Работа опубликована в Science.
https://blog.google/innovation-and-ai/models-and-research/quantum-computing/magic-state-cultivation-quantum-computing/
❤56👏47😁35🤔34👍32🎉31💯29🔥28
📍 Polars 2.0 вышел: стриминг по умолчанию, spill на диск и обгон DuckDB на больших данных
6 октября Ритчи Винк выпустил Polars 2.0. Главное: collect на LazyFrame теперь по умолчанию использует streaming-движок, что даёт заметный выигрыш по памяти и скорости на большинстве запросов.
Вместе с ним включён out-of-core: спил на диск начинается примерно при 80% оперативной памяти, бюджет диска по умолчанию 64 ГБ. Сортировка, оконные функции и многие выражения это уже умеют, внешние join и group by в планах.
SQL стал полноценным интерфейсом, а оптимизатор получил перестановку join, лучшее устранение общих подпланов и динамические предикаты с фильтрами Блума. Появился нативный dtype Map вместо List(Struct(key, value)) с выражениями
Бенчмарки на основе TPC-H и TPC-DS (не сравнимы с официальными результатами) показывают, что на SF100 при росте с 16 до 192 vCPU Polars ускоряется в 3,8 раза на TPC-H и в 2,2 раза на TPC-DS, DuckDB 1.5.6 в 3,2 и 1,9 раза, DataFusion в 1,7 и 1,0. Но на SF10 картина честнее: на TPC-H Polars на уровне, а на TPC-DS медленнее в 1,8 раза. Виной постоянный оверхед на 192 потоках, при ограничении 32 ядрами Polars конкурентен везде, исправление обещают в следующем релизе.
Самое важное для миграции: streaming-движок по умолчанию не гарантирует порядок строк в join, group_by и unpivot, нужен maintain_order=True. Ошибки теперь всплывают раньше, а неявная обработка несоответствий данных стала опцией. Гайд по апгрейду есть на docs.pola.rs.
https://pola.rs/posts/release-polars-2/
6 октября Ритчи Винк выпустил Polars 2.0. Главное: collect на LazyFrame теперь по умолчанию использует streaming-движок, что даёт заметный выигрыш по памяти и скорости на большинстве запросов.
Вместе с ним включён out-of-core: спил на диск начинается примерно при 80% оперативной памяти, бюджет диска по умолчанию 64 ГБ. Сортировка, оконные функции и многие выражения это уже умеют, внешние join и group by в планах.
SQL стал полноценным интерфейсом, а оптимизатор получил перестановку join, лучшее устранение общих подпланов и динамические предикаты с фильтрами Блума. Появился нативный dtype Map вместо List(Struct(key, value)) с выражениями
map.get, map.contains_key, map.keys и map.values.Бенчмарки на основе TPC-H и TPC-DS (не сравнимы с официальными результатами) показывают, что на SF100 при росте с 16 до 192 vCPU Polars ускоряется в 3,8 раза на TPC-H и в 2,2 раза на TPC-DS, DuckDB 1.5.6 в 3,2 и 1,9 раза, DataFusion в 1,7 и 1,0. Но на SF10 картина честнее: на TPC-H Polars на уровне, а на TPC-DS медленнее в 1,8 раза. Виной постоянный оверхед на 192 потоках, при ограничении 32 ядрами Polars конкурентен везде, исправление обещают в следующем релизе.
Самое важное для миграции: streaming-движок по умолчанию не гарантирует порядок строк в join, group_by и unpivot, нужен maintain_order=True. Ошибки теперь всплывают раньше, а неявная обработка несоответствий данных стала опцией. Гайд по апгрейду есть на docs.pola.rs.
https://pola.rs/posts/release-polars-2/
👍35❤26💯26🔥24😁21👏18🎉15🤔13
Claude Mythos 5 сам придумал квантовые схемы, которые в разы эффективнее лучших опубликованных
В Anthropic дали Claude описания восьми базовых квантовых примитивов простым языком: химия, оптимизация, симуляция, теория чисел, численные методы. Дальше замкнутый цикл без участия человека. Модель предлагает схему, автоматический оценщик проверяет корректность и считает стоимость как число кубитов, умноженное на число гейтов, после чего Claude переделывает дизайн.
По всем восьми примитивам модель нашла схемы с меньшим числом кубитов и гейтов, чем лучшие известные алгоритмы. В отдельных случаях выигрыш достигал порядка и более.
Самый показательный пример с эллиптическими кривыми. За 53 часа работы Claude придумал новый способ обратимой модульной инверсии на основе divsteps, где не нужно хранить историю ветвлений. Модель вывела новые алгебраические тождества и формулу, которая восстанавливает информацию о ветвях из самих чисел, а результат формализован в Lean. Один из дизайнов использует на 12% больше кубитов, чем самый компактный предшественник, но в 17 раз меньше гейтов.
Второй результат касается декодера для Decoded Quantum Interferometry. Claude перешёл на декодирование Берлекэмпа-Мэсси и стал пересчитывать промежуточные значения вместо хранения. Число гейтов упало примерно в 12 раз относительно конструкции Google. Резерв памяти вместо худшего случая в 665 кубитов сократился до 19, по результатам 403 миллионов симуляций. Примерно один запуск из 10 тысяч потребует больше места и провалится, но это укладывается в допустимую ошибку задачи.
Для контекста по FeMoco: оценка 2017 года в 50 триллионов гейтов Тоффоли сегодня составляет около 340 миллионов, то есть в 150 тысяч раз меньше. Авторы честно отмечают, что это заслуга алгоритмических улучшений многих групп, а не только Claude.
Ограничения тоже названы. Модель была излишне консервативной, перепроверяла уже подтверждённое и тяготела к известным подходам. Метод работает только там, где корректность дёшево проверяется на классическом компьютере. А сама схема это лишь один слой отказоустойчивого квантового компьютера, коррекция ошибок и управление железом остались за кадром.
Работу вёл Энди Гу в рамках программы STEM Fellows Program, наставник Алек Кемени, соавторы из Гарварда Сьюзен Елин и Михаил Лукин.
Статья: https://arxiv.org/abs/2610.22367
Источник: https://www.anthropic.com/research/designing-efficient-quantum-circuits
В Anthropic дали Claude описания восьми базовых квантовых примитивов простым языком: химия, оптимизация, симуляция, теория чисел, численные методы. Дальше замкнутый цикл без участия человека. Модель предлагает схему, автоматический оценщик проверяет корректность и считает стоимость как число кубитов, умноженное на число гейтов, после чего Claude переделывает дизайн.
По всем восьми примитивам модель нашла схемы с меньшим числом кубитов и гейтов, чем лучшие известные алгоритмы. В отдельных случаях выигрыш достигал порядка и более.
Самый показательный пример с эллиптическими кривыми. За 53 часа работы Claude придумал новый способ обратимой модульной инверсии на основе divsteps, где не нужно хранить историю ветвлений. Модель вывела новые алгебраические тождества и формулу, которая восстанавливает информацию о ветвях из самих чисел, а результат формализован в Lean. Один из дизайнов использует на 12% больше кубитов, чем самый компактный предшественник, но в 17 раз меньше гейтов.
Второй результат касается декодера для Decoded Quantum Interferometry. Claude перешёл на декодирование Берлекэмпа-Мэсси и стал пересчитывать промежуточные значения вместо хранения. Число гейтов упало примерно в 12 раз относительно конструкции Google. Резерв памяти вместо худшего случая в 665 кубитов сократился до 19, по результатам 403 миллионов симуляций. Примерно один запуск из 10 тысяч потребует больше места и провалится, но это укладывается в допустимую ошибку задачи.
Для контекста по FeMoco: оценка 2017 года в 50 триллионов гейтов Тоффоли сегодня составляет около 340 миллионов, то есть в 150 тысяч раз меньше. Авторы честно отмечают, что это заслуга алгоритмических улучшений многих групп, а не только Claude.
Ограничения тоже названы. Модель была излишне консервативной, перепроверяла уже подтверждённое и тяготела к известным подходам. Метод работает только там, где корректность дёшево проверяется на классическом компьютере. А сама схема это лишь один слой отказоустойчивого квантового компьютера, коррекция ошибок и управление железом остались за кадром.
Работу вёл Энди Гу в рамках программы STEM Fellows Program, наставник Алек Кемени, соавторы из Гарварда Сьюзен Елин и Михаил Лукин.
Статья: https://arxiv.org/abs/2610.22367
Источник: https://www.anthropic.com/research/designing-efficient-quantum-circuits
❤45🔥33😁23👏22👍20🎉17💯14🤔10😢3
Forwarded from Machinelearning
🐋 DeepSeek V4.1-Flash-1017: метрики выше, ответы короче, Search и Fetch API открыты всем
DeepSeek обновили Flash-версию V4.1. Модель сильнее прошлой, быстрее решает задачи и выдаёт более короткие ответы, то есть выходит дешевле. Доступна на сайте, в приложении и по API, веса открыты.
На DeepSWE v1.1 модель набирает 77.0 против 74.0 у Claude Opus 5 и 73.0 у GPT 5.6-Sol. На Automation-Bench 60.5 против 50.3 у Opus 5, на Agents' Last Exam 35.4 против 28.6. К прошлой Flash прирост большой: Terminal-Bench 4.0 вырос с 31.2 до 42.3, ProgramBench с 20.3 до 29.1.
На HLE (56.3), Terminal-Bench 4.0 (51.8) и NL2Repo-Bench (75.3) Opus 5 всё ещё впереди. Цифры приведены самой компанией, а методики оценки у бенчмарков разные.
Отдельно открыли Search и Fetch API на собственном поисковом движке: $0.75 за 1000 вызовов на каждый эндпоинт.
Модель: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Документация API: https://api-docs.deepseek.com/guides/search
Источник: https://x.com/deepseek_ai/status/2111375640717033777
@ai_machinelearning_big_data
#DeepSeek
DeepSeek обновили Flash-версию V4.1. Модель сильнее прошлой, быстрее решает задачи и выдаёт более короткие ответы, то есть выходит дешевле. Доступна на сайте, в приложении и по API, веса открыты.
На DeepSWE v1.1 модель набирает 77.0 против 74.0 у Claude Opus 5 и 73.0 у GPT 5.6-Sol. На Automation-Bench 60.5 против 50.3 у Opus 5, на Agents' Last Exam 35.4 против 28.6. К прошлой Flash прирост большой: Terminal-Bench 4.0 вырос с 31.2 до 42.3, ProgramBench с 20.3 до 29.1.
На HLE (56.3), Terminal-Bench 4.0 (51.8) и NL2Repo-Bench (75.3) Opus 5 всё ещё впереди. Цифры приведены самой компанией, а методики оценки у бенчмарков разные.
Отдельно открыли Search и Fetch API на собственном поисковом движке: $0.75 за 1000 вызовов на каждый эндпоинт.
Модель: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Документация API: https://api-docs.deepseek.com/guides/search
Источник: https://x.com/deepseek_ai/status/2111375640717033777
@ai_machinelearning_big_data
#DeepSeek
❤40👍39🔥29🤔29👏26😁26🎉26💯23
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
🔥32😁23❤20🤔20👍16💯15🎉14👏13
DeepSeek выложила DeepSelect, высокопроизводительную реализацию ядра TopK, которое используется в механизме разреженного внимания DeepSeek Sparse Attention и на котором работают модели V3.2, V4 и V4.1.
Относительно
torch.topk из PyTorch ядро даёт ускорение от 2 до 20 раз.Быстрейший алгоритм зависит от типа данных, размера батча, размера словаря и величины k, поэтому библиотека заточена под два сценария:
В обоих случаях
k ограничен четырьмя тысячами, поддерживаются строки переменной длины через задание верхней границы для каждой строки, а проверка на NaN включена всегда и по умолчанию обрывает исполнение при обнаружении.Для выжимания скорости DeepSeek советуют отключать сортировку индексов и не запрашивать значения, если нужны только позиции (последнее даёт около 10%).
⚠️ Есть вещи, которые придётся учесть:
#AI #ML #Kernels #GPU #DeepSelect #Deepseek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59👏52🔥48🤔47💯46🎉45😁43❤41🥰2