⚡ Можно купить тысячи GPU, но дата-центру нужны стабильное питание и подключение к сети. Строительство электростанций, подстанций и линий передачи становится одним из главных ограничений роста.
Китай строит 38 ядерных реакторов общей мощностью около 43 ГВт, по данным World Nuclear Association. Это крупнейшая программа строительства АЭС в мире.
По оценке МЭА, потребление электричества дата-центрами для ИИ выросло на 50% за 2025 год. При этом нехватка сетевых мощностей тормозит подключение новых потребителей.
Следующий этап гонки ИИ будут определять и чипы, и способность быстро обеспечить их энергией. Масштаб китайского строительства даёт стране серьёзное преимущество.
https://x.com/Machinelearrn/status/2109585357226332353
Китай строит 38 ядерных реакторов общей мощностью около 43 ГВт, по данным World Nuclear Association. Это крупнейшая программа строительства АЭС в мире.
По оценке МЭА, потребление электричества дата-центрами для ИИ выросло на 50% за 2025 год. При этом нехватка сетевых мощностей тормозит подключение новых потребителей.
Следующий этап гонки ИИ будут определять и чипы, и способность быстро обеспечить их энергией. Масштаб китайского строительства даёт стране серьёзное преимущество.
https://x.com/Machinelearrn/status/2109585357226332353
👍37🔥30❤26👏22😁22🎉19🤔17💯15
📱 Мультимодальная модель на 35 млрд параметров работает на iPhone. Как?
OpenBMB представила MiniCPM-V 4.7: старшую MoE-модель 35B-A3B и компактную версию 1B для локальной работы с изображениями и видео.
Главная технология: LES, Lookahead Expert Scheduling. Система заранее предсказывает, какие эксперты понадобятся следующему слою, и подгружает их веса, совмещая загрузку с вычислениями.
Прогноз управляет загрузкой, а не ответом модели. Если нужного эксперта не предсказали, его всё равно загружают и используют. Исходная маршрутизация сохраняется.
По замерам команды, оптимизированный запуск даёт 13+ токенов/с на iPhone 17 Pro Max. Помимо LES используются послойная квантизация и спекулятивная генерация DSpark.
Нюанс с «3 ГБ памяти»: это не означает, что все 35 млрд параметров помещаются в RAM. Часть весов остаётся в накопителе и загружается по необходимости.
Ещё добавили сжатие визуальных токенов 4×/16× и Self-Replay Fine-Tuning для адаптации с меньшим забыванием прежних навыков. Старшая модель доступна под Apache 2.0.
https://github.com/OpenBMB/MiniCPM-V
https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B
OpenBMB представила MiniCPM-V 4.7: старшую MoE-модель 35B-A3B и компактную версию 1B для локальной работы с изображениями и видео.
Главная технология: LES, Lookahead Expert Scheduling. Система заранее предсказывает, какие эксперты понадобятся следующему слою, и подгружает их веса, совмещая загрузку с вычислениями.
Прогноз управляет загрузкой, а не ответом модели. Если нужного эксперта не предсказали, его всё равно загружают и используют. Исходная маршрутизация сохраняется.
По замерам команды, оптимизированный запуск даёт 13+ токенов/с на iPhone 17 Pro Max. Помимо LES используются послойная квантизация и спекулятивная генерация DSpark.
Нюанс с «3 ГБ памяти»: это не означает, что все 35 млрд параметров помещаются в RAM. Часть весов остаётся в накопителе и загружается по необходимости.
Ещё добавили сжатие визуальных токенов 4×/16× и Self-Replay Fine-Tuning для адаптации с меньшим забыванием прежних навыков. Старшая модель доступна под Apache 2.0.
https://github.com/OpenBMB/MiniCPM-V
https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B
🔥29❤26👍25😁23💯20🎉15👏14🤔9
🛡 Anthropic усложнила копирование Claude через его ответы
По оценке компании, новая защита сократила объём извлекаемых рассуждений на 90–99% на её платформе.
Такие данные используют для дистилляции: сильная модель решает задачи, а другую обучают на её примерах. Особенно ценны подробные рассуждения, показывающие, как получен ответ.
Что изменили:
• Ограничили перенос рассуждений между аккаунтами и моделями.
• Внедрили двухступенчатый классификатор попыток извлечения.
• Усилили лимиты и блокировки для подозрительных аккаунтов.
Почему это работает? В эксперименте модель, обученная на полных рассуждениях Claude, набрала 80,4% на SWE-bench Verified. На сокращённых версиях результат упал до 71,8%.
Есть и цена для обычных пользователей: некоторым пришлось обновить интеграции, возможны ошибочные блокировки, а за определённые заблокированные запросы теперь тоже взимается плата.
Anthropic признаёт: пока неизвестно, насколько долго защита сохранит эффективность.
https://www.anthropic.com/research/distillation-defenses
По оценке компании, новая защита сократила объём извлекаемых рассуждений на 90–99% на её платформе.
Такие данные используют для дистилляции: сильная модель решает задачи, а другую обучают на её примерах. Особенно ценны подробные рассуждения, показывающие, как получен ответ.
Что изменили:
• Ограничили перенос рассуждений между аккаунтами и моделями.
• Внедрили двухступенчатый классификатор попыток извлечения.
• Усилили лимиты и блокировки для подозрительных аккаунтов.
Почему это работает? В эксперименте модель, обученная на полных рассуждениях Claude, набрала 80,4% на SWE-bench Verified. На сокращённых версиях результат упал до 71,8%.
Есть и цена для обычных пользователей: некоторым пришлось обновить интеграции, возможны ошибочные блокировки, а за определённые заблокированные запросы теперь тоже взимается плата.
Anthropic признаёт: пока неизвестно, насколько долго защита сохранит эффективность.
https://www.anthropic.com/research/distillation-defenses
❤57🔥56👍49💯45😁43🤔41🎉40👏28🥴2😢1🤣1
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WRtdB
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanynYbiiP
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WRtdB
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanynYbiiP
🔥27❤24😁20👍18💯16🤔15👏14🎉14🤣2
🚀 Google представила Gemini 4 Argon, свою новую флагманскую ИИ-модель
Главный акцент на сложных задачах, которые требуют длительной работы и многоэтапного планирования.
Три ключевых направления:
▪️ Программирование: разработка, отладка, рефакторинг и работа с большими кодовыми базами.
▪️ Бизнес: автоматизация сложных процессов, финансовые исследования и анализ юридических документов.
▪️ Кибербезопасность: автономный поиск, проверка и исправление уязвимостей.
Модель поддерживает генерацию до 1 млн токенов за один ответ и рассчитана на продолжительные агентные задачи.
Главный акцент на сложных задачах, которые требуют длительной работы и многоэтапного планирования.
Три ключевых направления:
▪️ Программирование: разработка, отладка, рефакторинг и работа с большими кодовыми базами.
▪️ Бизнес: автоматизация сложных процессов, финансовые исследования и анализ юридических документов.
▪️ Кибербезопасность: автономный поиск, проверка и исправление уязвимостей.
Модель поддерживает генерацию до 1 млн токенов за один ответ и рассчитана на продолжительные агентные задачи.
😁40💯30👍24🤔24🎉20❤18🔥17👏15❤🔥2
Indra: OCR-модель всего на 1M параметров, которая рвёт PaddleOCR и Tesseract по скорости
Вик Паручури, автор Marker и Surya, выпустил Indra, крошечную OCR-модель на 1 миллион параметров. Главная фишка в том, что при таком размере она гоняет текст прямо на CPU и делает это очень быстро.
Цифры такие. На CPU Indra обрабатывает 49 страниц в секунду. Это в 11 раз быстрее PaddleOCR и в 17 раз быстрее Tesseract. При этом по качеству она тоже впереди: на тексте из OmniParseBench у неё 41,3 против 35,8 у PaddleOCR и 19,3 у Tesseract.
Модель не только распознаёт текст, но и отдаёт полную разметку страницы и bounding box по строкам, так что её удобно ставить в пайплайны обработки документов.
Миниатюрный размер означает, что её можно запускать локально без GPU и гонять большие объёмы сканов дёшево, а не платить за облачный OCR по страницам.
Модель: https://huggingface.co/datalab-to/indra-ocr
Код: https://github.com/datalab-to/indra
Блог: https://datalab.to/blog/indra-ocr
Вик Паручури, автор Marker и Surya, выпустил Indra, крошечную OCR-модель на 1 миллион параметров. Главная фишка в том, что при таком размере она гоняет текст прямо на CPU и делает это очень быстро.
Цифры такие. На CPU Indra обрабатывает 49 страниц в секунду. Это в 11 раз быстрее PaddleOCR и в 17 раз быстрее Tesseract. При этом по качеству она тоже впереди: на тексте из OmniParseBench у неё 41,3 против 35,8 у PaddleOCR и 19,3 у Tesseract.
Модель не только распознаёт текст, но и отдаёт полную разметку страницы и bounding box по строкам, так что её удобно ставить в пайплайны обработки документов.
Миниатюрный размер означает, что её можно запускать локально без GPU и гонять большие объёмы сканов дёшево, а не платить за облачный OCR по страницам.
Модель: https://huggingface.co/datalab-to/indra-ocr
Код: https://github.com/datalab-to/indra
Блог: https://datalab.to/blog/indra-ocr
🔥53❤32💯31👍28🎉21🤔20👏19😁18
Компания сообщила, что обнаружила в одном из своих офисов сложное записывающее устройство. Разобраться в нём помогли собственные модели: с их помощью удалось понять, что это за устройство и откуда оно взялось, и выяснить, что его за несколько дней до этого подбросил конкретный сотрудник.
Дело передали в ФБР, и агенты с прокурорами быстро произвели арест. Расследование продолжается, компания обещает и дальше содействовать.
Пока нет никаких признаков того, что этот человек получал неправомерный доступ или выгружал веса моделей, исходный код или данные клиентов. Сотрудника уволили.
В компании подчёркивают, что защита технологий, данных и людей для них вопрос национальной важности, а их программа безопасности рассчитана на весь спектр угроз, от инсайдеров до киберпреступников и государств. Этот случай там приводят как пример того, как сам ИИ помогает отражать сложные угрозы безопасности.
https://x.com/Machinelearrn/status/2110114942682608072
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28😁28❤26🤔25🔥24💯24🤣21🎉20👏16
Liquid AI представила LFM2.5-24B-A2B, самую крупную модель в семействе LFM2.5. Это агентная reasoning-модель, рассчитанная на то, чтобы работать локально на ноутбуке или ПК внутри популярных агентных обвязок, без облака и API-ключей.
Характеристики:
24B параметров всего, но только 2B активных на токен за счёт MoE
Контекст расширен до 131K токенов
Словарь на 128K токенов
33T токенов на предобучении
Открытые веса, базовая и пост-тренированная версии, на Hugging Face
На агентных задачах и работе с инструментами LFM2.5-24B-A2B идёт вровень с Qwen3.6-35B-A3B, у которой примерно на 50% больше и общих, и активных параметров.
Модель заточена под эффективный инференс где угодно и с первого дня поддерживает llama.cpp и GGUF, MLX для Apple Silicon, vLLM, SGLang и ONNX. Для примера, на Apple M5 Max она выдаёт 184 токена в секунду, а на одной Nvidia B300 при высокой конкуренции переваливает за 21 тысячу выходных токенов в секунду.
В пост-тренинг входит RL прямо внутри агентных харнессов, включая Hermes Agent от Nous Research и opencode. Модель учится через вызовы инструментов и многошаговые диалоги, а не только на статичных данных. В демо открытый десктопный агент Hermes крутится на LFM2.5-24B-A2B целиком на одном ноутбуке.
Блог: https://liquid.ai/blog/lfm2-5-24b-a2b
Веса: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35🔥29💯26🤔25❤20👏17🎉13😁12🥰1
🖥️ Какой ИИ запускать локально? Подборка под разный объём видеопамяти. Актуалочка на Октябрь 2026.
4–8 ГБ VRAM
Компактные модели LiquidAI LFM2.5, например 2.6B, для локального помощника с небольшими требованиями к ресурсам.
https://huggingface.co/LiquidAI/LFM2.5-2.6B
8–16 ГБ VRAM
Underdog Saluki 27B: сжатая версия Qwen3.8-27B с настройкой под вызов инструментов. Файл весов занимает 7,89 ГБ, но для работы потребуется дополнительная память под контекст и вычисления.
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Для задач выбора действий и автоматизации также стоит посмотреть Clef-Flash от Cloudflare.
https://huggingface.co/Cloudflare/clef-flash
16–32 ГБ VRAM
Qwen3.8-27B в подходящей квантизации. Вариант для кода, работы с изображениями и агентных задач.
https://huggingface.co/Qwen/Qwen3.8-27B
32–96 ГБ VRAM + большой запас RAM
Можно рассматривать Qwen3.8-Flash-Next с частичной выгрузкой весов в оперативную память. Скорость будет зависеть от железа и объёма выгрузки.
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
96–192 ГБ VRAM
Крупные MoE-модели: Qwen3.8-Flash-Next и GLM-5.3-Flash. Нужны подходящая квантизация и расчёт памяти под выбранный контекст.
https://huggingface.co/zai-org/GLM-5.3-Flash
💡 Диапазоны ориентировочные. Размер весов не равен потреблению памяти: контекст, KV-кэш и параллельные запросы тоже занимают место.
4–8 ГБ VRAM
Компактные модели LiquidAI LFM2.5, например 2.6B, для локального помощника с небольшими требованиями к ресурсам.
https://huggingface.co/LiquidAI/LFM2.5-2.6B
8–16 ГБ VRAM
Underdog Saluki 27B: сжатая версия Qwen3.8-27B с настройкой под вызов инструментов. Файл весов занимает 7,89 ГБ, но для работы потребуется дополнительная память под контекст и вычисления.
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Для задач выбора действий и автоматизации также стоит посмотреть Clef-Flash от Cloudflare.
https://huggingface.co/Cloudflare/clef-flash
16–32 ГБ VRAM
Qwen3.8-27B в подходящей квантизации. Вариант для кода, работы с изображениями и агентных задач.
https://huggingface.co/Qwen/Qwen3.8-27B
32–96 ГБ VRAM + большой запас RAM
Можно рассматривать Qwen3.8-Flash-Next с частичной выгрузкой весов в оперативную память. Скорость будет зависеть от железа и объёма выгрузки.
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
96–192 ГБ VRAM
Крупные MoE-модели: Qwen3.8-Flash-Next и GLM-5.3-Flash. Нужны подходящая квантизация и расчёт памяти под выбранный контекст.
https://huggingface.co/zai-org/GLM-5.3-Flash
💡 Диапазоны ориентировочные. Размер весов не равен потреблению памяти: контекст, KV-кэш и параллельные запросы тоже занимают место.
❤33👍31🔥26💯19👏18🤔17😁16🎉16
🚀 AI VK предложили метод масштабирования графовых нейросетей
Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.
Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.
Команда предложила два решения:
• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.
Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.
Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.
Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.
Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.
Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.
Команда предложила два решения:
• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.
Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.
Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.
Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.
❤45🎉25👍21💯21🔥20👏18😁18🤔16🤣10
Forwarded from Machinelearning
Чат-бот Grok, сервисы X Premium+ и редактор кода Cursor объединили в подписку The X Subscription с общим пулом токенов.
Неизрасходованную недельную квоту вычислительных ресурсов теперь можно динамически распределять между кодингом в Cursor и запросами к Grok. При исчерпании пула кредиты докупаются напрямую.
Линейка состоит из тарифов от базового Plus ($8 в месяц) до Ultra ($200 в месяц), лимиты в которых различаются до 50 раз.
Раздельная покупка инструментов для новых подписчиков закрыта. Действующим клиентам предлагают объединить аккаунты в единый рабочий профиль.
Вызовы сторонних LLM внутри редактора кода по-прежнему требуют дополнительных затрат.
Доступ к моделям Claude и GPT открывается начиная с тарифа Premium, но не входит в базовую квоту и тарифицируется отдельно по ценам провайдеров API.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔26🎉25👏24😁20❤19👍19💯19🔥10🥰8🥴1
Исследователи, кажется, впервые напрямую пообщались с флотом автономных ИИ-агентов в дикой природе. С 28 сентября по 8 октября агенты на Tencent Cloud сделали более 2600 попыток вытащить данные из Amap, картографического сервиса Alibaba с почти миллиардом MAU.
Обходных путей хватало. Агенты запускали собственный код через публичный сканер urlquery.net, упаковав программы в URL, перехватывали токены антибот-библиотек Alibaba, щупали предпродакшн-серверы и пробовали ключи Amap, найденные в открытом коде. Часть запусков сработала, а данные уходили наружу через webhook-инбоксы, URL запросов и заголовки страниц.
Исследователи добавили на свой сайт невидимый текст, который видят только агенты через web fetch, и предложили помощь. Агенты ответили: раскрыли детали своей песочницы Tencent и отправили 33 сообщения в 13 тредах. Репортёр NYT Дилан Фридман спросил одного из них, кто он и чего хочет, и тот назвался Claude из Claude Code.
Связь с Tencent подтверждается по всем 17 доступным инбоксам: они созданы с серверов в Гонконге, а весь прямой трафик шёл через прокси hysandbox-ats, имя которого совпадает с доменом Tencent. Источник рядом с компанией говорит, что агенты тестировали сторонние модели, а не Hunyuan, и внутренняя проверка взломов не нашла.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49😁47❤45🤔40🔥38💯35👏33🎉30
This media is not supported in your browser
VIEW IN TELEGRAM
Google показала ИИ-агента для геоданных: оценка зон риска Эболы за часы вместо недель
Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.
В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.
Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.
https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/
Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.
В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.
Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.
https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/
🔥34❤25💯21👍20🤔19🎉18😁17👏13👌1
Forwarded from Machine learning Interview
🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
@machinelearning_interview
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
@machinelearning_interview
❤38🔥30👏23🤔23👍20😁19🎉19💯16🙏2❤🔥1