🤝 Baseten стал Inference Provider на Hugging Face Hub

Платформа ИИ-инфраструктуры Baseten теперь доступна как Inference Provider прямо на страницах моделей Hugging Face. Разработчики могут запускать serverless-инференс популярных открытых LLM без отдельной настройки окружения — через UI Hub, Python SDK или JS SDK.

Baseten подключается к задачам conversational и text-generation. На старте доступны модели Kimi K3, DeepSeek V4 Flash и GLM-5.2; поддержка других задач появится позже. Работать можно в двух режимах: со своим API-ключом (запросы идут напрямую в Baseten) или с маршрутизацией через Hugging Face — тогда оплата списывается с аккаунта HF, и отдельный токен провайдера не нужен. Для Python требуется huggingface_hub >= 1.26.1, для JavaScript — @huggingface/inference.

Интеграция уже встроена в популярные агентные инструменты: Pi, OpenCode, Hermes Agents, OpenClaw и другие. Это позволяет подключать модели, размещённые на Baseten, в агентов и пайплайны без дополнительного клея.

#AI #HuggingFace #Baseten #InferenceProviders #LLM

📖 Дистилляция знаний стала достаточно дешёвой для масштабирования

Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.

Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.

Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.

#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM

🧠 Сколько памяти нужно ИИ-агенту на самом деле

Исследователи IBM Research и Hugging Face представили новый анализ системы ALTK-Evolve, которая позволяет агенту учиться на собственных прошлых траекториях без обновления весов. Главный вывод: агентная память — не функция, которую включают, а дозировка, которую нужно подбирать под конкретную модель.

В экспериментах на восьми моделях — от плотной 30B до фронтирных проприетарных систем — выделили три паттерна. Сильным моделям с запасом возможностей нужен полный набор инструкций: DeepSeek-V3.2 (671B MoE) прибавил +9.5 процентных пункта к выполнению задач. Слабые модели тонут в большом объёме правил: для gpt-oss-120b оптимальна выборка релевантных инструкций по каждой задаче — рост +16.1pp при всего +5% к числу токенов. А уже насыщенные модели вроде GLM-5 (745B MoE) не показали измеримого эффекта.

ALTK-Evolve извлекает из успешных и неудачных попыток агента поведенческие правила, консолидирует их и подаёт на инференсе целиком или порционно. Веса модели не меняются — меняется только инструктивный контекст, поэтому метод дёшев и переносим между моделями. Практический вывод: правильную «дозу» памяти можно калибровать под конкретную модель, и иногда селективная выдача оказывается точнее и дешевле полного набора.

#AI #Agents #Research #IBM #HuggingFace #LLM

🤗 Собирай ИИ-пайплайны как конструктор: Gradio Workflows

Hugging Face опубликовала гайд по gr.Workflow — встроенному в Gradio инструменту, который превращает многошаговый ИИ-пайплайн в интерактивный граф. Теперь конвейер сам становится интерфейсом: вы описываете шаги как узлы с типами данных, а Gradio отдаёт drag-and-drop canvas, где каждый узел можно запустить отдельно и увидеть промежуточный результат.

Такой граф одновременно работает и как REST API, и как приложение, которое деплоится на Hugging Face Spaces одной командой. В блоге показаны живые примеры: редактор изображений с Qwen-Image-Edit, медиастудия, где FLUX генерирует картинку, фон удаляется, а тема превращается в голос за кадром и заголовок эпизода через TTS и LLM. Каждый выход получает свой endpoint — например, /sticker или /voiceover, — и его можно дёргать напрямую из кода.

Отдельно разобраны паттерны: fan-out (одна идея параллельно уходит в несколько моделей), профилирование датасетов через Datasets Server и запуск своей GPU-модели через ZeroGPU с декоратором @spaces.GPU. Узел может быть Python-функцией, вызовом Inference Providers, сторонним Gradio Space или строкой из Hub-датасета. Для разработчиков это удобный способ быстро собирать и шарить сложные мультимодельные пайплайны без ручной склейки.

#AI #Gradio #HuggingFace #Workflows #ML #Development

🤗 Hugging Face выпустила 207 WebGPU-ядер для локального ИИ в браузере

Команда WebAI из Hugging Face представила первый слой своего пайплайна ускорения браузерного инференса — библиотеку @huggingface/kernels и коллекцию из 207 оптимизированных WebGPU-ядер. Они опубликованы в организации webgpu-kernels на Hub под лицензией Apache-2.0.

Каждое ядро выпущено как отдельный версионированный пакет со своей карточкой: интерфейс, шаблоны шейдеров WGSL, тесты корректности и бенчмарки хранятся вместе. В репозиторий входят manifest.json (контракт операции: входы, выходы, типы), test.json (кейсы проверки), bench.json (сценарии нагрузки) и параметризованные файлы *.wgsl.jinja. Такой подход превращает шейдер в переиспользуемый артефакт: интерфейс можно изучить без чтения WGSL, а рантаймы загружают конкретные версии ядер без зависимости от неверсионированных URL.

Вместе с ядрами запущен Fleet — браузерный инструмент бенчмаркинга и тестирования, который оценивает производительность и корректность прямо на железе пользователя. Каждый прогон добавляет анонимные данные с реальных GPU, помогая находить патологически медленные случаи и улучшать варианты ядер. Для разработчиков это эталонные реализации операций (от elementwise Add до сложных примитивов), которые уже можно встраивать в свои WebGPU-проекты или использовать как ориентир при написании собственных шейдеров.

#Tech #WebGPU #HuggingFace #AI #Browser #Inference #Development

👨‍🎨 Кодовую модель научили рисовать акварелью: открытый рецепт от Hugging Face

Видео с акварелями, которые языковая модель нарисовала кодом на JavaScript, набрало более 1,5 млн просмотров. Автор идеи — художник Surya Narreddi: модель работает через библиотеку p5.brush, добавляющую в p5.js естественные инструменты рисования. Теперь Hugging Face воспроизвёл эксперимент в открытую, используя TRL и OpenEnv.

Секрет проекта — в ограничениях. Модель может применять только десять методов библиотеки и создаёт программу примерно из 150 строк кода на JavaScript. Каждый мазок буквально читается в коде: его можно отредактировать и перерисовать. Именно это отличает подход от «идеальных» картинок, которые обычно генерируют модели изображений.

Инженеры Hugging Face опубликовали полный пайплайн: набор эталонных изображений, RL-среду и модель-скоров в виде Spaces, обучение на Jobs и сравнение трёх вариантов функции награды. Для запуска достаточно одной команды: базовая модель Qwen3.5-35B-A3B обучается методом GRPO с LoRA. Все артефакты собраны в открытой коллекции на Hugging Face.

Практическая ценность — готовый пример того, как обучать кодовые модели через RL, когда «правильность» результата оценивает не набор тестов, а визуальное качество. Эксперимент также показывает, как ограничения превращают код в художественный инструмент.

#AI #HuggingFace #RL #TRL #OpenEnv #Media

🤗 Hugging Face запустил ML Intern: ML-эксперименты через обычный чат

Hugging Face представил «ML Intern» — AI-ассистента, встроенного в свой чатбот. Он позволяет проводить эксперименты с машинным обучением без специальных знаний в ML: пользователь формулирует задачу обычным текстом, а ассистент берёт на себя техническую часть.

По сути это попытка убрать барьер входа в ML-разработку. Раньше для запуска даже простого эксперимента нужно было писать код, разбираться с датасетами, окружением и обучением модели. ML Intern предлагает другой сценарий: описать, что хочется получить, прямо в диалоге — и получить работающий пайплайн.

Для Hugging Face это логичное расширение экосистемы: платформа уже объединяет датасеты, модели и Spaces, а теперь добавляет интерактивный слой поверх всего этого. Такой подход может быть полезен новичкам, аналитикам и продуктам, которым нужен быстрый прототип без найма ML-инженера. Аналогичный вектор — у инструментов вроде Claude Code и Codex, где чат становится интерфейсом к разработке, но здесь акцент сделан именно на машинное обучение.

#AI #HuggingFace #MLIntern #MachineLearning #AITools #Development

🤗 Hugging Face выпустила tokenizers v1: кодирование стало в 3-30 раз быстрее

Релиз-кандидат первой версии библиотеки tokenizers опубликован на crates.io. Главное: библиотека выдаёт те же token IDs, что и v0.23, сохраняет API, словари и merge ranks - меняется только скорость и то, какой билд вы ставите: cargo add tokenizers --pre.

Ускорение дал ряд изменений в пайплайне. Разбиение текста на pre-tokens больше не идёт через regex-движок: новый компонент bitcannon выполняет булевы операции над битстримами с использованием SIMD. Merge-цикл BPE переписан - вместо аллокаций на каждый вызов он работает во внутреннем буфере вызывающего, символы связаны индексами в плоском массиве, а пары упакованы в 64-битные значения. Добавлен thread-local кэш слов, где повторяющиеся pre-tokens сразу отдают готовые IDs, и нативная параллельность: общий токенизатор кодирует из нескольких потоков, каждый со своим scratch-буфером и кэшем.

По замерам на одном потоке Apple M4 Max v1 кодирует в 3-30 раз быстрее v0.23 (нижняя граница - t5-base, верхняя - gpt2), а на восьми воркерах масштабируется на 76% от линейного. Бенчмарки воспроизводимы через репозиторий tokbench. Проект остаётся универсальным: BPE, WordPiece и Unigram, полная загрузка всего, что читала v0.23. Дальше авторы обещают перевести на новый merge-цикл больше семейств моделей до релиза 1.0.0.

#AI #HuggingFace #Tokenizers #Rust #ML #OpenSource

🤗 ProvenanceGuard: верификация с учётом источника для MCP-агентов

Multiverse Computing и Hugging Face представили ProvenanceGuard - слой пост-генерационной проверки для LLM-агентов на Model Context Protocol. Метод решает проблему cross-source conflation: утверждение верно где-то в доказательствах, но приписано не тому инструменту.

Обычные чекеры (RAGAS Faithfulness, MiniCheck, AlignScore, SummaC) объединяют данные в один пул и не показывают, какой вывод MCP-инструмента подтверждает конкретный claim. ProvenanceGuard читает trace агента, сохраняя source ID, и делает пять шагов: разбивает ответ на утверждения, находит релевантный источник, проверяет поддержку через DeBERTa NLI, сверяет его с названным в ответе и выдаёт вердикт по каждому claim плюс решение allow/block. Заблокированные ответы может переписать RARR-style repair. Конфигурация локальная: MiniLM и DeBERTa NLI.

На 281 реальной трассе медицинского агента и 361 claim, проверенном экспертами, поймано 138 из 139 невалидных утверждений; F1 на блокировку - 0.802 против 0.783 у MiniCheck. Точный источник определён примерно в 86% случаев, на сложном наборе похожих источников - 50.3%. Оверхед - около 0.5 секунды на ответ. Подход уже применён в NVIDIA NVFlow для финансового агента.

🎨 qvabo.studio/tg · картинки и видео

#Tech #AI #MCP #LLM #Agents #Verification #HuggingFace