Deepseek теперь в браузере!

Забавную игрушку сделали на базе WebGPU и разместили в HuggingFace.

Идея проекта,- он скачивает Deepseek Janus-Pro-1B и запускает в браузере на вашей машине.
Т.е. исполняется локально.

Можно по PDF пообщаться или картинку нарисовать или просто поговорить с 1B понять что это такое.

Пробуем тут

Исходники (сделано на базе transformers.js)

#JanusPro #WebGPU #transformers
———
@tsingular

HuggingFace с помощью роя из 40 GPT-5.6 Sol-агентов разогнали Kimi K3-подобную модель до 406 tok/s в браузере

Joshua Lochner (Xenova), Open Source ML Engineer в Hugging Face и создатель Transformers.js, выкатил результат одного из самых впечатляющих экспериментов с агентной оптимизацией ядер.

Рой GPT-5.6 Sol-агентов 40 с лишним часов искал способы ускорить инференс Kimi K3-подобной модели в браузере через WebGPU. Нашёл.

⚡️ На старте было: 331 узел вычислительного графа и 65 tok/s.
В результате получилось 22 GPU-диспатча на токен и 406 tok/s.
Ускорение в 6,25 раза!
Агенты исследовали пространство оптимизаций независимо друг от друга: предлагали fused-ядра, трансформировали граф и писали кастомные WebGPU-шейдеры на WGSL под три компонента архитектуры: KDA (Kimi Delta Attention), MLA (Multi-Head Latent Attention) и MoE (Mixture of Experts).

🔍 Kimi K3 — флагманская модель Moonshot AI: 2,8 трлн параметров (MoE, 896 экспертов), 1M-токеновый контекст, open-weight. По бенчмаркам вплотную подошла к GPT-5.6 Sol и Claude Fable 5. Оптимизация модели такого класса для WebGPU означает, что инференс уровня frontier в браузере перестаёт быть фантастикой.

💰 Эксперимент построен на инфраструктуре 🤗 Kernels от Hugging Face. Связка kernel-builder + kernels даёт агентам отлаженный конвейер: скаффолд ядра, сборка под целевое железо, прогон бенчмарков и итеративная оптимизация.
На Hugging Face этому посвящён целый раздел: «Develop kernels with agents».

🔮 Xenova пообещал скорый релиз фреймворка для автономной агентной оптимизации ядер. Это прямое развитие 🤗 Kernels: агенты самостоятельно находят и применяют оптимизации под конкретное железо, без ручного тюнинга.

💡 Это третий виток экспериментов Xenova. В июне Fable 5 написал WebGPU-ядра для Gemma 4 и разогнал её до 255 tok/s в браузере (через день, правда, Anthropic отключила Fable 5). Затем Opus 4.8 разогнал крошечную Liquid AI LFM2.5 до 1400 tok/s.
Теперь же не один агент, а рой, и не на маленькой модели, а на архитектуре класса Kimi K3.

Пока одни компании пушат фронтиры вверх, вливая миллиарды, HF оптимизирует их работу "на земле" и, возможно, для обычного народа второе будет даже полезнее.

Отдельно хотелось бы увидеть навык на создание таких анимаций :)

#WebGPU #HuggingFace #обучение
——
@tsingular

Sipp: WebGPU-рантайм для GGUF в браузере от Noumena Labs

⚡️ Noumena Labs выкатили Sipp, высокопроизводительный WebGPU-движок, который запускает GGUF-модели прямо в браузере.
Реализован на Rust и C++ без зависимостей, Apache 2.0.

TTFT 24.3 мс: в 6.5 раз быстрее WebLLM и в 12.4 раза быстрее Transformers.js.
Decode 77 токенов в секунду, почти втрое шустрее WebLLM.
Бенчмарки открытые: benchmark.sipp.sh.

📦 Симметричный API для всего: браузер (npm), Node.js, Rust, Python, Swift (macOS/iOS). Пишешь один код, он работает и локально через WebGPU, и через облачный шлюз, который прячет API-ключи и считает метрики.

🚧 Проект в активной разработке

#WebGPU #browser #inference
------
@tsingular