У llama.cpp появилось приложение для Windows 11 с загрузкой моделей и локальным API

🦙 Команда llama.cpp и Hugging Face представила Llama Windows, бесплатное приложение для запуска локальных моделей из области уведомлений Windows 11. Это Windows-аналог Llama для macOS: движок тот же, но выбирать сборки и запускать сервер вручную больше не нужно.

🖱 Приложение подключается к уже работающему серверу или запускает свой, а при необходимости устанавливает llama.cpp. Модели можно искать на Hugging Face и скачивать через интерфейс. Для разговора открывается веб-интерфейс llama.cpp; сочетание Alt+Space вызывает отдельное окно чата поверх других приложений.

📦 Перед загрузкой видны размер модели и поддержка изображений. Для установленной модели можно выбрать длину контекста с оценкой потребления памяти. Файлы хранятся в общем кэше Hugging Face, поэтому другим совместимым инструментам не нужна отдельная копия той же модели.

🔌 Для разработчиков доступен OpenAI-совместимый API по адресу http://localhost:9931/v1. К нему можно подключать свои программы, редакторы и агентов. После скачивания модели запросы обрабатываются на компьютере, без обязательного обращения к облачному сервису.

🔐 В актуальном релизе 0.12.0 токен Hugging Face хранится в зашифрованном виде, а при открытии сервера для других устройств автоматически добавляется API-ключ. По умолчанию сервер доступен только с самого компьютера.

⚠️ Есть сборки для x64 и ARM64, заявлена поддержка NVIDIA RTX Spark. Пакет требует Windows 11 24H2 или новее (сборка 26100+). Возможность запустить конкретную модель и её скорость зависят от памяти и оборудования; размер файла не равен всей памяти, нужной при работе.

💼 Подойдёт для локального помощника и проверки собственных ИИ-приложений без оплаты облачных запросов. Код приложения открыт по MIT; условия использования выбранной модели нужно проверять отдельно.

📎 Скачать · Код и релизы

#HuggingFace #llamacpp #Windows
———
@tsingular

Google Play открывает возможность запускать собственные ИИ-приложения без аккаунта разработчика

📱 Google начала открывать новый способ создания приложений для Android: описываете задачу в Google AI Studio, создаёте приложение с помощью ИИ и запускаете его на своём устройстве через Google Play.
Для этого достаточно обычного аккаунта Google.

🔒 Такие приложения остаются личными и не попадают в общий каталог магазина.
В ближайшие месяцы Google обещает добавить возможность делиться ими с узким кругом друзей и родственников.
Если автор захочет опубликовать приложение для всех, придётся завести профессиональный аккаунт разработчика и пройти обычные проверки безопасности и качества.

🔎 Одновременно Google меняет поиск готовых приложений. Ask Play теперь умеет сравнивать их, выделяя различия и мнения пользователей. А через Play in Gemini приложения, игры и материалы разработчиков появятся прямо в разговорах с Gemini. Эту интеграцию обещают начать открывать всем пользователям Gemini в ближайшее время.

🎮 Для игр появился Game Finder с профилем предпочтений Gamer DNA. Он учитывает, как человек играет и какие жанры, механики и игры указывает сам. Подбор можно уточнять, вместо того чтобы полагаться только на популярность игры.

🌍 Доступ пока ограничен: запуск личных приложений открывают поэтапно в отдельных странах, включая США, только для пользователей 18+. Game Finder на старте доступен в США на английском.

💼 Это новый путь для небольших личных инструментов: например, учёта домашних запасов или расписания занятий.
Можно навайбкодить себе и друзьям ежедневник без публикации в общем магазине.

#Google #GooglePlay
———
@tsingular

Расцензурить модели на движке Strata можно без изменения самих моделей

📋 В Strata, - движке локального инференса, обнаружилась встроенная функция «проекции контрольных векторов».
Она позволяет снимает отказы модели прямо во время генерации, не трогая GGUF-файл: веса на диске остаются оригинальными.

💡 У модели есть «направление отказа» - вектор в пространстве активаций, который заставляет её вежливо отказывать на неудобные запросы.
Strata на слоях с 4 по 44 (для модели Qwen 3.8 Flash Next) вычитает проекцию этого направления из остаточного потока: h = h − (h·v)v. Модель перестаёт «видеть» причину отказывать сама при этом не меняясь.

💼 Включается такой режим четырьмя флагами в конфиге движка:

--control-vector-scaled Qwen3.8-Flash-Next-cvec.gguf:1.0
--control-vector-layer-range 4 44
--cvec-mode project
--cvec-dir per-layer

Смысл каждого: масштаб вектора, диапазон слоёв, режим именно «вычесть», а не добавить (стоковый llama.cpp так не умеет) и свой вектор на каждый слой.
В тестах - 1 отказ из 50 вместо 50 из 50. Фича спрятана под именем «experimental speed projection», хотя к скорости отношения не имеет и даже стоит +0,2–0,4% на токен.

📎 Документация Strata — раздел «Experimental speed projection»

#LLM #инференс #цензура #cybersecurity
———
@tsingular

UltraBERT: один энкодер сразу для классификации и поиска

📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.

💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.

💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.

📎 Блог Hugging Face

#NLP #BERT #эмбеддинги
———
@tsingular

Qween of drama :)

#юмор #Qwen
———
@tsingular

Nebius ведёт двухдневный эфир с NVIDIA GTC Berlin

📋 Nebius, - облако для AI-разработчиков, которое SemiAnalysis недавно оценил на высший уровень Platinum среди AI-облаков, - выходит в прямой эфир с NVIDIA GTC Berlin.
Ведущая - Deirdre Bosa (DB Live). В программе: обсуждение keynote Дженсена Хуанга, разбор рынка AI-облака, открытые модели, темпы AI-строительства и безопасность в агентную эпоху.

💡 CTO Nebius Данила Штан выступит с докладом «From Models to Agents: Engineering the AI Cloud» - про то инженерию облака при переходе от моделей к агентам.
За два дня обещают общение с командой, которая строит AI-облако Nebius в Европе под глобальные задачи.

💼 Записываем в календарь:
21 октября 15:00 CEST и 22 октября 10:00 CEST - эфиры; сессия Штана - 22 октября в 9:00 CEST.

📎 Трансляция на X (@nebiusai) и YouTube (@nebiusofficial)

#Nebius #GTC #AIcloud
———
@tsingular

Какой-то ноунейм говорит, что навайбкодил клавиатуру и теперь машет руками в воздухе.

Семья вызывает дурку :)

Github: https://github.com/mb-mal/camkeys

Ставьте воду рядом с монитором, - заряжаю Сингулярностью

#юмор #клавиатура #dev
———
@tsingular

NVIDIA выпустила две новые мультимодальные модели: Nemotron-3.5-Bolt и Nemotron-3.5-Super-VL и Unsloth уже нарезал их в доступные кванты.

Nemotron-3.5-Bolt-74B-A9B работает на устройстве с 24 ГБ VRAM и показывает одни из лучших результатов среди моделей своего размера.

Super-VL-120B-A12B работает на устройстве с 82 ГБ VRAM.

Версия Nemotron 3.5 Bolt в формате GGUF от Unsloth AI:
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

Руководство:
https://unsloth.ai/docs/models/nemotron-3.5-bolt

Nemotron 3.5 Super в формате GGUF:
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

HF-Bolt

Модели интересные, но не факт, что лучше qwen3.8:27b единственный плюс, что они быстрее из-за того, что MoE, который уже заждались от qwen3.8, кстати.

#Nvidia #Unsloth
------
@tsingular

Anthropic набирает исследователей безопасности ИИ со стипендией $3 850 в неделю

🔬 В исследовательскую программу Anthropic можно прийти без учёной степени, публикаций и предыдущего опыта в машинном обучении. Нужны сильный Python, техническая подготовка и умение доводить неопределённую задачу до проверяемого результата. По актуальной странице программы, заявки на январский поток принимают до 18 октября.

💰 Программа длится четыре месяца с полной занятостью, около 40 часов в неделю. Стипендия составляет $3 850 в неделю в США; для Великобритании и Канады указаны отдельные ставки. Дополнительно предусмотрено около $15 000 в месяц на вычисления и финансирование других исследовательских расходов.

🛠 Участник выбирает и уточняет проект вместе с наставником из Anthropic. Среди направлений есть устойчивость моделей к атакам, контроль поведения агентов, объяснение внутренних механизмов моделей и кибербезопасность. Работают преимущественно с открытыми моделями и публичными API.
Цель проекта состоит в подготовке публичного результата, например научной статьи.

📄 По данным компании, в первом потоке более 80% участников подготовили статьи, а более 40% затем устроились в Anthropic.

🌍 Доступно только для граждан США, Великобритании или Канады.

💼 Для инженера, который хочет перейти в исследования безопасности ИИ, это оплачиваемая работа над реальным проектом с наставником. При подготовке заявки стоит показать код, проведённые эксперименты и конкретный технический результат, а сначала проверить условия допуска.

📎 Форма заявки у партнёра программы

#Anthropic #AISafety
———
@tsingular

Unitree представила UniUni,- систему управления поведением роты роя роботов.

Простыми командами ротному чат-боту даётся задание по перемещениям в составе группы, в дальше он сам программирует подразделение танцевальный коллектив.

#Unitree #роботы #группа
------
@tsingular

Claude сократил число операций в квантовой схеме примерно в 17 раз

⚛️ Anthropic показала, как Claude Mythos 5 перепроектировал схему сложения точек эллиптической кривой. После 53 часов поиска модель получила вариант, которому нужно примерно в 17 раз меньше операций Тоффоли, чем прежней схеме с наименьшим числом кубитов. При этом кубитов требуется на 12% больше.

🧠 Ключевая трудность в том, что квантовое вычисление должно быть обратимым: промежуточные данные нельзя просто стереть. Обычно приходится хранить историю действий. Claude нашёл способ восстанавливать многие предыдущие решения из текущего состояния чисел, чтобы не занимать под историю отдельные кубиты. Правило восстановления проверили численно и формализовали в Lean.

🔁 Исследователи дали модели восемь задач и отдельную проверяющую программу. Claude писал схемы на Python, получал ошибки и оценки затрат, затем менял подход. По препринту, в семи из восьми задач удалось сократить и число операций, и число кубитов относительно выбранных базовых схем.

📉 В другом примере модель сократила число операций в декодере для квантового алгоритма оптимизации примерно в 12 раз. Часть экономии получена отказом от большого запаса памяти для редких входов. Для нового варианта авторы оценили вероятность сбоя примерно в один случай на 10 тысяч при исследованном распределении входов.

⚠️ Это схемы и программные оценки ресурсов, а не измеренное ускорение работающего квантового компьютера. Результаты относятся к выбранным подзадачам и условиям проверки; перенос выигрыша на целый алгоритм и конкретное оборудование требует отдельного расчёта.

💼 Для исследовательских команд такой поиск полезен там, где новые конструкции можно описать кодом, независимо проверить и сравнить по стоимости. Именно проверяющая программа позволяет модели пробовать разные алгоритмы и отбрасывать неработающие варианты.

📎 Препринт с методикой и таблицами

RSI приближает квантовый ИИ

#Anthropic #Claude #QuantumComputing
———
@tsingular