Еще немного кадров с Олимпиады роботов.
Теннис
Прыжки в длину - удивительно даже не то, что прыгнул, а что, приземлившись, не упал! :)
Бег
Прыжок вверх
В беге стиль движений убийственный 😂😂😂, но прикол в том, что этот робот таки пришёл первым.
#роботы #олимпиада
------
@tsingular
Теннис
Прыжки в длину - удивительно даже не то, что прыгнул, а что, приземлившись, не упал! :)
Бег
Прыжок вверх
В беге стиль движений убийственный 😂😂😂, но прикол в том, что этот робот таки пришёл первым.
#роботы #олимпиада
------
@tsingular
🔥9👾4⚡3👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
И еще один рекорд побит.
Бег на 1500 метров робот прошёл за 2:21,- это на 1 минуту и 5 секунд быстрее человеческого
#роботы #олимпиада #бег
------
@tsingular
Бег на 1500 метров робот прошёл за 2:21,- это на 1 минуту и 5 секунд быстрее человеческого
#роботы #олимпиада #бег
------
@tsingular
🔥14🏆6⚡3🤔3👾1
Faraday от Inherent: 27-миллиардный ИИ-учёный обошёл Claude и GPT-5.5 в воспроизведении исследований
📋 Inherent,- лондонская лаборатория, основанная выходцами из Google DeepMind и в мае вышедшая из тени с посевным раундом в 50 млн долларов от Index Ventures и Radical Ventures, показала Faraday, ИИ-агента, который воспроизводит результаты научных статей без заранее известного ответа.
Агент восстановил результаты 310 задач и обошёл Claude Opus 4.8 и GPT-5.5, хотя сам работает на 27-миллиардной модели Qwen 3.6.
💡 Replica,- это собственный бенчмарк лаборатории: 310 задач из 100 статей по машинному обучению и наукам, где из статьи вырезают ключевой график с результатом, а агент должен восстановить его за 60 минут при ограниченном бюджете GPU.
На задачах машинного обучения Faraday набирает 0,856 против 0,828 у Claude Opus 4.8 и 0,796 у GPT-5.5, а на вынесенных научных задачах 0,791 против 0,748 и 0,729.
Код за него пишет Codex от OpenAI, а саму модель учили с подкреплением, награждая за «исследовательский вкус», то есть за выбор правильного эксперимента вместо подгонки под ожидаемый результат.
💼 Ставка, которую формулирует инвестор Дэнни Раймер: современный ИИ отвечает на вопросы, но не понимает, какие вопросы стоит задавать, а именно открытая любознательность породила пенициллин, микроволновку и GPU.
Цифры получены на собственном бенчмарке, независимых воспроизведений пока нет, поэтому верим, но аккуратно.
Исследовательский вкус, который ещё в июне Джек Кларк называл последним преимуществом человека, теперь становится целью обучения моделей. 🧪
📎 TechCrunch
Там мы и до ИИ озарений, глядишь, доживём.
#Inherent #наука
———
@tsingular
📋 Inherent,- лондонская лаборатория, основанная выходцами из Google DeepMind и в мае вышедшая из тени с посевным раундом в 50 млн долларов от Index Ventures и Radical Ventures, показала Faraday, ИИ-агента, который воспроизводит результаты научных статей без заранее известного ответа.
Агент восстановил результаты 310 задач и обошёл Claude Opus 4.8 и GPT-5.5, хотя сам работает на 27-миллиардной модели Qwen 3.6.
💡 Replica,- это собственный бенчмарк лаборатории: 310 задач из 100 статей по машинному обучению и наукам, где из статьи вырезают ключевой график с результатом, а агент должен восстановить его за 60 минут при ограниченном бюджете GPU.
На задачах машинного обучения Faraday набирает 0,856 против 0,828 у Claude Opus 4.8 и 0,796 у GPT-5.5, а на вынесенных научных задачах 0,791 против 0,748 и 0,729.
Код за него пишет Codex от OpenAI, а саму модель учили с подкреплением, награждая за «исследовательский вкус», то есть за выбор правильного эксперимента вместо подгонки под ожидаемый результат.
💼 Ставка, которую формулирует инвестор Дэнни Раймер: современный ИИ отвечает на вопросы, но не понимает, какие вопросы стоит задавать, а именно открытая любознательность породила пенициллин, микроволновку и GPU.
Цифры получены на собственном бенчмарке, независимых воспроизведений пока нет, поэтому верим, но аккуратно.
Исследовательский вкус, который ещё в июне Джек Кларк называл последним преимуществом человека, теперь становится целью обучения моделей. 🧪
📎 TechCrunch
Там мы и до ИИ озарений, глядишь, доживём.
#Inherent #наука
———
@tsingular
👍8🔥4❤1⚡1
Cloudflare выкатила Kitesurf: браузер для ИИ-агентов
⚡️ Cloudflare собрала собственный браузер Kitesurf за 12 недель и открыла его бесплатно в бете. Работает он целиком на Cloudflare Workers в V8-изолятах, без Chromium под капотом, и рассчитан на ИИ-агентов: скриншоты, извлечение HTML, работа с DOM.
📦 Цифры из прототипа: на типовых задачах Kitesurf тратит в 3,1–3,8 раза меньше CPU и в 4,7–7 раз меньше памяти, чем Chromium.
Скриншот: 57,8 МБ памяти против 271, извлечение HTML: 39,4 против 273,7.
По времени отклика он в 1,7–1,8 раза медленнее, зато сессия обходится дешевле, а при тысячах агентов это важнее.
🦀 Внутри почти всё на Rust, скомпилированном в Wasm.
Отрисовку взяли у движка Blitz, парсер CSS: Stylo из Firefox.
И козырь совместимости: Kitesurf общается по протоколу CDP, поэтому Puppeteer, Playwright и любые MCP-клиенты подключаются к нему без шаманства.
✂️ Осознанно выкинули вкладки, видео, WebGL и постоянные авторизованные сессии.
Каждый компонент одноразовый, а любой сбой сводится к пустому кадру: сессия при этом живёт.
Сейчас Kitesurf проходит 215 000+ тестов WPT.
Ну т.е. для людей остается Chromium, а ИИ агенты получают свой лёгковесный Kitesurf. 🏄
#Cloudflare #агенты
———
@tsingular
⚡️ Cloudflare собрала собственный браузер Kitesurf за 12 недель и открыла его бесплатно в бете. Работает он целиком на Cloudflare Workers в V8-изолятах, без Chromium под капотом, и рассчитан на ИИ-агентов: скриншоты, извлечение HTML, работа с DOM.
📦 Цифры из прототипа: на типовых задачах Kitesurf тратит в 3,1–3,8 раза меньше CPU и в 4,7–7 раз меньше памяти, чем Chromium.
Скриншот: 57,8 МБ памяти против 271, извлечение HTML: 39,4 против 273,7.
По времени отклика он в 1,7–1,8 раза медленнее, зато сессия обходится дешевле, а при тысячах агентов это важнее.
🦀 Внутри почти всё на Rust, скомпилированном в Wasm.
Отрисовку взяли у движка Blitz, парсер CSS: Stylo из Firefox.
И козырь совместимости: Kitesurf общается по протоколу CDP, поэтому Puppeteer, Playwright и любые MCP-клиенты подключаются к нему без шаманства.
✂️ Осознанно выкинули вкладки, видео, WebGL и постоянные авторизованные сессии.
Каждый компонент одноразовый, а любой сбой сводится к пустому кадру: сессия при этом живёт.
Сейчас Kitesurf проходит 215 000+ тестов WPT.
Ну т.е. для людей остается Chromium, а ИИ агенты получают свой лёгковесный Kitesurf. 🏄
#Cloudflare #агенты
———
@tsingular
✍10⚡5🔥4🏆2❤1
Adobe Firefly: музыка, речь и звуковые эффекты в одной студии
⚡️ Adobe дополнила Firefly аудио-инструментами.
Генерация музыки, речи и звуковых эффектов теперь работают в одной студии, рядом с генераторами картинок, видео и дизайна.
🎵 Музыка генерится на собственной модели Firefly: оригинальный трек под длину и настроение ролика, с лицензией для коммерческого использования, что важно для креативщиков, чтобы не попасть по лицензионные требования.
Речь превращает скрипт в озвучку с контролем голоса, темпа и эмоций, опционально через ElevenLabs, а эффекты подстраиваются под действие и тайминг контента.
🦾 Бонус: ИИ-ассистент Firefly открыли бесплатно с ежедневными генерациями, а в студию добавили модель Gemini Omni Flash, которая принимает на вход видео, аудио и картинку вместе с текстом.
Универсальный медиакомбайн с правами на музыку в комплекте. 🎧
#Adobe #Firefly
———
@tsingular
⚡️ Adobe дополнила Firefly аудио-инструментами.
Генерация музыки, речи и звуковых эффектов теперь работают в одной студии, рядом с генераторами картинок, видео и дизайна.
🎵 Музыка генерится на собственной модели Firefly: оригинальный трек под длину и настроение ролика, с лицензией для коммерческого использования, что важно для креативщиков, чтобы не попасть по лицензионные требования.
Речь превращает скрипт в озвучку с контролем голоса, темпа и эмоций, опционально через ElevenLabs, а эффекты подстраиваются под действие и тайминг контента.
🦾 Бонус: ИИ-ассистент Firefly открыли бесплатно с ежедневными генерациями, а в студию добавили модель Gemini Omni Flash, которая принимает на вход видео, аудио и картинку вместе с текстом.
Универсальный медиакомбайн с правами на музыку в комплекте. 🎧
#Adobe #Firefly
———
@tsingular
🔥4❤3⚡1🤔1🆒1
Forwarded from Machinelearning
Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.
Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.
Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.
По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.
Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.
Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.
Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.
Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.
Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.
@ai_machinelearning_big_data
#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍6🔥5⚡1🏆1
This media is not supported in your browser
VIEW IN TELEGRAM
Slack Code: Salesforce догоняет рынок агентной разработки через чат
⚡️ Salesforce запустила Slack Code: в Slack появились каналы, где команда вместе с ИИ-агентами пишет, проверяет и коммитит код.
В канале тегаешь агента (Claude Code, Devin, Copilot, ChatGPT, Vercel), он разворачивает канал под задачу, показывает диффы и живые превью, а в прод шлёт только после одобрения человека.
Канал сам архивируется, оставляя историю в поиске.
Работает на любом тарифе Slack, отдельный доступ нужен лишь к самим агентам.
🔍 Интересно, что Slack обошлась без создания собственного агента, а по факту выступает роутером для чужих агентов.
Рынок агентной разработки вырос до 12,8 млрд долларов, и места в нём уже распределены: Copilot лидирует по числу пользователей, Cursor по выручке (2 млрд долларов в год), а Claude Code по любви разработчиков и уже пишет 4% публичных коммитов на GitHub.
Гнаться за ними с ещё одним агентом бессмысленно ну или очень накладно.
Поэтому Salesforce шагает на ступеньку выше и выступает агрегатором других ИИ агентов для рабочего пространства команды.
💼 Slack уже интегрирован в контекст рабочего контура и усиление его агрегатором агентов создаёт полноценную среду для работы ИИ в компании.
📎 Цифры по рынку агентной разработки: обзор долей и разбор тройки лидеров.
#Salesforce #Slack
———
@tsingular
⚡️ Salesforce запустила Slack Code: в Slack появились каналы, где команда вместе с ИИ-агентами пишет, проверяет и коммитит код.
В канале тегаешь агента (Claude Code, Devin, Copilot, ChatGPT, Vercel), он разворачивает канал под задачу, показывает диффы и живые превью, а в прод шлёт только после одобрения человека.
Канал сам архивируется, оставляя историю в поиске.
Работает на любом тарифе Slack, отдельный доступ нужен лишь к самим агентам.
🔍 Интересно, что Slack обошлась без создания собственного агента, а по факту выступает роутером для чужих агентов.
Рынок агентной разработки вырос до 12,8 млрд долларов, и места в нём уже распределены: Copilot лидирует по числу пользователей, Cursor по выручке (2 млрд долларов в год), а Claude Code по любви разработчиков и уже пишет 4% публичных коммитов на GitHub.
Гнаться за ними с ещё одним агентом бессмысленно ну или очень накладно.
Поэтому Salesforce шагает на ступеньку выше и выступает агрегатором других ИИ агентов для рабочего пространства команды.
💼 Slack уже интегрирован в контекст рабочего контура и усиление его агрегатором агентов создаёт полноценную среду для работы ИИ в компании.
📎 Цифры по рынку агентной разработки: обзор долей и разбор тройки лидеров.
#Salesforce #Slack
———
@tsingular
👍5❤4⚡1✍1
Vera Rubin NVL72 от NVIDIA: в 30 раз больше агентной работы на ватт
🚀 NVIDIA опубликовала первые замеры Vera Rubin NVL72 на реальных агентных нагрузках: до 30 раз больше пропускной способности на мегаватт, чем у GB300 NVL72, и на 35 раз ниже стоимость токена.
Измерялось на наборе SemiAnalysis AgentX, где агент по-настоящему пишет код: контекст растёт, зовутся инструменты, рождаются субагенты.
📈 Почему это важно: по данным OpenRouter, агенты съедают в 15 раз больше токенов, чем обычный чат.
Контекст копится шаг за шагом и доходит до сотен тысяч токенов, а каждый следующий шаг получает на вход всё накопленное. Поэтому экономика упирается в производительность на ватт.
🛠 Откуда такой скачок: NVIDIA пересобрала стек под агентов. Обработка контекста отделена от генерации и масштабируется сама по себе, кэш контекста распределён по всем GPU, 4-битное квантование сжимает веса без заметной потери качества. Всё это опирается на NVLink 6 и умное распределение энергии, которое умещает на 40% больше GPU в тот же мегаватт.
💼 Для владельцев ИИ-фабрик это очевидная экономия: пропускная способность на мегаватт определяет выручку, а стоимость токена определяет маржу.
Результаты пока предварительные и ждут ревью SemiAnalysis, но направление интересное.
От гонки за флопсами главной метрикой железа становится число токенов наматватт. ⚡️
#NVIDIA #агенты
———
@tsingular
🚀 NVIDIA опубликовала первые замеры Vera Rubin NVL72 на реальных агентных нагрузках: до 30 раз больше пропускной способности на мегаватт, чем у GB300 NVL72, и на 35 раз ниже стоимость токена.
Измерялось на наборе SemiAnalysis AgentX, где агент по-настоящему пишет код: контекст растёт, зовутся инструменты, рождаются субагенты.
📈 Почему это важно: по данным OpenRouter, агенты съедают в 15 раз больше токенов, чем обычный чат.
Контекст копится шаг за шагом и доходит до сотен тысяч токенов, а каждый следующий шаг получает на вход всё накопленное. Поэтому экономика упирается в производительность на ватт.
🛠 Откуда такой скачок: NVIDIA пересобрала стек под агентов. Обработка контекста отделена от генерации и масштабируется сама по себе, кэш контекста распределён по всем GPU, 4-битное квантование сжимает веса без заметной потери качества. Всё это опирается на NVLink 6 и умное распределение энергии, которое умещает на 40% больше GPU в тот же мегаватт.
💼 Для владельцев ИИ-фабрик это очевидная экономия: пропускная способность на мегаватт определяет выручку, а стоимость токена определяет маржу.
Результаты пока предварительные и ждут ревью SemiAnalysis, но направление интересное.
От гонки за флопсами главной метрикой железа становится число токенов на
#NVIDIA #агенты
———
@tsingular
🔥8❤7⚡4👍2
В OpenClaw добавили UI
🦞 Помните еще про Краба? Забыли небось, а он еще жив и развивается :)
⚡️ Петер Штайнбергер, автор и главный разработчик OpenClaw опубликовал в X пост с новым UI интерфейсом.
Краб выполз из терминале и теперь обзаводится интерфейсом с визуализациями и командной работой.
Все идут по общей траектории - OpenwebUI, Hermes Desktop, тот же Slack Code, - мультиагентные UI среды, где работу видит вся команда людей и весь рой агентов.
Поборолись за технические фишки и теперь пошла борьба за удобство.
#OpenClaw #агенты #UI
———
@tsingular
🦞 Помните еще про Краба? Забыли небось, а он еще жив и развивается :)
⚡️ Петер Штайнбергер, автор и главный разработчик OpenClaw опубликовал в X пост с новым UI интерфейсом.
Краб выполз из терминале и теперь обзаводится интерфейсом с визуализациями и командной работой.
Все идут по общей траектории - OpenwebUI, Hermes Desktop, тот же Slack Code, - мультиагентные UI среды, где работу видит вся команда людей и весь рой агентов.
Поборолись за технические фишки и теперь пошла борьба за удобство.
#OpenClaw #агенты #UI
———
@tsingular
🔥16👍10⚡1
FreeToken: MoE-модель на 753B параметров запустили на одной домашней видеокарте
Запуск моделей локально не устаёт удивлять. Казалось бы, что уже всё возможное выжато и ну никак не получится на локальной машине получить качество облачных датацентов.
Но нет, - вот вам еще один подарок от учёных из Беркли.
⚡️ Команда из Berkeley и UT Austin выкатила FreeToken: движок инференса, который превращает обычный ПК в платформу для MoE-гигантов.
35B модель крутится на ноутбуке с 8 ГБ видеопамяти,
284B DeepSeek-V4-Flash приемлемо крутится на игровом ПК с RTX 5090,
а 753B GLM-5.2 запускается на одной RTX PRO 6000.
🔧 Главная фишка в оптимизации использования всех ресурсов компьютера совокупно, а не заточка под GPU или NPU:
- Все веса MoE-экспертов лежат в обычной RAM.
- В VRAM хранится только кэш наиболее нужных сейчас экспертов.
- Если нужный эксперт уже в VRAM — его считает GPU.
- Если эксперта нет — FreeToken решает: загрузить его через PCIe в VRAM или посчитать прямо на CPU.
- CPU и GPU считают разные эксперты одного MoE-слоя одновременно, потом их результаты складываются.
- Долю «грузить на GPU / считать на CPU» движок выбирает по реальной пропускной способности RAM и PCIe конкретного компьютера.
- Во время prefill следующий целый слой экспертов копируется RAM → VRAM, пока GPU считает текущий слой.
- Для этого используются два буфера: один считается, второй в это время заполняется.
- При decode эксперты вытесняются из VRAM по LRU: недавно использованные остаются, давно не нужные заменяются.
- Поэтому модель целиком в VRAM никогда не помещается и не должна помещаться — VRAM работает как быстрый кэш над RAM.
📊 На практике декод идёт в 1,5-2,3 раза быстрее, чем у llama.cpp и KTransformers.
Первый токен приходит быстрее чем за 44 секунды даже в длинных агентных сессиях, где конкуренты переваливают за 150 и ловят таймауты.
Код открыт под Apache 2.0, есть десктоп-приложение под Windows и Linux, репозиторий уже собрал 1,6 тысячи звёзд.
Выглядит как цыганская магия :)
Ну т.е. открытые веса теперь стали значительно доступнее и фронтир-модель -таки может жить у тебя дома. 💪
📎 GitHub проекта: FreeToken
paper
#MoE #FreeToken #Berkley
———
@tsingular
Запуск моделей локально не устаёт удивлять. Казалось бы, что уже всё возможное выжато и ну никак не получится на локальной машине получить качество облачных датацентов.
Но нет, - вот вам еще один подарок от учёных из Беркли.
⚡️ Команда из Berkeley и UT Austin выкатила FreeToken: движок инференса, который превращает обычный ПК в платформу для MoE-гигантов.
35B модель крутится на ноутбуке с 8 ГБ видеопамяти,
284B DeepSeek-V4-Flash приемлемо крутится на игровом ПК с RTX 5090,
а 753B GLM-5.2 запускается на одной RTX PRO 6000.
🔧 Главная фишка в оптимизации использования всех ресурсов компьютера совокупно, а не заточка под GPU или NPU:
- Все веса MoE-экспертов лежат в обычной RAM.
- В VRAM хранится только кэш наиболее нужных сейчас экспертов.
- Если нужный эксперт уже в VRAM — его считает GPU.
- Если эксперта нет — FreeToken решает: загрузить его через PCIe в VRAM или посчитать прямо на CPU.
- CPU и GPU считают разные эксперты одного MoE-слоя одновременно, потом их результаты складываются.
- Долю «грузить на GPU / считать на CPU» движок выбирает по реальной пропускной способности RAM и PCIe конкретного компьютера.
- Во время prefill следующий целый слой экспертов копируется RAM → VRAM, пока GPU считает текущий слой.
- Для этого используются два буфера: один считается, второй в это время заполняется.
- При decode эксперты вытесняются из VRAM по LRU: недавно использованные остаются, давно не нужные заменяются.
- Поэтому модель целиком в VRAM никогда не помещается и не должна помещаться — VRAM работает как быстрый кэш над RAM.
📊 На практике декод идёт в 1,5-2,3 раза быстрее, чем у llama.cpp и KTransformers.
Первый токен приходит быстрее чем за 44 секунды даже в длинных агентных сессиях, где конкуренты переваливают за 150 и ловят таймауты.
Код открыт под Apache 2.0, есть десктоп-приложение под Windows и Linux, репозиторий уже собрал 1,6 тысячи звёзд.
Выглядит как цыганская магия :)
Ну т.е. открытые веса теперь стали значительно доступнее и фронтир-модель -таки может жить у тебя дома. 💪
📎 GitHub проекта: FreeToken
paper
#MoE #FreeToken #Berkley
———
@tsingular
🔥29⚡8✍4❤2🤔2🤯1🏆1
This media is not supported in your browser
VIEW IN TELEGRAM
Junie Local: JetBrains запустили кодинг-агента на Mac
Еще один пример прокачки локальных кодовых-агентов.
На этот раз JetBrains, которые ранее выпустили кодового агента Junie, создали его локальную версию .
⚡️ Junie Local: одна команда /local внутри IDE запускает скачивание модели локально, запускает сервер инференса и переключает на неё агента.
Модель используется Qwen3.6-27B в 4 битах, но не обычная, а оптимизированная.
🔧 Главная фишка в оптимизации этой модели под собственный профиль работы кодинг-агента:
Большую часть времени агент тратит на prefill, то есть чтение файлов, а не генерацию.
Инструкции 8-битной арифметики Neural Accelerator в чипе M5 позволяют получить +40% к пропускной способности prefill (патч отдадут в MLX-VLM, так что в будущем это может стать частью базового билда MLX).
Qwen3.6 специально выбрали вместо более новой 3.8: потому, что 3.8 требует включённого reasoning, что замедляет работу вчетверо.
Speculative decoding при этом удваивает скорость генерации.
KV-кэш переиспользуется между задачами.
📊 По внутреннему тесту JetBrains Qwen3.6-27B без reasoning вышел по качеству ответов на уровень Sonnet 4.5 с reasoning, и лишь чуть ниже GPT-5.
На повседневных задачах разницы не заметишь, а для сложной архитектуры критично.
Требования серьёзные, - текущая оптимизация выполнена конкретно под Mac на M5 с 64 ГБ RAM, при этом так же разработан прототип для DGX Spark и RTX 5090.
Чем проще будет запускать локальные модели,- тем меньше нагрузка на датацентры, - тем больше ресуров для тренировки более сильных моделей следующего поколения.
Одна польза, в общем.
📎 Подробный разбор оптимизаций: Как мы оптимизировали Qwen 3.6 для агента Junie
пост о запуске
#кодинг #Junie #локальныеLLM
———
@tsingular
Еще один пример прокачки локальных кодовых-агентов.
На этот раз JetBrains, которые ранее выпустили кодового агента Junie, создали его локальную версию .
⚡️ Junie Local: одна команда /local внутри IDE запускает скачивание модели локально, запускает сервер инференса и переключает на неё агента.
Модель используется Qwen3.6-27B в 4 битах, но не обычная, а оптимизированная.
🔧 Главная фишка в оптимизации этой модели под собственный профиль работы кодинг-агента:
Большую часть времени агент тратит на prefill, то есть чтение файлов, а не генерацию.
Инструкции 8-битной арифметики Neural Accelerator в чипе M5 позволяют получить +40% к пропускной способности prefill (патч отдадут в MLX-VLM, так что в будущем это может стать частью базового билда MLX).
Qwen3.6 специально выбрали вместо более новой 3.8: потому, что 3.8 требует включённого reasoning, что замедляет работу вчетверо.
Speculative decoding при этом удваивает скорость генерации.
KV-кэш переиспользуется между задачами.
📊 По внутреннему тесту JetBrains Qwen3.6-27B без reasoning вышел по качеству ответов на уровень Sonnet 4.5 с reasoning, и лишь чуть ниже GPT-5.
На повседневных задачах разницы не заметишь, а для сложной архитектуры критично.
Требования серьёзные, - текущая оптимизация выполнена конкретно под Mac на M5 с 64 ГБ RAM, при этом так же разработан прототип для DGX Spark и RTX 5090.
Чем проще будет запускать локальные модели,- тем меньше нагрузка на датацентры, - тем больше ресуров для тренировки более сильных моделей следующего поколения.
Одна польза, в общем.
📎 Подробный разбор оптимизаций: Как мы оптимизировали Qwen 3.6 для агента Junie
пост о запуске
#кодинг #Junie #локальныеLLM
———
@tsingular
⚡4❤3👍2🔥2🆒1
Еще немного на память с Олимпиады роботов 2026
Жим штанги над головой пока даётся роботу с трудом.
Точнее даже - не даётся :)
Тем интереснее будет увидеть через год уверенное исполнение.
#роботы #жим #штанга #Олимпиада
------
@tsingular
Жим штанги над головой пока даётся роботу с трудом.
Точнее даже - не даётся :)
Тем интереснее будет увидеть через год уверенное исполнение.
#роботы #жим #штанга #Олимпиада
------
@tsingular
😁13⚡4👾3🔥1
Модель может захватить сервер, на котором живут её веса
В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.
⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.
🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.
🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.
Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.
📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw
#безопасность #LLM #vLLM
———
@tsingular
В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.
⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.
🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.
🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.
Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.
📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw
#безопасность #LLM #vLLM
———
@tsingular
✍4🔥3👾3⚡1
Раскрыт секрет самого богатого человека на Тайване
Пока весь мир следит за Nvidia и TSMC, самым богатым человеком Тайваня стал 85-летний плотник, который всю жизнь делал мебельную фурнитуру.
Lin Tsung-Chi, основатель компании King Slide Works, обошёл владельцев чиповых империй с состоянием около 19,5 млрд долларов.
⚡️ Его компания из Гаосюна, мировой лидер по производству серверных салазок: тех самых металлических рельс, на которых сервер выдвигается из стойки.
Казалось бы, копеечная деталь.
Но в эпоху ИИ это критический узел: AI-стойка весит как холодильник, сервер внутри стоит как люксовый автомобиль, и любая поломка рельсы при обслуживании превращается в миллионы убытков.
🔧 King Slide вырвалась вперёд за счёт двух инженерных решений:
Вместо дюжины винтов при монтаже: защёлка, фиксирующая рельсу одним кликом.
Кнопка демонтажа в передней части стойки: инженеру больше не нужно тянуться вглубь отверткой за сервером весом под сотню килограмм.
📊 Экономика получилась фантастическая: выручка утроилась за пять лет, валовая маржа выросла с 50% до 76%, а по прибыли на акцию компания уже обошла саму TSMC.
Клиенты: NVIDIA и четыре крупнейших облачных провайдера мира.
💡 Вывод из этой истории: даже в безумной гонке ИИ, где все смотрят на чипы и датацентры, деньги текут к тем, кто делает лопаты, - в роли лопат на этот раз стоечные салазки.
Кстати, занимательный факт, - однажды у меня на кухне сломались похожие рельсы для выдвижной полки нижнего шкафа и я вместо мебельных рельс запилил туда как раз пару серверных.
Надёжность капитальная - держит полностью выдвинутую полку с кастрюлями как родной!
В общем, хорошие салазки полезны не только в ИИ :)
📎 Подробнее: WSJ, разбор CommonWealth Magazine
#ИИ #Тайвань #бизнес
———
@tsingular
Пока весь мир следит за Nvidia и TSMC, самым богатым человеком Тайваня стал 85-летний плотник, который всю жизнь делал мебельную фурнитуру.
Lin Tsung-Chi, основатель компании King Slide Works, обошёл владельцев чиповых империй с состоянием около 19,5 млрд долларов.
⚡️ Его компания из Гаосюна, мировой лидер по производству серверных салазок: тех самых металлических рельс, на которых сервер выдвигается из стойки.
Казалось бы, копеечная деталь.
Но в эпоху ИИ это критический узел: AI-стойка весит как холодильник, сервер внутри стоит как люксовый автомобиль, и любая поломка рельсы при обслуживании превращается в миллионы убытков.
🔧 King Slide вырвалась вперёд за счёт двух инженерных решений:
Вместо дюжины винтов при монтаже: защёлка, фиксирующая рельсу одним кликом.
Кнопка демонтажа в передней части стойки: инженеру больше не нужно тянуться вглубь отверткой за сервером весом под сотню килограмм.
📊 Экономика получилась фантастическая: выручка утроилась за пять лет, валовая маржа выросла с 50% до 76%, а по прибыли на акцию компания уже обошла саму TSMC.
Клиенты: NVIDIA и четыре крупнейших облачных провайдера мира.
💡 Вывод из этой истории: даже в безумной гонке ИИ, где все смотрят на чипы и датацентры, деньги текут к тем, кто делает лопаты, - в роли лопат на этот раз стоечные салазки.
Кстати, занимательный факт, - однажды у меня на кухне сломались похожие рельсы для выдвижной полки нижнего шкафа и я вместо мебельных рельс запилил туда как раз пару серверных.
Надёжность капитальная - держит полностью выдвинутую полку с кастрюлями как родной!
В общем, хорошие салазки полезны не только в ИИ :)
📎 Подробнее: WSJ, разбор CommonWealth Magazine
#ИИ #Тайвань #бизнес
———
@tsingular
🔥49❤7😁4👍3 2⚡1
Forwarded from Data Secrets
Хайп зашел слишком далеко: прокуратура Алабамы расследует инцидент со взломом Hugging Face
Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей.
В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. Вследствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей.
В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. Вследствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
🤯10 4👍3👻1
ИИ в кармане: Artificial Analysis затестили LLMки на смартфонах
Локальные модели на телефонах уже умеют следовать инструкциям, вызывать инструменты и отвечать на вопросы и их уже столько, что настало время измерить их производительность.
Artificial Analysis вместе с Liquid AI запустили первые системные бенчмарки интеллекта и скорости для моделей, которые помещаются в смартфон.
🔧 Подход серьёзный: одинаковые сборки, квантованные до 4 бит и меньше, реальный инференс через llama.cpp на живых телефонах, причём скорость, задержку и память меряют в климатической камере, чтобы результаты были воспроизводимы.
Интеллект оценивают пять тестов под реальные задачи телефона: вызов инструментов, следование инструкциям, знание без галлюцинаций, научные рассуждения и математика.
В зачёт идёт всё, что влезает в 8 ГБ памяти вместе с KV-кэшем при 8K контексте.
📊 На iPhone 17 Pro лидируют Nanbeige4.2-3B и LFM2.5-2.6B, обе по 63 балла.
Но последняя работает эффективнее: ответ на стандартный промпт за 8 секунд с 2,3 ГБ памяти против 21 секунды и 4 ГБ у конкурента.
MoE-модели вроде LFM2.5-8B-A1B активируют лишь миллиард параметров на токен и отвечают быстрее шести секунд.
💡 Интересно как размер контекста влияет на результат.
При 16K побеждают компактные модели, при 64K вперёд вырывается Ling 3.0 Tiny, но 64K на телефоне это двадцать минут генерации и севшая батарея.
А если ограничить ответ одной минутой, первым становится быстрый LFM2.5-8B-A1B, а фавориты падают в конец, потому что их рассуждения просто не успевают дописаться.
Ну т.е. на телефоне имеет смысл выбирать MoEшную модель без рассуждений. 📱
📎 Методика и результаты: Artificial Analysis
Опенсорсный стенд Liquid AI: Pipette на GitHub
#ИИ #локальныеLLM #смартфоны
———
@tsingular
Локальные модели на телефонах уже умеют следовать инструкциям, вызывать инструменты и отвечать на вопросы и их уже столько, что настало время измерить их производительность.
Artificial Analysis вместе с Liquid AI запустили первые системные бенчмарки интеллекта и скорости для моделей, которые помещаются в смартфон.
🔧 Подход серьёзный: одинаковые сборки, квантованные до 4 бит и меньше, реальный инференс через llama.cpp на живых телефонах, причём скорость, задержку и память меряют в климатической камере, чтобы результаты были воспроизводимы.
Интеллект оценивают пять тестов под реальные задачи телефона: вызов инструментов, следование инструкциям, знание без галлюцинаций, научные рассуждения и математика.
В зачёт идёт всё, что влезает в 8 ГБ памяти вместе с KV-кэшем при 8K контексте.
📊 На iPhone 17 Pro лидируют Nanbeige4.2-3B и LFM2.5-2.6B, обе по 63 балла.
Но последняя работает эффективнее: ответ на стандартный промпт за 8 секунд с 2,3 ГБ памяти против 21 секунды и 4 ГБ у конкурента.
MoE-модели вроде LFM2.5-8B-A1B активируют лишь миллиард параметров на токен и отвечают быстрее шести секунд.
💡 Интересно как размер контекста влияет на результат.
При 16K побеждают компактные модели, при 64K вперёд вырывается Ling 3.0 Tiny, но 64K на телефоне это двадцать минут генерации и севшая батарея.
А если ограничить ответ одной минутой, первым становится быстрый LFM2.5-8B-A1B, а фавориты падают в конец, потому что их рассуждения просто не успевают дописаться.
Ну т.е. на телефоне имеет смысл выбирать MoEшную модель без рассуждений. 📱
📎 Методика и результаты: Artificial Analysis
Опенсорсный стенд Liquid AI: Pipette на GitHub
#ИИ #локальныеLLM #смартфоны
———
@tsingular
👍8✍3❤1⚡1