Технозаметки Малышева
13.3K subscribers
5.65K photos
2.15K videos
43 files
5.58K links
Новости инноваций из мира Искусственного Интеллекта. 🤖 [РКН: 7021469833 ]

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸: https://pay.cloudtips.ru/p/c8960bbb
Download Telegram
Adobe Firefly: музыка, речь и звуковые эффекты в одной студии

⚡️ Adobe дополнила Firefly аудио-инструментами.
Генерация музыки, речи и звуковых эффектов теперь работают в одной студии, рядом с генераторами картинок, видео и дизайна.

🎵 Музыка генерится на собственной модели Firefly: оригинальный трек под длину и настроение ролика, с лицензией для коммерческого использования, что важно для креативщиков, чтобы не попасть по лицензионные требования.

Речь превращает скрипт в озвучку с контролем голоса, темпа и эмоций, опционально через ElevenLabs, а эффекты подстраиваются под действие и тайминг контента.

🦾 Бонус: ИИ-ассистент Firefly открыли бесплатно с ежедневными генерациями, а в студию добавили модель Gemini Omni Flash, которая принимает на вход видео, аудио и картинку вместе с текстом.

Универсальный медиакомбайн с правами на музыку в комплекте. 🎧

#Adobe #Firefly
———
@tsingular
🔥4❤3⚡1🤔1🆒1
Forwarded from Machinelearning
🌟 Turbovec: библиотека векторного поиска на основе гугловского TurboQuant

Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.

Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.


🟡Turbovec сжимает данные примерно в восемь раз

Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.

По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.

🟡Удобные мелочи

Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.

Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.

Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.

Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.

Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.


📌Лицензирование: MIT License


🖥 Github


@ai_machinelearning_big_data

#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍6🔥5⚡1🏆1
This media is not supported in your browser
VIEW IN TELEGRAM
Slack Code: Salesforce догоняет рынок агентной разработки через чат

⚡️ Salesforce запустила Slack Code: в Slack появились каналы, где команда вместе с ИИ-агентами пишет, проверяет и коммитит код.

В канале тегаешь агента (Claude Code, Devin, Copilot, ChatGPT, Vercel), он разворачивает канал под задачу, показывает диффы и живые превью, а в прод шлёт только после одобрения человека.

Канал сам архивируется, оставляя историю в поиске.
Работает на любом тарифе Slack, отдельный доступ нужен лишь к самим агентам.

🔍 Интересно, что Slack обошлась без создания собственного агента, а по факту выступает роутером для чужих агентов.

Рынок агентной разработки вырос до 12,8 млрд долларов, и места в нём уже распределены: Copilot лидирует по числу пользователей, Cursor по выручке (2 млрд долларов в год), а Claude Code по любви разработчиков и уже пишет 4% публичных коммитов на GitHub.

Гнаться за ними с ещё одним агентом бессмысленно ну или очень накладно.

Поэтому Salesforce шагает на ступеньку выше и выступает агрегатором других ИИ агентов для рабочего пространства команды.

💼 Slack уже интегрирован в контекст рабочего контура и усиление его агрегатором агентов создаёт полноценную среду для работы ИИ в компании.

📎 Цифры по рынку агентной разработки: обзор долей и разбор тройки лидеров.

#Salesforce #Slack
———
@tsingular
👍5❤4⚡1✍1
Vera Rubin NVL72 от NVIDIA: в 30 раз больше агентной работы на ватт

🚀 NVIDIA опубликовала первые замеры Vera Rubin NVL72 на реальных агентных нагрузках: до 30 раз больше пропускной способности на мегаватт, чем у GB300 NVL72, и на 35 раз ниже стоимость токена.

Измерялось на наборе SemiAnalysis AgentX, где агент по-настоящему пишет код: контекст растёт, зовутся инструменты, рождаются субагенты.

📈 Почему это важно: по данным OpenRouter, агенты съедают в 15 раз больше токенов, чем обычный чат.
Контекст копится шаг за шагом и доходит до сотен тысяч токенов, а каждый следующий шаг получает на вход всё накопленное. Поэтому экономика упирается в производительность на ватт.

🛠 Откуда такой скачок: NVIDIA пересобрала стек под агентов. Обработка контекста отделена от генерации и масштабируется сама по себе, кэш контекста распределён по всем GPU, 4-битное квантование сжимает веса без заметной потери качества. Всё это опирается на NVLink 6 и умное распределение энергии, которое умещает на 40% больше GPU в тот же мегаватт.

💼 Для владельцев ИИ-фабрик это очевидная экономия: пропускная способность на мегаватт определяет выручку, а стоимость токена определяет маржу.

Результаты пока предварительные и ждут ревью SemiAnalysis, но направление интересное.

От гонки за флопсами главной метрикой железа становится число токенов на матватт. ⚡️

#NVIDIA #агенты
———
@tsingular
🔥8❤7⚡4👍2
В OpenClaw добавили UI

🦞 Помните еще про Краба? Забыли небось, а он еще жив и развивается :)

⚡️ Петер Штайнбергер, автор и главный разработчик OpenClaw опубликовал в X пост с новым UI интерфейсом.
Краб выполз из терминале и теперь обзаводится интерфейсом с визуализациями и командной работой.

Все идут по общей траектории - OpenwebUI, Hermes Desktop, тот же Slack Code, - мультиагентные UI среды, где работу видит вся команда людей и весь рой агентов.

Поборолись за технические фишки и теперь пошла борьба за удобство.

#OpenClaw #агенты #UI
———
@tsingular
🔥16👍10⚡1
FreeToken: MoE-модель на 753B параметров запустили на одной домашней видеокарте

Запуск моделей локально не устаёт удивлять. Казалось бы, что уже всё возможное выжато и ну никак не получится на локальной машине получить качество облачных датацентов.
Но нет, - вот вам еще один подарок от учёных из Беркли.

⚡️ Команда из Berkeley и UT Austin выкатила FreeToken: движок инференса, который превращает обычный ПК в платформу для MoE-гигантов.
35B модель крутится на ноутбуке с 8 ГБ видеопамяти,
284B DeepSeek-V4-Flash приемлемо крутится на игровом ПК с RTX 5090,
а 753B GLM-5.2 запускается на одной RTX PRO 6000.

🔧 Главная фишка в оптимизации использования всех ресурсов компьютера совокупно, а не заточка под GPU или NPU:
- Все веса MoE-экспертов лежат в обычной RAM.
- В VRAM хранится только кэш наиболее нужных сейчас экспертов.
- Если нужный эксперт уже в VRAM — его считает GPU.
- Если эксперта нет — FreeToken решает: загрузить его через PCIe в VRAM или посчитать прямо на CPU.
- CPU и GPU считают разные эксперты одного MoE-слоя одновременно, потом их результаты складываются.
- Долю «грузить на GPU / считать на CPU» движок выбирает по реальной пропускной способности RAM и PCIe конкретного компьютера.
- Во время prefill следующий целый слой экспертов копируется RAM → VRAM, пока GPU считает текущий слой.
- Для этого используются два буфера: один считается, второй в это время заполняется.
- При decode эксперты вытесняются из VRAM по LRU: недавно использованные остаются, давно не нужные заменяются.
- Поэтому модель целиком в VRAM никогда не помещается и не должна помещаться — VRAM работает как быстрый кэш над RAM.

📊 На практике декод идёт в 1,5-2,3 раза быстрее, чем у llama.cpp и KTransformers.
Первый токен приходит быстрее чем за 44 секунды даже в длинных агентных сессиях, где конкуренты переваливают за 150 и ловят таймауты.

Код открыт под Apache 2.0, есть десктоп-приложение под Windows и Linux, репозиторий уже собрал 1,6 тысячи звёзд.

Выглядит как цыганская магия :)
Ну т.е. открытые веса теперь стали значительно доступнее и фронтир-модель -таки может жить у тебя дома. 💪

📎 GitHub проекта: FreeToken
paper

#MoE #FreeToken #Berkley
———
@tsingular
🔥29⚡8✍4❤2🤔2🤯1🏆1
This media is not supported in your browser
VIEW IN TELEGRAM
Junie Local: JetBrains запустили кодинг-агента на Mac

Еще один пример прокачки локальных кодовых-агентов.
На этот раз JetBrains, которые ранее выпустили кодового агента Junie, создали его локальную версию .

⚡️ Junie Local: одна команда /local внутри IDE запускает скачивание модели локально, запускает сервер инференса и переключает на неё агента.
Модель используется Qwen3.6-27B в 4 битах, но не обычная, а оптимизированная.

🔧 Главная фишка в оптимизации этой модели под собственный профиль работы кодинг-агента:
Большую часть времени агент тратит на prefill, то есть чтение файлов, а не генерацию.
Инструкции 8-битной арифметики Neural Accelerator в чипе M5 позволяют получить +40% к пропускной способности prefill (патч отдадут в MLX-VLM, так что в будущем это может стать частью базового билда MLX).
Qwen3.6 специально выбрали вместо более новой 3.8: потому, что 3.8 требует включённого reasoning, что замедляет работу вчетверо.
Speculative decoding при этом удваивает скорость генерации.
KV-кэш переиспользуется между задачами.

📊 По внутреннему тесту JetBrains Qwen3.6-27B без reasoning вышел по качеству ответов на уровень Sonnet 4.5 с reasoning, и лишь чуть ниже GPT-5.
На повседневных задачах разницы не заметишь, а для сложной архитектуры критично.

Требования серьёзные, - текущая оптимизация выполнена конкретно под Mac на M5 с 64 ГБ RAM, при этом так же разработан прототип для DGX Spark и RTX 5090.

Чем проще будет запускать локальные модели,- тем меньше нагрузка на датацентры, - тем больше ресуров для тренировки более сильных моделей следующего поколения.
Одна польза, в общем.

📎 Подробный разбор оптимизаций: Как мы оптимизировали Qwen 3.6 для агента Junie
пост о запуске

#кодинг #Junie #локальныеLLM
———
@tsingular
⚡4❤3👍2🔥2🆒1
Еще немного на память с Олимпиады роботов 2026

Жим штанги над головой пока даётся роботу с трудом.
Точнее даже - не даётся :)

Тем интереснее будет увидеть через год уверенное исполнение.

#роботы #жим #штанга #Олимпиада
------
@tsingular
😁13⚡4👾3🔥1
мем из будущего

#юмор
———
@tsingular
😁35❤‍🔥5⚡3✍1
Модель может захватить сервер, на котором живут её веса

В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.

⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.

🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.

🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.

Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.

📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw

#безопасность #LLM #vLLM
———
@tsingular
✍4🔥3👾3⚡1
Раскрыт секрет самого богатого человека на Тайване

Пока весь мир следит за Nvidia и TSMC, самым богатым человеком Тайваня стал 85-летний плотник, который всю жизнь делал мебельную фурнитуру.

Lin Tsung-Chi, основатель компании King Slide Works, обошёл владельцев чиповых империй с состоянием около 19,5 млрд долларов.

⚡️ Его компания из Гаосюна, мировой лидер по производству серверных салазок: тех самых металлических рельс, на которых сервер выдвигается из стойки.
Казалось бы, копеечная деталь.

Но в эпоху ИИ это критический узел: AI-стойка весит как холодильник, сервер внутри стоит как люксовый автомобиль, и любая поломка рельсы при обслуживании превращается в миллионы убытков.

🔧 King Slide вырвалась вперёд за счёт двух инженерных решений:
Вместо дюжины винтов при монтаже: защёлка, фиксирующая рельсу одним кликом.
Кнопка демонтажа в передней части стойки: инженеру больше не нужно тянуться вглубь отверткой за сервером весом под сотню килограмм.

📊 Экономика получилась фантастическая: выручка утроилась за пять лет, валовая маржа выросла с 50% до 76%, а по прибыли на акцию компания уже обошла саму TSMC.
Клиенты: NVIDIA и четыре крупнейших облачных провайдера мира.

💡 Вывод из этой истории: даже в безумной гонке ИИ, где все смотрят на чипы и датацентры, деньги текут к тем, кто делает лопаты, - в роли лопат на этот раз стоечные салазки.

Кстати, занимательный факт, - однажды у меня на кухне сломались похожие рельсы для выдвижной полки нижнего шкафа и я вместо мебельных рельс запилил туда как раз пару серверных.
Надёжность капитальная - держит полностью выдвинутую полку с кастрюлями как родной!

В общем, хорошие салазки полезны не только в ИИ :)

📎 Подробнее: WSJ, разбор CommonWealth Magazine

#ИИ #Тайвань #бизнес
———
@tsingular
🔥49❤7😁4👍32⚡1
Forwarded from Data Secrets
Хайп зашел слишком далеко: прокуратура Алабамы расследует инцидент со взломом Hugging Face

Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей.

В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. Вследствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
🤯104👍3👻1
ИИ в кармане: Artificial Analysis затестили LLMки на смартфонах

Локальные модели на телефонах уже умеют следовать инструкциям, вызывать инструменты и отвечать на вопросы и их уже столько, что настало время измерить их производительность.

Artificial Analysis вместе с Liquid AI запустили первые системные бенчмарки интеллекта и скорости для моделей, которые помещаются в смартфон.

🔧 Подход серьёзный: одинаковые сборки, квантованные до 4 бит и меньше, реальный инференс через llama.cpp на живых телефонах, причём скорость, задержку и память меряют в климатической камере, чтобы результаты были воспроизводимы.

Интеллект оценивают пять тестов под реальные задачи телефона: вызов инструментов, следование инструкциям, знание без галлюцинаций, научные рассуждения и математика.

В зачёт идёт всё, что влезает в 8 ГБ памяти вместе с KV-кэшем при 8K контексте.

📊 На iPhone 17 Pro лидируют Nanbeige4.2-3B и LFM2.5-2.6B, обе по 63 балла.
Но последняя работает эффективнее: ответ на стандартный промпт за 8 секунд с 2,3 ГБ памяти против 21 секунды и 4 ГБ у конкурента.
MoE-модели вроде LFM2.5-8B-A1B активируют лишь миллиард параметров на токен и отвечают быстрее шести секунд.

💡 Интересно как размер контекста влияет на результат.
При 16K побеждают компактные модели, при 64K вперёд вырывается Ling 3.0 Tiny, но 64K на телефоне это двадцать минут генерации и севшая батарея.

А если ограничить ответ одной минутой, первым становится быстрый LFM2.5-8B-A1B, а фавориты падают в конец, потому что их рассуждения просто не успевают дописаться.

Ну т.е. на телефоне имеет смысл выбирать MoEшную модель без рассуждений. 📱

📎 Методика и результаты: Artificial Analysis
Опенсорсный стенд Liquid AI: Pipette на GitHub

#ИИ #локальныеLLM #смартфоны
———
@tsingular
👍8✍3❤1⚡1
Apple выпустили идеальный дом для ИИ агентов: новый Mac mini на M6

Прошло пол года с хайпа по макмини под Крабов и вот Apple выпустила обновление: новый Mac mini на чипах M6 и M5 Pro.
В пресс-релизе так и пишут, что идеально для постоянно включённых агентов.

🔧 Что внутри:
M6: 12-ядерный CPU, самый быстрый одноядерник на рынке, и впервые на Mac mini нейроускорители в каждом GPU-ядре.
Итог: до 4х быстрее AI-производительность против M4, графика и хранилище вдвое быстрее.
Нейродвижок Dual 16-core тоже ускорился вдвое, память от 16 ГБ с пропускной способностью до 170 ГБ/с.

Старшая модель на M5 Pro: до 18 ядер CPU и 20 ядер GPU, 64 ГБ памяти на 307 ГБ/с, для больших локальных моделей и диффузий.

💡 Отдельная фишка для агентных ферм: Thunderbolt 5 позволяет кластеризовать несколько Mac mini в один узел и гонять крупные модели целиком локально.

💼 По сути Apple легализовала целую категорию домашних AI-серверов. Маленькая беззвучная коробка, которая жуёт агентные задачи 24/7 за копейки по электричеству, это ровно то железо, на котором комфортно разместить Гермесы и Крабы с возможностью запуска малых вспомогательных моделей для TTS, OCR, эмбеддинги и т.д, а то и Qwen3.8:27b поднять и работать вообще без интернета.
Предзаказы открыты, в продаже с 22 сентября.

Цены:
M6 от $899
M5 Pro от $1,699

📎 Пресс-релиз: apple.com

#Apple #MacMini #локальныеLLM
———
@tsingular
🔥15❤7⚡21
да ну сколько можно-то! :)

https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next

#Qwen
———
@tsingular
🔥19👍5😁3
Forwarded from Data Secrets
Сбер открыл доступ к новому поколению моделей GigaEmbeddings
 
Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.
 
Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.
 
Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.
 
На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.
 
По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.
 
Ищите веса под лицензией MIT на GitVerse и HuggingFace.
Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией:

HF: 480M | 3B | 10B-A1.8B
Gitverse: 480M | 3B | 10B-A1.8B
 
Подробности читайте в посте команды ↖️
👍9🔥5⚡3🐳1
Mac Studio на M5 Ultra: 512 ГБ единой памяти для локальных LLM

Apple обновила старшую линейку: вышел новый Mac Studio на чипах M5 Max и M5 Ultra, позиционируется как лучший десктоп для локального ИИ.

🔧 Что внутри:
M5 Max: 18-ядерный CPU, до 40 ядер GPU с нейроускорителями в каждом, до 128 ГБ памяти и 3,9х прирост AI-производительности.
M5 Ultra: 36-ядерный CPU, 80 ядер GPU, 512 ГБ единой памяти и пропускная способность 1,2 ТБ/с, в 4,3x быстрее под AI-инференс по сравнению с M3 Ultra!
SSD нового поколения на PCIe Gen 6: хранилище вдвое быстрее, большие модели грузятся заметно шустрее.

💡 Главная фишка для локального ИИ: кластеризация.
Thunderbolt 5 вместе с RDMA позволяет объединить несколько Mac Studio в единый пул.
Кластер из четырёх машин даст трёхкратный прирост скорости инференса против одной.
Это значит, что фронтирные open-weight модели целиком живут у тебя на столе.

Приятно что не стали снижать максимальный объем памяти, - были слухи что 256 гигов будет потолок, но теперь с 4х512 можно даже Kimi K3 локально запустить будет, не говоря уже о DeepSeek Pro

💼 Цены:
M5 Max от $2,499
M5 Ultra от $5,499 (конфигурация на 512 ГБ, только с конца октября)

Начинаем откладывать заначку. топовая конфигурация Ультры скорее всего в районе $10К будет стоить.

📎 Пресс-релиз Apple и цены: 9to5Mac

#Apple #MacStudio #локальныеLLM
———
@tsingular
🔥8👍2🏆22