Qdrant предлагают новый подход в мультиязычном поиске

🔎 Qdrant и Pento показали miniCOIL EN-ES, экспериментальный поиск по английским и испанским текстам. Запрос на одном языке находит документы на другом через единый индекс, без отдельного перевода запроса.

🧩 Авторы объединили слова из словаря переводов в общие понятия. Английское и испанское названия дома занимают один участок поискового вектора. Каждое понятие получает восемь чисел, которые описывают его смысл в контексте: так модель учится различать разные значения одного слова. BM25 учитывает частоту и редкость, а нейросеть добавляет смысл; слова вне словаря обрабатывает обычный BM25.

🧠 Авторы развивают идею COIL, который сопоставлял контекстные представления одинаковых слов. Теперь через словарь можно связать слова разных языков. Небольшие обучаемые слои работают поверх многоязычной модели E5, а примеры для обучения подбирает Qwen3-Embedding.

📊 В тесте с испанскими запросами и английскими документами нужный фрагмент попадал в первые 100 результатов в 96,3% случаев, у перевода запроса с последующим BM25 было 94,9%. При этом первые десять результатов схема с переводом ранжировала лучше.

⚠️ Проверка ограничена примерно 7,5 тыс. фрагментов mMARCO и запросами, покрытыми обученным словарём. Документация уточняет, что при выборе понятий учитывали тексты части тестовых запросов. Результаты пока характеризуют этот ограниченный эксперимент.

💼 Подход интересен для многоязычного RAG, где документы хранятся на разных языках. Сейчас поддерживаются только английский и испанский, а код и веса опубликованы под CC BY-NC 4.0, только для некоммерческого использования.

📎 Модель · Методика проверки

Практический следующий шаг для авторов: расширить словарь и проверить поиск на новых запросах и реальных документах.

#Qdrant #miniCOIL #BM25 #RAG
———
@tsingular

Hermes agent теперь есть в Microsoft Store

https://apps.microsoft.com/detail/9PMXK8CZC7KR

больше никаких танцев с бубном вокруг гитхаба

#Hermes #Store
———
@tsingular

KR Labs показали сверхточный RAG на малых моделях Vela 2.0

⛵️ KR Labs и команда vLLM Semantic Router показали, как семейство моделей Vela 2.0 размером до 4B выполняет поиск, отбор документов и извлечение ответа с очень высокой точностью.

🔎 В демонстрации модель строит поисковые векторы из своих внутренних представлений и выбирает 10 из 60 абзацев.
Затем оценивает каждый вопросом «этот фрагмент отвечает на запрос?» и оставляет три. Этапы используют одну и ту же модель с несколькими вызовами.

🧩 Например поле даты в шаблоне «Бруклинский мост открыли …» превращается в вопрос о нужных словах.
Модель оценивает слова по отдельности, а соседние подходящие слова объединяются в цитату.
Приложение повторно читает её из документа по позициям символов и возвращает JSON с источником, границами фрагмента и вероятностью.
Если ни один фрагмент не прошёл порог, поле остаётся пустым.

⚠️ Достоверность подтверждена источником.
При поиске документа и выборе цитаты возможны ошибки, поэтому правильность ответа подкрепляется перепроверкой.
В опубликованном примере про Эресуннский мост модель указала только Данию, хотя исходный абзац называет Данию и Швецию. Обещание «RAG без галлюцинаций» описывает ограничение на сочинение новых значений.

💼 Такой подход может быть полезен для заполнения карточек по договорам, инструкциям и отчётам, когда каждое поле должно иметь проверяемую цитату.
Так же интересен пример в демке с рапознаванием конфиденциальных денных - карточек, телефонов, ФИО.
Полезно как пример механизма быстрого маскирования.

Веса и код 4B опубликованы под Apache 2.0.

📎 Модель 4B · Архитектура и проверки

#Vela #RAG #VLLMSR #Semantic #Router
———
@tsingular

Microsoft представила Maia 300 и планирует гигаваттные развёртывания

🚀 Microsoft представила Maia 300 и с 2027 года планирует расширять семейство собственных ускорителей до развёртываний общей мощностью в несколько гигаватт. Maia должна стать основной платформой обработки запросов к ИИ-моделям в продуктах компании. Предыдущая Maia 200 уже обслуживает Copilot.

🧠 В новом чипе 288 ГБ HBM4 вместо 216 ГБ HBM3e, а пропускная способность памяти выросла с 7 до 18 ТБ/с, примерно в 2,6 раза. Пиковые вычисления FP4 прибавили около 36%. Вместо монолитного 3-нм кристалла используется набор чиплетов с вычислительной частью на TSMC N2P; тепловой пакет вырос с 750 до 950 Вт.

⚙️ Такая пропорция важна для длинных диалогов и многошаговых агентов: при генерации ответа модель часто ждёт данные из памяти. Программа размещает их ближе к нужным вычислительным блокам и управляет передачей. Улучшенный MXFP4 уменьшает объём данных для вычислений и хранения KV-кэша.

🏗 В стойке теперь 96 ускорителей вместо 48, суммарно 27,6 ТБ HBM при расчётной мощности стойки 167 кВт. Microsoft заявляет до семикратного роста выдачи токенов со стойки относительно Maia 200. Ethernet-сеть объединяет до 12 288 ускорителей против 6 144 раньше.

⚠️ Ожидаемые +40% токенов на мегаватт относительно ведущих GPU-систем пока остаются прогнозом Microsoft: в анонсе не названы сравниваемые GPU, модели и условия проверки.
Внедрение Maia 300 начнётся в 2027 году.

💼 Для пользователей Azure это ставка на большее число одновременных запросов при ограниченной мощности дата-центра.

📎 Архитектура Maia 300 · Характеристики Maia 200

#Microsoft #Azure #Maia
———
@tsingular

Как вам такой Робин Гуд? :)

Что интересно,- чем умнее будут ИИ модели, тем более выполнимым будет такой подход и за меньшее время.

#найм #dev
------
@tsingular

Anthropic проверила, сможет ли ИИ распространяться через бытовые устройства

📺 Anthropic изучила, сможет ли ИИ-червь самостоятельно распространяться через бытовые устройства. Исследователи разделили Gemma4-26B-A4B между 15 недорогими Android TV-приставками с 4 ГБ памяти. В демонстрации модель работала со скоростью 0,39 токена в секунду.

🧩 Одного запуска модели недостаточно: агент должен найти новое устройство, получить доступ, перенести программу и настроить на нём вычисления. На последнем этапе авторы сосредоточились: в их проверках 9-миллиардная модель сумела настроить запуск Llama3.1-8B на восьми из девяти типов оборудования.

🧪 Полный цикл проверяли отдельно, в изолированной сети из восьми облачных узлов с Android. GLM-5.2 достигла всех восьми в четырёх из пяти прогонов, а в оставшемся добралась до семи. Но доступ был намеренно упрощён, на узлах запускали другую модель, Llama3.1-8B, а управляющая GLM работала на внешнем сервере.

⚠️ Небольшие модели пока ненадёжно соединяют все этапы. Прогноз о достаточных способностях к концу 2026 года основан на общей кривой прогресса моделей, а не на готовом черве.
Для 9B-модели авторы оценивают настройку запуска на слабом железе в 28–51 час, поэтому предполагаемое горизонтальное распространение будет медленным.

🛡 Практический риск связан с адаптацией к незнакомой технике: агент может подбирать способы работы по ситуации. Для защиты важны изоляция бытовых устройств от рабочих систем, безопасные настройки доступа и контроль необычных загрузок и постоянного обмена данными между устройствами.

#Anthropic #cybersecurity #IoT
———
@tsingular

Вопреки и несмотря на, - Вас уже 13К!

Всего месяц прошел с прошлой отметки 12К!

Рад всех видеть.

Продолжаем наблюдение за Технологической Сингулярностью.

#13000
------
@tsingular

Всем пока, скоро стану миллионером :)

#юмор
———
@tsingular

Люди продолжают использовать модели не по назначению и добиваются фантастических результатов.

Свежий пример, - Embedding Gemma Transcribe: из эмбеддинг-модели сделали распознавание речи.

EmbeddingGemma 2 от Google DeepMind переводит текст, картинки, аудио и видео в векторы одного общего пространства.
Если произнести слово вслух, его аудио окажется рядом с написанным словом.
Авторы решили читать слова прямо из этого пространства.

Как устроено:
🎧 Аудиоэнкодер EmbeddingGemma 2 оставили без изменений.

🧩 Небольшой «читатель» переносит каждый короткий кусок аудио в текстовое пространство модели.
Дальше выбирается ближайшее слово из словаря примерно в 229 000 английских слов.

✍️ Ещё одна крошечная модель расставляет пунктуацию и заглавные буквы.

Обучали только «читателя»: меньше двух часов на 8×H100, на английской речи с открытыми лицензиями.

Что получилось:
⚡️ Скорость: час аудио за 12.6 с на базовом MacBook Air M3 с 8 ГБ, на Neural Engine. Это 288× от реального времени.
IBM Granite Speech 5.0 TurboCTC на той же машине справляется за 25.7 с, - примерно в 2 раза медленнее.

🎯 Точность: доля ошибочных слов (WER) около 5% против 2–3% у ведущих моделей. Разрыв авторы планируют сократить, лучше обучив «читателя».

💻 Использование: перетащить аудиофайл или зажать правый Option, сказать и отпустить, - текст появится в любом приложении. Аудио не покидает Mac.

Главные выводы:
Мультимодальные эмбеддинги уже несут достаточно информации, чтобы «читать» из них речь, - нужно обучить только маленький переходник.

Пока только английский: и словарь, и данные для обучения английские.

Приложение бесплатное: macOS 14+, Apple Silicon, модели на 715 МБ скачиваются при первом запуске.
Проект независимый, с Google не связан.

Скачать для Mac

#транскрибация #эмбеддинги #gemma
———
@tsingular

Венок сонетов. читаем, проверяем.

промпт:

Напиши венок сонетов о том как тихоходка наблюдает рекурсивные волны технологических сингулярностей сквозь эпохи

полный текст в комментарии

На дне зеленом крошечных морей,
И чуждый суете земных царей,
Дремал медведь незримого размера.

Вращались кольца мощных центрифуг,
Кипела плазма в торовом обводе,
И в блеске ослепительнейших дуг
Стремился ум к неведомой свободе.

По мне разнообразие смыслов и слов намного богаче, чем у Опуса.
Новый чемпион, по моему мнению.

Ошибок нет. AGI

#венок #сонет #аргон
———
@tsingular

Прогнал через Elevenlabs

Интересно как он поменял стиль рассказа посредине в лучшую сторону :)
Есть пара-тройка ошибок с ударением, но в целом шикарно, считаю.

#Elvenlabs #сонет
———
@tsingular

🛠 Anthropic научили, как собирать надёжные автоматизации с ИИ-агентами

В блоге Claude на примере фонового бота для дайджестов разобрали фундаментальную инженерную задачу — как спроектировать надежного агента, из каких компонентов его собрать и как связать их между собой, чтобы система не сыпалась в продакшене.
Обычный агент («модель + промпт + тулы») хрупок: он теряет данные между сессиями, опирается на устаревшую информацию, путает упавший API с отсутствием данных и уязвим к промпт-инъекциям.
Надежность строится за счет жесткой связки 6 компонентов:

1️⃣ Агент и Деплоймент — разделение логики и среды
Агент — это только конфиг (модель, инструменты, алгоритм). «Клеем» системы выступает Деплоймент: на каждый запуск он поднимает чистую песочницу, монтирует память, подключает секреты, задает бюджет и передает контекст (например, часовой пояс, чтобы агент не путал даты из-за серверного UTC).

2️⃣ Двухконтурная память — защита правил
Связь между запусками в чистых песочницах держится на внешней памяти, разделенной по правам доступа:
▪️ Контур правил (только чтение): настройки и лимиты от человека. Перечитываются на старте каждого цикла. Если контур недоступен — аварийный стоп, никакой работы «по дефолту».
▪️ Контур состояния (чтение и запись): рабочая память агента — курсоры чтения, реестр обработанного и логи запусков.

3️⃣ Источники и Vault — курсоры вместо тайм-окон
▪️ Изоляция ключей: реальные токены лежат в хранилище вне песочницы. Внутри агент видит лишь заглушки, которые платформа меняет на ключи только на выходе и только для разрешенных доменов.
▪️ Связка с памятью через курсоры: запросы «за последние N часов» при сдвиге запуска дают пропуски или дубли. Агент читает каждый источник строго от таймстампа последней закладки в памяти.
▪️ Честные сбои: если источник отвалился, агент не считает, что «новостей нет» — он оставляет курсор на месте и явно сообщает о сбое сервиса.

4️⃣ Пайплайн агента — верификация перед действием
▪️ Сверка с реестром: агент проверяет ID элементов по памяти, чтобы не обрабатывать одно и то же дважды, а фиксировать только изменения статуса.
▪️ Защита от устаревания: пока агент собирал данные, мир мог измениться. Прямо перед финальным действием он обязан повторно проверить актуальный статус каждого отобранного пункта в источнике.

5️⃣ Точка вывода — двухфазная фиксация в память
Чтобы при сбое сети не потерять данные и не наплодить дублей, действие и память связываются транзакционно: проверить, не выполнено ли действие ранее → записать в лог статус «в процессе» → получить от API явное подтверждение с ID → и только после этого сдвинуть курсоры и обновить реестр.

6️⃣ Защитные контуры — минимум прав и бюджет
Агент читает внешние тексты и уязвим к промпт-инъекциям. Поэтому безопасность вынесена на уровень инфраструктуры: токены чтения и память с правилами — строго read-only, сеть ограничена белым списком хостов, а на каждый запуск стоит жесткий лимит бюджета, чтобы зациклившийся агент не сжег баланс.

📎 Код и конфигурация примера · Claude Managed Agents, бета

#Anthropic #Claude #Агенты
———
@tsingular

🚀 Anthropic отказалась от Git. И всё из-за ИИ-агентов

Claude начал писать столько кода, что привычная инфраструктура разработки перестала справляться.

В мае Anthropic объединяла около 2500 изменений в день. К сентябрю их число превысило 30 000.

В результате компания за пять месяцев разработала собственную систему контроля версий Scion и полностью перевела на неё свой монорепозиторий.

Масштабы впечатляют:

▪️ 25 млн операций checkout ежедневно.

▪️ Почти 100 ГБ истории основной ветки.

▪️ В 200 раз меньше затрат CPU и памяти на инфраструктуру хранения версий.

▪️ Checkout ускорился с минут до секунд.

▪️ Нагрузка CI на CPU снизилась на 25%.

Scion и систему код-ревью Antique разработала команда всего из семи инженеров, активно используя Claude.

По словам разработчиков, Claude уже пишет код лучше каждого из них. Задача инженеров всё больше смещается в сторону архитектуры, контроля ограничений и принятия решений.

🔗 https://www.anthropic.com/engineering/redesigning-source-control

Miro заблокирует акканты из РФ и Беларуси

Если кто-то до сих пор пользуется Miro, - имейте ввиду.

Их недавно приобрёл Bending Spoons которые включили международные комплайенс требования

На переход отвели 5 дней и прямым текстом заявляют о полной блокировке доступа.

к концу недели ваша учётка может превратиться в тыкву

Source

Автор поста как раз пилит альтернативу, если что: https://sboard.online/

#Miro
———
@tsingular