This media is not supported in your browser
VIEW IN TELEGRAM
Google TurboQuant: Сжатие памяти ИИ в 6 раз без потерь
Google Research представили TurboQuant. Алгоритм, который убирает барьер работы с глубоким контекстом: дефицит видеопамяти под KV-кэш.
🌀 Полярное квантование: Технология PolarQuant переводит данные в полярные координаты. Модель хранит только радиус и угол. Лишний объем в памяти исчезает, остается чистый сигнал.
🎯 Точность без компромиссов: Благодаря 1-битной матрице коррекции ошибок QJL, алгоритм сжимает данные до 3 бит. Тест «игла в стоге сена» проходит со стопроцентным результатом при 6-кратной экономии места.
🚀 Ускорение H100: На ускорителях NVIDIA H100 зафиксирован 8-кратный прирост скорости вычислений. Это решение проблемы задержек при генерации текстов в миллионы токенов.
💼 Польза бизнесу: TurboQuant открывает путь к запуску тяжелых RAG-систем на текущем оборудовании. Затраты на инфраструктуру падают. Глубина анализа документов растет.
Сверхдлинный контекст в LLM превращается в обыденность.
#Google #TurboQuant #VRAM
───
@tsingular
Google Research представили TurboQuant. Алгоритм, который убирает барьер работы с глубоким контекстом: дефицит видеопамяти под KV-кэш.
🌀 Полярное квантование: Технология PolarQuant переводит данные в полярные координаты. Модель хранит только радиус и угол. Лишний объем в памяти исчезает, остается чистый сигнал.
🎯 Точность без компромиссов: Благодаря 1-битной матрице коррекции ошибок QJL, алгоритм сжимает данные до 3 бит. Тест «игла в стоге сена» проходит со стопроцентным результатом при 6-кратной экономии места.
🚀 Ускорение H100: На ускорителях NVIDIA H100 зафиксирован 8-кратный прирост скорости вычислений. Это решение проблемы задержек при генерации текстов в миллионы токенов.
💼 Польза бизнесу: TurboQuant открывает путь к запуску тяжелых RAG-систем на текущем оборудовании. Затраты на инфраструктуру падают. Глубина анализа документов растет.
Сверхдлинный контекст в LLM превращается в обыденность.
#Google #TurboQuant #VRAM
───
@tsingular
🔥25🤯5✍2⚡1
Forwarded from Machinelearning
Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.
Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.
Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.
По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.
Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.
Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.
Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.
Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.
Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.
@ai_machinelearning_big_data
#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍6🔥5⚡1🏆1