NVIDIA готовит к выходу RTX 4090 с 96gb VRAM

Опровергли.

#NVIDIA #RTX4090 #VRAM
------
@tsingular

Llama.cpp позволил запустить 120B-параметровую MOE модель на 8GB VRAM

Новая опция --cpu-moe в llama.cpp отправляет экспертные слои MOE-архитектуры на процессор (17-25 токенов/сек на 14900K), а слои внимания оставляет на GPU.

Требуется всего 5-8GB VRAM вместо стандартных 22GB для полной модели. Система показала 25+ токенов/сек генерации на RTX 3060Ti с 64GB оперативки.

МOE-архитектура решает главную проблему домашнего AI — нехватку видеопамяти. Routing таблицы и LayerNorm остаются на GPU для быстрого prefill, гигантские MLP-веса перекочёвывают на CPU.

Видеокарточка за 300 долларов тянет модель на 120 миллиардов параметров. Скоро домашние компы будут умнее корпоративных серверов прошлого года.

народ в комментах пишет gpt-oss-120B запустили на 5090 (32GB VRAM) с 192GB DDR5 со скоростью 35 т/с

TLDR: запускаем 120B на 4090

#llamacpp #MOE #VRAM
------
@tsingular

Google TurboQuant: Сжатие памяти ИИ в 6 раз без потерь

Google Research представили TurboQuant. Алгоритм, который убирает барьер работы с глубоким контекстом: дефицит видеопамяти под KV-кэш.

🌀 Полярное квантование: Технология PolarQuant переводит данные в полярные координаты. Модель хранит только радиус и угол. Лишний объем в памяти исчезает, остается чистый сигнал.

🎯 Точность без компромиссов: Благодаря 1-битной матрице коррекции ошибок QJL, алгоритм сжимает данные до 3 бит. Тест «игла в стоге сена» проходит со стопроцентным результатом при 6-кратной экономии места.

🚀 Ускорение H100: На ускорителях NVIDIA H100 зафиксирован 8-кратный прирост скорости вычислений. Это решение проблемы задержек при генерации текстов в миллионы токенов.

💼 Польза бизнесу: TurboQuant открывает путь к запуску тяжелых RAG-систем на текущем оборудовании. Затраты на инфраструктуру падают. Глубина анализа документов растет.

Сверхдлинный контекст в LLM превращается в обыденность.

#Google #TurboQuant #VRAM
───
@tsingular