TuringQ применила фотонный квантовый процессор к сжатию LLM и обошла SVD на 4,69 пункта
TuringQ и Шанхайский университет транспорта выложили препринт QuLoC: выходы фотонного квантового устройства задают веса при низкоранговом сжатии Qwen3.5-4B.
🔬 Каждый MLP в слоях 8–23 заменяется произведением двух матриц низкого ранга, а между ними стоит вектор гейтинга.
Вектор собирается из 373 измеренных кривых отклика семи конфигураций чипа с четырьмя оптическими модами: вероятности детектирования проходят через обучаемую классическую матрицу.
Матрицы инициализируются усечённым SVD, дальше идут две стадии: послойное восстановление каждого блока по поведению исходного слоя и общая дистилляция от замороженного Qwen3.5-27B.
После обучения гейтинг вшивается в матрицы: на выходе получается обычная плотная модель без квантовых схем в инференсе.
📊 На инференсе средняя точность такой модели по шести задачам выросла с 48,54 % у оптимизированного SVD до 53,23 %.
Сильнее всего рост оказался на HellaSwag, плюс 10,92 пункта, дальше ARC-Easy +5,22 и WinoGrande +4,63.
Перплексия на WikiText-2 упала с 14,133 до 12,734, на C4 с 26,027 до 25,350.
Параметров в языковой части стало меньше на 20,05 %: 3,36 млрд против 4,21 млрд.
Основная серия изменений шла на численной модели схемы с 16 модами: против Swift-SVD 54,03 % против 49,24 %, отсюда заявленные 9,73 % относительного прироста.
📐 Замеров задержки и пропускной способности в работе нет. Авторы пишут, что разница в точности объясняется параметризацией гейтинга, а не квантовым вычислительным преимуществом, и что вшивание коэффициентов само по себе ускорения не даёт.
💼 Это ещё не квантовая LLM: процессор участвует только в подготовке коэффициентов сжатия, генерация идёт на обычном железе.
Однако к списку применений QPU к языковым моделям добавилась ещё одна экспериментально подтверждённая область.
#TuringQ #QuantumComputing #кванты
———
@tsingular
TuringQ и Шанхайский университет транспорта выложили препринт QuLoC: выходы фотонного квантового устройства задают веса при низкоранговом сжатии Qwen3.5-4B.
🔬 Каждый MLP в слоях 8–23 заменяется произведением двух матриц низкого ранга, а между ними стоит вектор гейтинга.
Вектор собирается из 373 измеренных кривых отклика семи конфигураций чипа с четырьмя оптическими модами: вероятности детектирования проходят через обучаемую классическую матрицу.
Матрицы инициализируются усечённым SVD, дальше идут две стадии: послойное восстановление каждого блока по поведению исходного слоя и общая дистилляция от замороженного Qwen3.5-27B.
После обучения гейтинг вшивается в матрицы: на выходе получается обычная плотная модель без квантовых схем в инференсе.
📊 На инференсе средняя точность такой модели по шести задачам выросла с 48,54 % у оптимизированного SVD до 53,23 %.
Сильнее всего рост оказался на HellaSwag, плюс 10,92 пункта, дальше ARC-Easy +5,22 и WinoGrande +4,63.
Перплексия на WikiText-2 упала с 14,133 до 12,734, на C4 с 26,027 до 25,350.
Параметров в языковой части стало меньше на 20,05 %: 3,36 млрд против 4,21 млрд.
Основная серия изменений шла на численной модели схемы с 16 модами: против Swift-SVD 54,03 % против 49,24 %, отсюда заявленные 9,73 % относительного прироста.
📐 Замеров задержки и пропускной способности в работе нет. Авторы пишут, что разница в точности объясняется параметризацией гейтинга, а не квантовым вычислительным преимуществом, и что вшивание коэффициентов само по себе ускорения не даёт.
💼 Это ещё не квантовая LLM: процессор участвует только в подготовке коэффициентов сжатия, генерация идёт на обычном железе.
Однако к списку применений QPU к языковым моделям добавилась ещё одна экспериментально подтверждённая область.
#TuringQ #QuantumComputing #кванты
———
@tsingular
✍7⚡3🆒1