❓ Почему локальная LLM «тупит» сильнее, чем должна

Разбор на Level1Techs объясняет, почему одна и та же модель у вас дома ощущается заметно глупее, чем в бенчмарках лаборатории. Дело не в «плохой» модели, а в расхождениях реализации инференса: у каждого своё железо, свои GPU разных поколений, свой набор библиотек и свой путь исполнения кода.

Автор призывает не оценивать модель тремя zero-shot промптами при температуре 0. Для агентных задач нужны длинноконтекстные тесты с вызовом инструментов и предметные бенчмарки. Отдельно отмечает типичную ошибку: слишком низкая температура ломает выход Qwen — модель зацикливается в THINK-режиме.

Ключевое понятие — KL-дивергенция: мера того, насколько распределение вероятностей следующих токенов ушло от эталонного. Маленький KLD не значит «умнее», а цифры на карточках HF-квантов стоит игнорировать без полного описания методики: контрольные чекпоинты, окружение, контекст, направление расчёта.

Отдельно — про vLLM: в ночном контейнере 734 пакета, каждый со своими багами. Итог: ваш локальный стек — это уникальная комбинация кода, поэтому абсолютная воспроизводимость токенов почти недостижима, а лёгкое ощущение «что-то не так» — норма.

#AI #LLM #Inference #KLD #Models