Ученые представили эффективную модель StreamingLLM для обучения языковых моделей
- Ученые из MIT, Meta AI и Carnegie Mellon предложили фреймворк StreamingLLM для обучения языковых моделей на бесконечной длине последовательности без дорогостоящей донастройки.
- Предложенный метод позволяет решить проблему деградации работы языковых моделей при встрече с последовательностями, превышающими их корпус обучения.
- StreamingLLM использует тенденцию моделей сохранять исходные токены как "точки внимания", позволяя снизить перплексию и достигать скорости декодирования в 22 раза быстрее, чем при использовании предыдущих техник.
#StreamingLLM, #языковыемодели, #MetaAI
https://notes.aimodels.fyi/llm-infinite-context-window-streamingllm/
- Ученые из MIT, Meta AI и Carnegie Mellon предложили фреймворк StreamingLLM для обучения языковых моделей на бесконечной длине последовательности без дорогостоящей донастройки.
- Предложенный метод позволяет решить проблему деградации работы языковых моделей при встрече с последовательностями, превышающими их корпус обучения.
- StreamingLLM использует тенденцию моделей сохранять исходные токены как "точки внимания", позволяя снизить перплексию и достигать скорости декодирования в 22 раза быстрее, чем при использовании предыдущих техник.
#StreamingLLM, #языковыемодели, #MetaAI
https://notes.aimodels.fyi/llm-infinite-context-window-streamingllm/
AIModels.fyi
LLMs can be extended to infinite sequence lengths without fine-tuning
LLMs trained with a finite attention window can be extended to infinite sequence lengths without any fine-tuning.
Исследователи из MIT продолжают доработку метода для непрерывного длительного ведения диалогов без потери контекста.
Технология, о которой уже писали в октябре, StreamingLLM, позволяет чатботам общаться без сбоев, обрабатывая до 4 миллионов слов.
Технология в 22 раза быстрее по сравнению с предыдущими методами.
Основана на изменении механизма кэша ключевых-значение, улучшая сохранение первых данных цепочки диалога в памяти.
Первое слово в предложении является ключевым для генерации последующих слов, его сохранение в кэше повышает производительность.
Например, если в кэше 256 токенов, требуется 63 миллисекунды для декодирования нового токена, а StreamingLLM — 31 миллисекунду.
Однако если размер кэша вырастет до 4096 токенов, для расчета нового токена потребуется 1411 миллисекунд, тогда как для StreamingLLM потребуется всего 65 миллисекунд.
StreamingLLM добавили в библиотеку TensorRT-LLM от NVIDIA.
Есть шансы на долгие, осмысленные диалоги.
#MIT #StreamingLLM #NVIDIA
Технология, о которой уже писали в октябре, StreamingLLM, позволяет чатботам общаться без сбоев, обрабатывая до 4 миллионов слов.
Технология в 22 раза быстрее по сравнению с предыдущими методами.
Основана на изменении механизма кэша ключевых-значение, улучшая сохранение первых данных цепочки диалога в памяти.
Первое слово в предложении является ключевым для генерации последующих слов, его сохранение в кэше повышает производительность.
Например, если в кэше 256 токенов, требуется 63 миллисекунды для декодирования нового токена, а StreamingLLM — 31 миллисекунду.
Однако если размер кэша вырастет до 4096 токенов, для расчета нового токена потребуется 1411 миллисекунд, тогда как для StreamingLLM потребуется всего 65 миллисекунд.
StreamingLLM добавили в библиотеку TensorRT-LLM от NVIDIA.
Есть шансы на долгие, осмысленные диалоги.
#MIT #StreamingLLM #NVIDIA