Оптимизация обучения LLM на устаревшем железе
Ученые из Университета Сучжоу разработали MemLong - метод, расширяющий контекст LLM с 2000 до 80000 токенов на карте двухлетней давности - NVIDIA 3090.
Технология использует внешний ретривер для извлечения данных и сохраняет нижние слои модели неизменными, обучая только верхние.
MemLong превосходит современные аналоги в задачах с длинным контекстом на 10.2%.
Для примера, - для обучения 3-миллиардной модели хватило 8 GPU NVIDIA 3090 в течение 8 часов.
Ну т.е. потенциально любой "в гараже" может обучать модели средней мощности. У всех ведь есть гараж с 8х3090 ? :)
#MemLong #NVIDIA #GPU
-------
@tsingular
Ученые из Университета Сучжоу разработали MemLong - метод, расширяющий контекст LLM с 2000 до 80000 токенов на карте двухлетней давности - NVIDIA 3090.
Технология использует внешний ретривер для извлечения данных и сохраняет нижние слои модели неизменными, обучая только верхние.
MemLong превосходит современные аналоги в задачах с длинным контекстом на 10.2%.
Для примера, - для обучения 3-миллиардной модели хватило 8 GPU NVIDIA 3090 в течение 8 часов.
Ну т.е. потенциально любой "в гараже" может обучать модели средней мощности. У всех ведь есть гараж с 8х3090 ? :)
#MemLong #NVIDIA #GPU
-------
@tsingular
👍5👀1