Liquid AI представила LFM3 – шесть компактных моделей для текста, изображений, видео и звука с открытыми весами.

Первый выпуск – модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.

Что внутри:

- LFM3-1.7B – текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B – работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B – распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B – объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B – модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.

Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.

По оценке команды, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 – с 55,89 до 71,39.

Все модели можно дообучать на одной GPU, заявляют разработчики. Доступны базовые и дообученные веса, Playground и API.


> Blog: http://liquid.ai/blog/lfm3
> Docs: http://docs.liquid.ai
> Open weights: http://huggingface.co/collections/LiquidAI/lfm3
> Playground: http://playground.liquid.ai
> API: http://console.liquid.ai
> Pipette: http://pipette.liquid.ai
> Get in touch for custom fine-tuning: http://liquid.ai/connect

Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах.

Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.

В SLEEP чередуются два режима:

Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.

Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.

Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.

Что показали эксперименты команды:

- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.

«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.

https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/