Reflection 70B: новый лидер открытых ИИ-моделей (нет :))

Компания HyperWrite ( https://x.com/mattshumer_ ) презентовала Reflection 70B - новую открытую LLM.
Основана на Llama 3.1-70B Instruct, но с добавлением механизма самооценки и самокоррекции (Reflection).

Уникальность Reflection 70B заключается в способности распознавать и исправлять собственные ошибки благодаря методу "reflection tuning".

Модель демонстрирует превосходство над аналогами в тестах и готовится к интеграции в основной продукт HyperWrite.

В планах компании - выпуск еще более мощной версии Reflection 405B.

Больше мощных открыток! Где на это видеокарт только взять?!

Error: The model mattshumer/Reflection-Llama-3.1-70B is too large to be loaded automatically (282GB > 10GB). Please use Spaces

Полный размер - 282GB это примерно 12 карт 4090.
т.е. дома только в урезанном виде можно запустить.

Мне кажется даже если NVidia не будет выпускать новый камень для видеокарт, а просто выпустит что-то вроде AI Edition 4090 с 64Gb - их сметут.
Ну потому что 5 видеокарт можно как-то разместить в формате майнинг-фермы и Reflection в неё влезет тогда

Для 405B варианта понадобится 1,7Tb Видеопамяти!
Помянем.

UPD: Сам Reflection похоже оказался скамом и выливается в скандал. Детали в камментах.

Что не отменяет общей картины с требованиям моделей к железу.

#HyperWrite #ReflectionAI #OpenSourceAI
-------
@tsingular