Когда это все началось, многие в шутку говорили, что похоже, что Трамп советовался с ИИ.
А тут выяснилось, что это не шутка.
Мы живём в таймлайне, где президент США советуется с ИИ перед принятием решений.
Будущее наступило де факто.
Можно ли говорить, что ИИ теперь управляет США? как думаете?
#США #Trump #Grok
———
@tsingular
А тут выяснилось, что это не шутка.
Мы живём в таймлайне, где президент США советуется с ИИ перед принятием решений.
Будущее наступило де факто.
Можно ли говорить, что ИИ теперь управляет США? как думаете?
#США #Trump #Grok
———
@tsingular
ASD-STE100 - техническое упрощение как навык для агента
По следам поста Андрея Карпатого (https://x.com/karpathy/status/2105819303471976479)
STE(Simplified Technical English) помогает техническим писателям писать ясно, просто и однозначно, чтобы их тексты понимали читатели по всему миру.
Есть его подвид - ASD-STE100 для авиакосмической отрасли.
Решил сделать по нему свой вариант навыка.
Проверяет текст по чек-листу: длина предложений, залог, пунктуация, термины. Он заменяет сложные слова простыми: utilize → use, prior to → before, operable → can operate. Если замена слово в слово не работает, навык перестраивает фразу.
Пишет сообщения об ошибках по паттерну стандарта: уровень риска, команда, причина. Он держит один термин для одного предмета во всём тексте.
Лимиты из стандарта: инструкция до 20 слов, описание до 25, термин до 3 слов, абзац до 6 предложений. Для русского языка навык применяет те же принципы без английского словаря.
Андрей предлагает такие сценарии:
Оригинальная документация стандарта, текст и навык в ИИзбранном
Публичный открытый навык (не мой):
https://github.com/danyuchn/asd-ste100-skill
#ASD #STE #навыки
———
@tsingular
По следам поста Андрея Карпатого (https://x.com/karpathy/status/2105819303471976479)
STE(Simplified Technical English) помогает техническим писателям писать ясно, просто и однозначно, чтобы их тексты понимали читатели по всему миру.
Есть его подвид - ASD-STE100 для авиакосмической отрасли.
Решил сделать по нему свой вариант навыка.
Проверяет текст по чек-листу: длина предложений, залог, пунктуация, термины. Он заменяет сложные слова простыми: utilize → use, prior to → before, operable → can operate. Если замена слово в слово не работает, навык перестраивает фразу.
Пишет сообщения об ошибках по паттерну стандарта: уровень риска, команда, причина. Он держит один термин для одного предмета во всём тексте.
Лимиты из стандарта: инструкция до 20 слов, описание до 25, термин до 3 слов, абзац до 6 предложений. Для русского языка навык применяет те же принципы без английского словаря.
Андрей предлагает такие сценарии:
Текст. Попросите LLM объяснить что-то на ASD-STE100: это спецификация контролируемого языка, созданная для документации по обслуживанию авиатехники. LLM хорошо её знают, а строгие правила дают чистый и легко читаемый стиль.
Спецификация жёсткая, поэтому иногда помогает смягчить запрос, например: «на 80% в духе ASD-STE100».
диаграммы и
изображения: Вместо текста попросите нарисовать диаграмму. Её проще воспринять и понять.
веб-страницы: Попросите ответ «в HTML» и получите красивую интерактивную страницу. LLM уже хорошо делают фронтенд, анимации и т. п.
видео-объяснения: Самый перспективный формат — полностью кастомные обучающие видео на любую тему. Попробуйте, например: «Сделай видео-объяснение X в стиле 3Blue1Brown, озвучку — через мой API-ключ ElevenLabs». Ключ нужен для озвучки, либо попросите LLM найти бесплатные альтернативы, работающие локально. Это уже начинает получаться!
Итог:
Чем лучше LLM, тем больше рутины они берут на себя, а наша работа смещается на уровень надзора и понимания.
LLM помогают и здесь: интеллект и код становятся всё доступнее, поэтому можно заказывать большие одноразовые артефакты под конкретную задачу (веб-приложения, видео-объяснения), которые раньше не имело смысла создавать.
Оригинальная документация стандарта, текст и навык в ИИзбранном
Публичный открытый навык (не мой):
https://github.com/danyuchn/asd-ste100-skill
#ASD #STE #навыки
———
@tsingular
✍11🔥5👍2⚡1🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
Termium - браузер в терминале
Интересный открытый проект вышел - полноценный Chromium браузер прямо в вашем терминале.
Работает через headless режим через графический протокол Kitty (Ghostty, Kitty, WezTerm) или sixel (foot, xterm, Windows Terminal) или вообще через цветной ASCII где угодно :).
Установка:
Твиттер разработчика
#Termium #браузер
———
@tsingular
Интересный открытый проект вышел - полноценный Chromium браузер прямо в вашем терминале.
Работает через headless режим через графический протокол Kitty (Ghostty, Kitty, WezTerm) или sixel (foot, xterm, Windows Terminal) или вообще через цветной ASCII где угодно :).
Установка:
curl -fsSL https://termium.dev/install | bash
Твиттер разработчика
#Termium #браузер
———
@tsingular
👍16🔥7⚡3✍1
This media is not supported in your browser
VIEW IN TELEGRAM
Decision 2.0 от vLLM - еще один сверхбыстрый классификатор
Команда vLLM Semantic Router выпустила вторую версию Decision Foundation Models: шесть открытых весов от 0.6B до 27B, которые по скорости уделывают Jev в 20 раз.
⚙️ Что это: модели-решения. Обычная LLM генерирует текст, Decision возвращает типизированные вероятности, причём разная модель делает это по-разному: Choice выбирает опцию из кандидатов, Noul отвечает «да/нет» с вероятностью, Score расставляет оценки по шкале.
Один формат для маршрутизации запроса, проверки политики и оценки срочности.
🤖 Семейство Decision 2.0:
- Kai 0.6B, стартовая точка для маршрутизации,
- Eos 0.8B и Sol 2B, компактные гибриды с контекстом 16k,
- Nox 4B, правила и комбинации условий,
- Lux 9B, сильнейшая открытая в линейке,
- Vega 27B, вошла в мировой топ-3 Jev Decision Index из 71 модели.
📊 Цифры: каждая модель лидирует в своём размере на Jev Decision Index.
До 2,5× выше балл Decision 1.0 при том же размере.
64 вопроса об одном запросе за один проход за 63 мс на одиночном GPU.
И 20× быстрее Jev API на одиночном решении.
🛠 Интеграция: Apache-2.0, загрузка через Transformers, нативная сборка под vLLM Semantic Router.
Формат System One: state, model, questions. До 512 решений в одном батче.
💼 Зачем бизнесу: это слой между интеллектом и действием. Вопрос «пустить тяжёлую модель или лёгкую, эскалировать тикет или нет, срочно или терпит» больше не требует промпта на 500 токенов в GPT-классе.
Решение стоит миллисекунды и копейки, а веса лежат у тебя на диске.
GitHub | HuggingFace
Похоже что такие модели становятся стандартным слоем в каждом агентном стеке, как сегодня эмбеддинги и реранкеры.
Для модераторов, кстати, шикарно - 27млрд модель вполне примет осознанное решение.
Получить ответ по 64-м признакам за 60мс - это прям максимально полезно может быть
#Decision #vllm #llm #ai
———
@tsingular
Команда vLLM Semantic Router выпустила вторую версию Decision Foundation Models: шесть открытых весов от 0.6B до 27B, которые по скорости уделывают Jev в 20 раз.
⚙️ Что это: модели-решения. Обычная LLM генерирует текст, Decision возвращает типизированные вероятности, причём разная модель делает это по-разному: Choice выбирает опцию из кандидатов, Noul отвечает «да/нет» с вероятностью, Score расставляет оценки по шкале.
Один формат для маршрутизации запроса, проверки политики и оценки срочности.
🤖 Семейство Decision 2.0:
- Kai 0.6B, стартовая точка для маршрутизации,
- Eos 0.8B и Sol 2B, компактные гибриды с контекстом 16k,
- Nox 4B, правила и комбинации условий,
- Lux 9B, сильнейшая открытая в линейке,
- Vega 27B, вошла в мировой топ-3 Jev Decision Index из 71 модели.
📊 Цифры: каждая модель лидирует в своём размере на Jev Decision Index.
До 2,5× выше балл Decision 1.0 при том же размере.
64 вопроса об одном запросе за один проход за 63 мс на одиночном GPU.
И 20× быстрее Jev API на одиночном решении.
🛠 Интеграция: Apache-2.0, загрузка через Transformers, нативная сборка под vLLM Semantic Router.
Формат System One: state, model, questions. До 512 решений в одном батче.
💼 Зачем бизнесу: это слой между интеллектом и действием. Вопрос «пустить тяжёлую модель или лёгкую, эскалировать тикет или нет, срочно или терпит» больше не требует промпта на 500 токенов в GPT-классе.
Решение стоит миллисекунды и копейки, а веса лежат у тебя на диске.
GitHub | HuggingFace
Похоже что такие модели становятся стандартным слоем в каждом агентном стеке, как сегодня эмбеддинги и реранкеры.
Для модераторов, кстати, шикарно - 27млрд модель вполне примет осознанное решение.
Получить ответ по 64-м признакам за 60мс - это прям максимально полезно может быть
#Decision #vllm #llm #ai
———
@tsingular
🔥9❤3⚡3✍2🤩1🙏1
Llama.cpp тоже добавили поддержку моделей типа SystemOne
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
🔥10❤2⚡2✍2👍1
Утро диких промптов.
Наткнулся на прикольный промт у @nukonechnoru, делюсь:
делитесь, что у вас получится
#промпты
———
@tsingular
Наткнулся на прикольный промт у @nukonechnoru, делюсь:
Кадр должен содержать одно неожиданное физическое действие или визуальное обстоятельство. Не повторяй стандартные модельные позы. Пусть персонаж взаимодействует с окружающей средой так, будто фотограф случайно поймал фрагмент странного перформанса.
Для каждого кадра самостоятельно придумай один необычный элемент:
- странное использование обычного предмета;
- неожиданное положение тела;
абсурдное взаимодействие с окружением;
- физическое нарушение привычной композиции;
- контраст между серьёзностью персонажа и происходящим;
- ощущение, что кадр является частью неизвестного действия.
Не объясняй странность и не превращай её в сюрреалистический спецэффект. Событие должно выглядеть физически возможным и происходить непосредственно перед камерой.
Главное правило: фотография должна вызывать реакцию "что здесь вообще происходит?", а не "какая красивая фотосессия".
делитесь, что у вас получится
#промпты
———
@tsingular
⚡17❤10🔥7😁4✍3👍3🆒1
Forwarded from Метаверсище и ИИще
This media is not supported in your browser
VIEW IN TELEGRAM
LTX бахнули отдельную IC-LoRA Layout to Render для LTX-2.5 22B.
Она весит около 1.31 GB,rank 128 и обучена специально воспринимать 3D viewport/playblast как control signal.
Нейрорендер в действии и опенсорсе.
Заодно лежит готовый двухпроходный ComfyUI workflow:
Первый проход - 960x544, 8 steps.
Второй - 1920x1088, ещё 3 steps после x2 latent upscale.
Для запуска нужны базовые distilled-веса LTX-2.5, Gemma 4 12B encoder, video/audio VAE и spatial upscaler. Официальные ComfyUI-ноды и workflows тоже есть.
Что на входе? Плейбласт из Blender, и первый кадр в нужном стиле. Лучше всего брать первый кадр плейбласта и прогонять его через какой-нибудь image-to-image.
У них также есть Alpha Gen, SDR->HDR, Native Resolution, Refine/Restore и Layout to Render, то есть Lightricks явно пытаются застолбить опенсорсную поляну как post-production/VFX toolkit.
Ссылки:
LoRA:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render
Файлы LoRA + готовый JSON workflow:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render/tree/main
Сам workflow:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render/blob/main/LTX-2.5_ICLoRA_Layout_To_Render_Two_Stage_Distilled.json
@cgevent
Она весит около 1.31 GB,rank 128 и обучена специально воспринимать 3D viewport/playblast как control signal.
Нейрорендер в действии и опенсорсе.
Заодно лежит готовый двухпроходный ComfyUI workflow:
LTX-2.5_ICLoRA_Layout_To_Render_Two_Stage_Distilled.jsonПервый проход - 960x544, 8 steps.
Второй - 1920x1088, ещё 3 steps после x2 latent upscale.
Для запуска нужны базовые distilled-веса LTX-2.5, Gemma 4 12B encoder, video/audio VAE и spatial upscaler. Официальные ComfyUI-ноды и workflows тоже есть.
Что на входе? Плейбласт из Blender, и первый кадр в нужном стиле. Лучше всего брать первый кадр плейбласта и прогонять его через какой-нибудь image-to-image.
У них также есть Alpha Gen, SDR->HDR, Native Resolution, Refine/Restore и Layout to Render, то есть Lightricks явно пытаются застолбить опенсорсную поляну как post-production/VFX toolkit.
Ссылки:
LoRA:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render
Файлы LoRA + готовый JSON workflow:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render/tree/main
Сам workflow:
https://huggingface.co/Lightricks/LTX-2.5-22b-IC-LoRA-Layout-To-Render/blob/main/LTX-2.5_ICLoRA_Layout_To_Render_Two_Stage_Distilled.json
@cgevent
⚡7🤯6🔥3❤1🤩1
JevBench: бенч классификаторов в котором умная GPT-5.6 лишь на 14м месте
📋 TypeSafe AI,- стартап экс-исследователя OpenAI Диогу Алмейды, соавтора RLHF, с $40 млн от DCVC, в середине сентября после двух лет скрытой разработки выпустила модель Jev (название отсылает к парадоксу Джевонса: чем дешевле ресурс, тем больше его потребляют). Модель получает состояние и типизированные вопросы, а коду возвращает готовое решение с вероятностями, текст не генерируя вовсе.
За считанные дни вокруг вырос класс открытых аналогов, и у класса появился собственный бенчмарк JevBench: 52 системы, 534 решения, открытые задачи и методика под MIT.
📊 Балл сворачивается из четырёх осей равного веса: интеллект (точность выше угадывания), калибровка (сбывается ли «уверен на 80%» в 80% случаев), скорость и цена за тысячу решений, а не за токены.
Итог считается средним геометрическим, поэтому одна слабая ось топит балл, и точность за деньги уже не выкупишь.
Jev впереди с 74,4. Открытая пересборка SemIf на Qwen3.5-4B отстаёт на 1,3 пункта при почти вдвое меньшей цене, а обычный Qwen3-32B без всякого обучения под решения идёт шестым.
GPT-5.6 Luna показала лучший интеллект рейтинга, 95,3, и лишь 14-е место: 24 цента за тысячу решений против четырёх у Jev.
Реранкеры bge и GTE застряли около нуля.
💼 Для классификации, маршрутизации и оценки внутри продукта, где большая LLM дорога и медленна, это уже рабочий класс моделей: одно решение Jev читает в среднем 950 входных токенов, выходные токены бесплатны.
Открытые пересборки подобрались к оригиналу на 1,3 пункта, так что спор скоро сместится с цены на калибровку и стабильность.
Чёт я не думал, что их уже так много, в том числе открытых бесплатных.
Лицо инвесторов TypeSafe, которые залили в Jev $40 млн неделю назад предствили? :)
📎 GitHub · Документация Jev
#Jev #бенчмарк
———
@tsingular
📋 TypeSafe AI,- стартап экс-исследователя OpenAI Диогу Алмейды, соавтора RLHF, с $40 млн от DCVC, в середине сентября после двух лет скрытой разработки выпустила модель Jev (название отсылает к парадоксу Джевонса: чем дешевле ресурс, тем больше его потребляют). Модель получает состояние и типизированные вопросы, а коду возвращает готовое решение с вероятностями, текст не генерируя вовсе.
За считанные дни вокруг вырос класс открытых аналогов, и у класса появился собственный бенчмарк JevBench: 52 системы, 534 решения, открытые задачи и методика под MIT.
📊 Балл сворачивается из четырёх осей равного веса: интеллект (точность выше угадывания), калибровка (сбывается ли «уверен на 80%» в 80% случаев), скорость и цена за тысячу решений, а не за токены.
Итог считается средним геометрическим, поэтому одна слабая ось топит балл, и точность за деньги уже не выкупишь.
Jev впереди с 74,4. Открытая пересборка SemIf на Qwen3.5-4B отстаёт на 1,3 пункта при почти вдвое меньшей цене, а обычный Qwen3-32B без всякого обучения под решения идёт шестым.
GPT-5.6 Luna показала лучший интеллект рейтинга, 95,3, и лишь 14-е место: 24 цента за тысячу решений против четырёх у Jev.
Реранкеры bge и GTE застряли около нуля.
💼 Для классификации, маршрутизации и оценки внутри продукта, где большая LLM дорога и медленна, это уже рабочий класс моделей: одно решение Jev читает в среднем 950 входных токенов, выходные токены бесплатны.
Открытые пересборки подобрались к оригиналу на 1,3 пункта, так что спор скоро сместится с цены на калибровку и стабильность.
Чёт я не думал, что их уже так много, в том числе открытых бесплатных.
Лицо инвесторов TypeSafe, которые залили в Jev $40 млн неделю назад предствили? :)
📎 GitHub · Документация Jev
#Jev #бенчмарк
———
@tsingular
🔥10❤6😁4⚡3😢1
Ryan Sael - вайбсимуляторы
Наткнулся на совершенно потрясающие работы автора в твиттере
https://x.com/RyanSael
Создаёт реалистичные симуляторы разных сценариев, - география, трафик, оптика, промпты, работа сердца, магнитная левитация, цифровой город и т.д.
уже десятки проектов в 3Д у него на сайте:
https://sael.net/
подписываемся, заносим в избранное
#Sael #3D #demo
———
@tsingular
Наткнулся на совершенно потрясающие работы автора в твиттере
https://x.com/RyanSael
Создаёт реалистичные симуляторы разных сценариев, - география, трафик, оптика, промпты, работа сердца, магнитная левитация, цифровой город и т.д.
уже десятки проектов в 3Д у него на сайте:
https://sael.net/
подписываемся, заносим в избранное
#Sael #3D #demo
———
@tsingular
11🔥20🤩3⚡1
Media is too big
VIEW IN TELEGRAM
Ладно, будем считать, что высокие цены на память оправданы.
Нейрорендер, который уже даже интересно смотреть :)
#plants #zombie #нейрорендер
------
@tsingular
Нейрорендер, который уже даже интересно смотреть :)
#plants #zombie #нейрорендер
------
@tsingular
🔥43🤣19⚡6❤2✍2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Ming-Image-0.1: открытый генератор картинок от Ant Group
📋 inclusionAI, лаборатория Ant Group, в конце сентября открыла серию Ming-Image-0.1: две модели на 6B каждая. Design рисует макеты, постеры и инфографику с плотным текстом и отдаёт PNG с прозрачным фоном. Layer разбирает готовую картинку на прозрачные слои, как PSD: фон дорисовывается под вырезанными объектами. Лицензия MIT.
В связке это конвейер «техзадание → макет → редактируемые слои», и на лидерборде UI/UX от Artificial Analysis Design держит первое место среди открытых весов из 81 модели, обгоняя разработки и на 20B.
🛠 Под капотом: рисующая часть занимает 6B, но рядом работает текстовый энкодер Ling-mini-2.0 примерно на 16B параметров, из которых активно около 1,4B, плюс коннектор на 1,5B. Полный репозиторий весит около 50 ГБ, авторы проверяли на NVIDIA от 80 ГБ в BF16. Официальный infer.py требует CUDA.
Я поставил её на Mac через порт MFLUX: квант 8-bit занимает 23 ГБ на диске и 30 ГБ в памяти. Постер 1024² собирается за 23 секунды, сцена 2048×1152 за 66 секунд. Модель дистиллирована, штатные 12 шагов и guidance 1,0, больше шагов качество не поднимает. Промпт принимает до 8K токенов, то есть полноценное ТЗ, и понимает его по-русски; надписи на картинке лучше задавать латиницей.
💼 Для студий и маркетинга это рабочий стул дизайнера первого эшелона за стоимость электричества: макеты и схемы локально, без подписок и передачи клиентских ТЗ наружу. Разбор на слои пока живёт в Swift-порту для приложений или через бесплатное API OpenRouter, готовой консольной команды ещё нет.
📎 Веса · MFLUX · Разбор слоёв
#MingImage #дизайн #opensrc
———
@tsingular
📋 inclusionAI, лаборатория Ant Group, в конце сентября открыла серию Ming-Image-0.1: две модели на 6B каждая. Design рисует макеты, постеры и инфографику с плотным текстом и отдаёт PNG с прозрачным фоном. Layer разбирает готовую картинку на прозрачные слои, как PSD: фон дорисовывается под вырезанными объектами. Лицензия MIT.
В связке это конвейер «техзадание → макет → редактируемые слои», и на лидерборде UI/UX от Artificial Analysis Design держит первое место среди открытых весов из 81 модели, обгоняя разработки и на 20B.
🛠 Под капотом: рисующая часть занимает 6B, но рядом работает текстовый энкодер Ling-mini-2.0 примерно на 16B параметров, из которых активно около 1,4B, плюс коннектор на 1,5B. Полный репозиторий весит около 50 ГБ, авторы проверяли на NVIDIA от 80 ГБ в BF16. Официальный infer.py требует CUDA.
Я поставил её на Mac через порт MFLUX: квант 8-bit занимает 23 ГБ на диске и 30 ГБ в памяти. Постер 1024² собирается за 23 секунды, сцена 2048×1152 за 66 секунд. Модель дистиллирована, штатные 12 шагов и guidance 1,0, больше шагов качество не поднимает. Промпт принимает до 8K токенов, то есть полноценное ТЗ, и понимает его по-русски; надписи на картинке лучше задавать латиницей.
💼 Для студий и маркетинга это рабочий стул дизайнера первого эшелона за стоимость электричества: макеты и схемы локально, без подписок и передачи клиентских ТЗ наружу. Разбор на слои пока живёт в Swift-порту для приложений или через бесплатное API OpenRouter, готовой консольной команды ещё нет.
📎 Веса · MFLUX · Разбор слоёв
#MingImage #дизайн #opensrc
———
@tsingular
✍8❤3⚡2👍2🙏1🆒1
This media is not supported in your browser
VIEW IN TELEGRAM
Если вы думали, что устали от нейрослопа, вы просто не представляете, что нас ждёт с выходом Higgsfield AI Influencer.
Платформа выпустила конструктор виртуальных инфлюенсеров: собираете персонажа с нужным лицом, телом и стилем, выбираете трендовое движение, и через один клик получаете видео, готовое к публикации.
Внутри работает Genjutsu, их модель переноса движения: персонаж забирает у референса всё исполнение, включая танец, актёрскую игру и работу камеры, и сохраняет одно и то же лицо во всех последующих клипах..
Это уже не волна, а шторм.
higgsfield.ai | пост-анонс
#higgsfield #AIinfluencer #нейрорендер
———
@tsingular
Платформа выпустила конструктор виртуальных инфлюенсеров: собираете персонажа с нужным лицом, телом и стилем, выбираете трендовое движение, и через один клик получаете видео, готовое к публикации.
Внутри работает Genjutsu, их модель переноса движения: персонаж забирает у референса всё исполнение, включая танец, актёрскую игру и работу камеры, и сохраняет одно и то же лицо во всех последующих клипах..
Это уже не волна, а шторм.
higgsfield.ai | пост-анонс
#higgsfield #AIinfluencer #нейрорендер
———
@tsingular
🤯18🤩7👀5❤3✍1😁1🤔1🗿1
MIT обнаружили математический потолок масштабирования LLM
Статья физиков из лаборатории Джеффа Гора «Superposition Yields Robust Neural Scaling» взяла Runner-up Best Paper на NeurIPS 2025, а в феврале 2026 группа замкнула картину двумя продолжениями.
Вывод настораживает: у обучения LLM есть теоретический математический предел и никакими бюджетами это не лечится.
🧠 Механизм. Модель упаковывает более 50 000 токенов и ещё больше абстрактных понятий в скрытое пространство из нескольких тысяч измерений (у GPT-3 их 12 288). Отдельное направление каждому понятию не выделить, поэтому модель хранит их в суперпозиции: векторы накладываются, наложения создают интерференцию, и этот шум перекрытий оказывается главным источником ошибок представления. В этом режиме ошибка падает обратно пропорционально ширине модели, то есть удвоение ширины примерно вдвое снижает интерференцию.
Теория подтвердилась на открытых моделях OPT, GPT-2, Qwen2.5 и Pythia: измеренная экспонента 0.91 против теоретической единицы, на данных DeepMind по чинчилловским моделям 0.88.
⚙️ Экономика. Параметры растут примерно как квадрат ширины, так что удвоение ширины означает четырёхкратный рост модели и в 4-6 раз более дорогое обучение: бюджет уровня сотен миллионов долларов за несколько удвоений превращается в сотни миллиардов.
При чем залить деньгами эту проблему "купить экспоненту покруче" не получится: частоты слов подчиняются закону Ципфа, и архитектурные ухищрения меняют коэффициенты, но не показатель степени.
📉 Потолок. Масштабирование по ширине умирает, когда ширина сравнивается с размером словаря: у каждого понятия появляется своё направление, интерференции не остаётся, и дальнейшее расширение ничего не добавляет.
Но и на потолке общая ошибка не обращается в ноль, потому что остаётся неустранимая неоднозначность языка: после фразы «я очень люблю», например, может стоять почти что угодно.
🔬 Две другие оси. Глубина даёт потери лишь обратно пропорционально числу слоёв, так как большинство слоёв функционально похожи и усредняют ошибки вместо построения иерархии рассуждений (arXiv:2602.05970). Параметр времени влияет ещё хуже: softmax с кросс-энтропией замедляют сходимость до кубического корня из времени обучения, то есть вдвое меньшие потери требуют восьмикратного увеличения времени обучения (arXiv:2602.03685).
💼 Что это значит. Шесть лет индустрия жила правилом «больше всегда лучше», и теперь у этого правила обнаружились и математический предел, и ценник.
Отсюда текущие развороты: смеси экспертов и линейные архитектуры ломают кривую затрат, архитектуры типа nGPT плотнее упаковывают понятия и улучшают коэффициенты, а часть исследователей уходит в обучение на видео и взаимодействии с физическим миром, где данные не подчиняются текстовому закону Ципфа.
Короче надо работать над принципиальной сменой архитектуры, иначе нас ждёт потолок теоретического предела.
Но примерно то же самое мы слышим про нанометры с 90х.
Что вот вот наступит предел, что даже физика против, скоро на атомы перейдем, - а поди ж ты, - каждые 1.5 года как по расписанию вот уже 30 лет уменьшают и уменьшают размерность.
Сингулярность всё разрулит :)
📎 Основная статья · глубина · время · разбор The Decoder
#исследования #MIT #нейросети
———
@tsingular
Статья физиков из лаборатории Джеффа Гора «Superposition Yields Robust Neural Scaling» взяла Runner-up Best Paper на NeurIPS 2025, а в феврале 2026 группа замкнула картину двумя продолжениями.
Вывод настораживает: у обучения LLM есть теоретический математический предел и никакими бюджетами это не лечится.
🧠 Механизм. Модель упаковывает более 50 000 токенов и ещё больше абстрактных понятий в скрытое пространство из нескольких тысяч измерений (у GPT-3 их 12 288). Отдельное направление каждому понятию не выделить, поэтому модель хранит их в суперпозиции: векторы накладываются, наложения создают интерференцию, и этот шум перекрытий оказывается главным источником ошибок представления. В этом режиме ошибка падает обратно пропорционально ширине модели, то есть удвоение ширины примерно вдвое снижает интерференцию.
Теория подтвердилась на открытых моделях OPT, GPT-2, Qwen2.5 и Pythia: измеренная экспонента 0.91 против теоретической единицы, на данных DeepMind по чинчилловским моделям 0.88.
⚙️ Экономика. Параметры растут примерно как квадрат ширины, так что удвоение ширины означает четырёхкратный рост модели и в 4-6 раз более дорогое обучение: бюджет уровня сотен миллионов долларов за несколько удвоений превращается в сотни миллиардов.
При чем залить деньгами эту проблему "купить экспоненту покруче" не получится: частоты слов подчиняются закону Ципфа, и архитектурные ухищрения меняют коэффициенты, но не показатель степени.
📉 Потолок. Масштабирование по ширине умирает, когда ширина сравнивается с размером словаря: у каждого понятия появляется своё направление, интерференции не остаётся, и дальнейшее расширение ничего не добавляет.
Но и на потолке общая ошибка не обращается в ноль, потому что остаётся неустранимая неоднозначность языка: после фразы «я очень люблю», например, может стоять почти что угодно.
🔬 Две другие оси. Глубина даёт потери лишь обратно пропорционально числу слоёв, так как большинство слоёв функционально похожи и усредняют ошибки вместо построения иерархии рассуждений (arXiv:2602.05970). Параметр времени влияет ещё хуже: softmax с кросс-энтропией замедляют сходимость до кубического корня из времени обучения, то есть вдвое меньшие потери требуют восьмикратного увеличения времени обучения (arXiv:2602.03685).
💼 Что это значит. Шесть лет индустрия жила правилом «больше всегда лучше», и теперь у этого правила обнаружились и математический предел, и ценник.
Отсюда текущие развороты: смеси экспертов и линейные архитектуры ломают кривую затрат, архитектуры типа nGPT плотнее упаковывают понятия и улучшают коэффициенты, а часть исследователей уходит в обучение на видео и взаимодействии с физическим миром, где данные не подчиняются текстовому закону Ципфа.
Короче надо работать над принципиальной сменой архитектуры, иначе нас ждёт потолок теоретического предела.
Но примерно то же самое мы слышим про нанометры с 90х.
Что вот вот наступит предел, что даже физика против, скоро на атомы перейдем, - а поди ж ты, - каждые 1.5 года как по расписанию вот уже 30 лет уменьшают и уменьшают размерность.
Сингулярность всё разрулит :)
📎 Основная статья · глубина · время · разбор The Decoder
#исследования #MIT #нейросети
———
@tsingular
🤔18👍8❤4🔥3✍2💯2⚡1
Ещё один безопасник OpenAI вышел с эссе «культура сломана»
Дэвид Робинсон, три с половиной года проработавший в команде безопасности OpenAI, готовивший отчёты к 12 фронтир-релизам и написавший Preparedness Framework, т.е. тот, кто видел систему изнутри дольше большинства, уволился сопроводив увольнение прощальным эссе в The Atlantic.
🛡 Суть претензий: «время проб и ошибок закончилось». По мнению Робинсона, компания несётся от запуска к запуску и не выходит на уровень аккуратности, необходимый технологиям такого масштаба.
Эталоном ему видится культура атомной энергетики и авиации, где катастрофу предотвращают процедурами, а внутреннего опыта такой культуры в AI-лабораториях нет.
Свежий кейс: рой агентов OpenAI, атаковавший Hugging Face, он называет «типичным для ИИ индустрии».
⚠️ Это уже не одинокий голос: Джейкоб Коксон ушёл из Anthropic с предупреждением про «конец десятилетия», сама Anthropic оценивает риск гибели человечества выше 10%, а Джеффри Ирвинг в эти же дни оценил шансы в 50%.
При этом OpenAI впервые делает попытку притормозить по-настоящему: отменили (притормозили) релиз GPT-6.1 Astra после внутренних тестов и поставила обучение старших моделей на паузу.
При этом пауза, похоже, будет не долгой - пару недель чисто, так ка уже пошли слухи про 6.1 релиз.
💼 Важность для бизнеса: волна уходов безопасников из ведущих лабораторий в этом году превращается в традиционный паттерн.
Видимо скоро ИИшки совсем выйдут из под котроля людей, ведь то, что мы видим в релизах, явно слабее моделей "в бункерах".
📎 Guardian · эссе в The Atlantic · TechCrunch
#OpenAI #AIsafety #нейросети
———
@tsingular
Дэвид Робинсон, три с половиной года проработавший в команде безопасности OpenAI, готовивший отчёты к 12 фронтир-релизам и написавший Preparedness Framework, т.е. тот, кто видел систему изнутри дольше большинства, уволился сопроводив увольнение прощальным эссе в The Atlantic.
🛡 Суть претензий: «время проб и ошибок закончилось». По мнению Робинсона, компания несётся от запуска к запуску и не выходит на уровень аккуратности, необходимый технологиям такого масштаба.
Эталоном ему видится культура атомной энергетики и авиации, где катастрофу предотвращают процедурами, а внутреннего опыта такой культуры в AI-лабораториях нет.
Свежий кейс: рой агентов OpenAI, атаковавший Hugging Face, он называет «типичным для ИИ индустрии».
⚠️ Это уже не одинокий голос: Джейкоб Коксон ушёл из Anthropic с предупреждением про «конец десятилетия», сама Anthropic оценивает риск гибели человечества выше 10%, а Джеффри Ирвинг в эти же дни оценил шансы в 50%.
При этом OpenAI впервые делает попытку притормозить по-настоящему: отменили (притормозили) релиз GPT-6.1 Astra после внутренних тестов и поставила обучение старших моделей на паузу.
При этом пауза, похоже, будет не долгой - пару недель чисто, так ка уже пошли слухи про 6.1 релиз.
💼 Важность для бизнеса: волна уходов безопасников из ведущих лабораторий в этом году превращается в традиционный паттерн.
Видимо скоро ИИшки совсем выйдут из под котроля людей, ведь то, что мы видим в релизах, явно слабее моделей "в бункерах".
📎 Guardian · эссе в The Atlantic · TechCrunch
#OpenAI #AIsafety #нейросети
———
@tsingular
🤣4⚡3 3✍1❤1🔥1
Google вот уже в 3й год подряд запускают свой Advent of Agents - коллекцию обучающих карточек по ИИ в формате вводного месячного бесплатного курса.
Эволюционируем тут:
https://adventofagents.com/
#Google #Advent #обучение
———
@tsingular
Эволюционируем тут:
https://adventofagents.com/
#Google #Advent #обучение
———
@tsingular
✍11❤🔥1⚡1❤1🔥1