Исследователи представили PathCal — новый метод декодирования без дообучения, который улучшает эффективность reasoning в больших языковых моделях. В основе подхода лежит анализ рефлексивных маркеров — слов «wait», «but», «alternatively», которые модели используют при генерации длинных цепочек рассуждений (Chain-of-Thought).
Авторы обнаружили, что разные классы рефлексивных маркеров по-разному влияют на точность и длину генерации, а их выбор наиболее критичен до того, как модель переходит в стабильную траекторию рассуждения. PathCal использует распределение вероятностей по маркерам для оценки локальной конкуренции между текущим ходом мысли и альтернативной ветвью, мягко перенаправляя логиты при избыточном весе конкурирующих гипотез.
Метод не требует внешних верификаторов или дополнительной выборки. На шести бенчмарках PathCal показал улучшение или сохранение точности при сокращении длины генерации — ключевой результат для практического применения LRM в задачах, где важны как качество, так и скорость.
#AI #LLM #reasoning #ChainOfThought #Effectiveness #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
💡Стартап Subquadratic заявляет о прорыве узкого места, сдерживающего LLM
Майамский AI-стартап Subquadratic вышел из скрытого режима с громким заявлением: он решил математическую проблему, которая почти десятилетие ограничивала производительность больших языковых моделей. Компания представила модель SubQ, которая, по её словам, быстрее, дешевле и энергоэффективнее аналогов, обрабатывая до 12 раз больше текста за раз.
Ключевое новшество — отказ от «плотного внимания» (dense attention) в пользу «разреженного внимания» (sparse attention). В стандартных трансформерах каждое слово (токен) умножается на каждое другое, что приводит к квадратичному росту вычислений. Subquadratic сокращает число операций, выбирая только релевантные связи, что резко снижает затраты при сохранении качества на уровне моделей OpenAI, Google DeepMind и Anthropic.
Независимая оценка от компании Appen подтвердила заявленные характеристики. «Это может стать переломным моментом, — говорит директор Appen по GenAI. — Модели страдают от медлительности и неэффективности». Сооснователь Subquadratic Джастин Дэнджел уверен: «Мы надеемся начать новую эру эффективности. Через несколько лет никто не будет строить модели на трансформерах».
#AI #LLM #Subquadratic #Transformer #Effectiveness
Майамский AI-стартап Subquadratic вышел из скрытого режима с громким заявлением: он решил математическую проблему, которая почти десятилетие ограничивала производительность больших языковых моделей. Компания представила модель SubQ, которая, по её словам, быстрее, дешевле и энергоэффективнее аналогов, обрабатывая до 12 раз больше текста за раз.
Ключевое новшество — отказ от «плотного внимания» (dense attention) в пользу «разреженного внимания» (sparse attention). В стандартных трансформерах каждое слово (токен) умножается на каждое другое, что приводит к квадратичному росту вычислений. Subquadratic сокращает число операций, выбирая только релевантные связи, что резко снижает затраты при сохранении качества на уровне моделей OpenAI, Google DeepMind и Anthropic.
Независимая оценка от компании Appen подтвердила заявленные характеристики. «Это может стать переломным моментом, — говорит директор Appen по GenAI. — Модели страдают от медлительности и неэффективности». Сооснователь Subquadratic Джастин Дэнджел уверен: «Мы надеемся начать новую эру эффективности. Через несколько лет никто не будет строить модели на трансформерах».
#AI #LLM #Subquadratic #Transformer #Effectiveness
OpenAI рассказала, как снижение стоимости ИИ запускает цикл: доступность ведёт к росту внедрения, внедрение — к доходам и новым инвестициям в исследования и инфраструктуру. Ключевой тезис: ценность инфраструктуры не в масштабе, а в том, что она делает интеллект дешевле и доступнее.
Цены на GPT-5.6 Luna снижены на 80%, на Terra — на 20%. Luna теперь стоит $0,20 за миллион входных токенов и $1,20 за выходные; Terra — $2 и $12. Для GPT-5.6 Sol быстрый режим даёт до 2,5× скорости при двойной цене и без потери качества. Параллельно инженерные работы с участием Sol сократили конечную стоимость обслуживания моделей на 20% и повысили эффективность спекулятивного декодирования более чем на 15%. Улучшения системы, включая контекстное управление, подняли результат Sol на ARC-AGI-3 с 13,3% до 38,3% при в шесть раз меньшем числе выходных токенов.
Модели OpenAI охватывают более миллиарда активных пользователей и два миллиона бизнесов. Через полгода пользователи отправляют примерно на 50% больше сообщений в день и используют ChatGPT вдвое чаще для разных задач. Агентные рабочие процессы через Codex теперь дают 99,8% всех еженедельных выходных токенов внутри OpenAI — компания сама активно применяет собственные инструменты.
#AI #OpenAI #GPT5 #Agents #Effectiveness
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1💯1🏆1
📖 Дистилляция знаний стала достаточно дешёвой для масштабирования
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
👍1👏1