This media is not supported in your browser
VIEW IN TELEGRAM
SubQ: первый субквадратичный LLM с окном 12 млн токенов
Стартап Subquadratic (Майами) вышел из тени с $29M seed и заявкой на архитектурный прорыв.
Модель SubQ 1M-Preview построена на SSA (Subquadratic Sparse Attention) — внимание растёт линейно с длиной контекста, а не квадратично.
На 12M токенов контекста это даст сокращение вычислений внимания почти в 1000×.
🧮 Архитектура: SSA не аппроксимирует внимание — она выбирает, какие пары токенов вычислять, а какие пропускать. Выбор зависит от содержания, не от позиции. Это отличает SSA от Longformer/BigBird (фиксированные маски), Mamba/RWKV (рекуррентное сжатие) и DeepSeek Sparse Attention (квадратичный индексер). Три свойства одновременно: линейная стоимость, контент-зависимая маршрутизация, извлечение с произвольных позиций.
⚡ Скорость: На Nvidia B200: 7.2× быстрее FlashAttention-2 при 128K токенах, 52.2× при 1M. Длиннее контекст — больше разрыв. CTO Алекс Уэдон (ex-Meta, ex-TribeAI): «Если удвоить вход с квадратичным законом — нужно 4× вычислений. С линейным — 2×.»
📊 Бенчмарки (third-party verified):
RULER 128K — 95.0% (Opus 4.6: 94.8%).
MRCR v2 1M — 65.9% (Opus 4.7: 32.2%, GPT-5.5: 74.0%).
SWE-Bench Verified — 81.8% (Opus 4.6: 80.8%).
Стоимость RULER 128K: $8 у SubQ vs ~$2600 у Opus — 300× дешевле при той же точности.
⚠️ Красные флаги: Три бенчмарка — все в зоне максимального преимущества SSA (длинный контекст, код). Общих тестов (математика, мультиязычность, безопасность) нет. Model card «coming soon». Research-результат MRCR v2 — 83, production — 65.9: разрыв 17 пунктов без объяснения. Каждый бенчмарк гонялся один раз без доверительных интервалов.
Technical report не опубликован.
Веса закрыты. API — private beta.
💸 Инвесторы: $29M seed, оценка $500M. Джастин Матин (Tinder), Хавьер Вильямисар (ex-SoftBank Vision Fund), ранние инвесторы Anthropic, OpenAI, Stripe. CEO Джастин Данжел — пятикратный фаундер. 11 PhD-исследователей из Meta, Google, Oxford, Cambridge, ByteDance.
🔧 Продукты: SubQ API (OpenAI-compatible), SubQ Code (CLI-агент для кода, интеграция с Claude Code/Codex/Cursor), SubQ Search (Deep Research на скорости чат-бота).
Всё пока в private beta.
💼 Зачем бизнесу: Если SSA работает как заявлено — RAG-пайплайны, чанкинг и многоагентная оркестрация перестают быть необходимостью для целого класса задач. Целый репозиторий, год PR-ов, длинная история агента — всё в одном вызове API. Экономика inference перестаёт быть главным ограничителем.
🔮 Будущее: Сообщество уже расколото — от «наиболее значимый архитектурный сдвиг со времён оригинального Transformer» до «AI Theranos». Правда будет где-то посередине: SSA может оказаться лучшей sparse-attention реализацией на сегодня, но 12M токенов в production — пока слова, требующие проверки.
До тех пор — самая интересная заявка на архитектурный прорыв года.
#SubQ #LLM #attention #архитектура #субквадратичный #контекст #SSA #стартапы
───
@tsingular
Стартап Subquadratic (Майами) вышел из тени с $29M seed и заявкой на архитектурный прорыв.
Модель SubQ 1M-Preview построена на SSA (Subquadratic Sparse Attention) — внимание растёт линейно с длиной контекста, а не квадратично.
На 12M токенов контекста это даст сокращение вычислений внимания почти в 1000×.
🧮 Архитектура: SSA не аппроксимирует внимание — она выбирает, какие пары токенов вычислять, а какие пропускать. Выбор зависит от содержания, не от позиции. Это отличает SSA от Longformer/BigBird (фиксированные маски), Mamba/RWKV (рекуррентное сжатие) и DeepSeek Sparse Attention (квадратичный индексер). Три свойства одновременно: линейная стоимость, контент-зависимая маршрутизация, извлечение с произвольных позиций.
⚡ Скорость: На Nvidia B200: 7.2× быстрее FlashAttention-2 при 128K токенах, 52.2× при 1M. Длиннее контекст — больше разрыв. CTO Алекс Уэдон (ex-Meta, ex-TribeAI): «Если удвоить вход с квадратичным законом — нужно 4× вычислений. С линейным — 2×.»
📊 Бенчмарки (third-party verified):
RULER 128K — 95.0% (Opus 4.6: 94.8%).
MRCR v2 1M — 65.9% (Opus 4.7: 32.2%, GPT-5.5: 74.0%).
SWE-Bench Verified — 81.8% (Opus 4.6: 80.8%).
Стоимость RULER 128K: $8 у SubQ vs ~$2600 у Opus — 300× дешевле при той же точности.
⚠️ Красные флаги: Три бенчмарка — все в зоне максимального преимущества SSA (длинный контекст, код). Общих тестов (математика, мультиязычность, безопасность) нет. Model card «coming soon». Research-результат MRCR v2 — 83, production — 65.9: разрыв 17 пунктов без объяснения. Каждый бенчмарк гонялся один раз без доверительных интервалов.
Technical report не опубликован.
Веса закрыты. API — private beta.
💸 Инвесторы: $29M seed, оценка $500M. Джастин Матин (Tinder), Хавьер Вильямисар (ex-SoftBank Vision Fund), ранние инвесторы Anthropic, OpenAI, Stripe. CEO Джастин Данжел — пятикратный фаундер. 11 PhD-исследователей из Meta, Google, Oxford, Cambridge, ByteDance.
🔧 Продукты: SubQ API (OpenAI-compatible), SubQ Code (CLI-агент для кода, интеграция с Claude Code/Codex/Cursor), SubQ Search (Deep Research на скорости чат-бота).
Всё пока в private beta.
💼 Зачем бизнесу: Если SSA работает как заявлено — RAG-пайплайны, чанкинг и многоагентная оркестрация перестают быть необходимостью для целого класса задач. Целый репозиторий, год PR-ов, длинная история агента — всё в одном вызове API. Экономика inference перестаёт быть главным ограничителем.
🔮 Будущее: Сообщество уже расколото — от «наиболее значимый архитектурный сдвиг со времён оригинального Transformer» до «AI Theranos». Правда будет где-то посередине: SSA может оказаться лучшей sparse-attention реализацией на сегодня, но 12M токенов в production — пока слова, требующие проверки.
До тех пор — самая интересная заявка на архитектурный прорыв года.
#SubQ #LLM #attention #архитектура #субквадратичный #контекст #SSA #стартапы
───
@tsingular
🤔11🔥5⚡4❤2👍1