🧠 Mixture-of-Recursions: Адаптивная "глубина мысли" для каждого токена
Исследователи из KAIST и Google создали архитектуру, которая динамически выделяет вычислительные ресурсы на уровне отдельных токенов — MoR (Mixture-of-Recursions).
Суть прорыва:
Вместо прогона всех токенов через фиксированное количество слоёв, модель сама решает, сколько "рекурсивных проходов" нужно каждому токену. Простые слова проходят быстро, сложные — получают дополнительные циклы обработки.
Техническая начинка:
- Адаптивный роутинг — лёгкий маршрутизатор назначает каждому токену количество рекурсий (1-4 прохода)
- Разделение параметров — один блок слоёв переиспользуется многократно (экономия памяти на 50%)
- Умное KV-кеширование — кеш ключей-значений только для активных токенов на каждой глубине
- Continuous depth-wise batching — пропускная способность выше на 2x за счёт параллельной обработки
Практический результат:
- Модель 360M параметров превосходит базовую при втрое меньшем количестве уникальных параметров
- Скорость обработки до 2.06x выше классических Трансформеров
- Обучение эффективнее: больше токенов в том же FLOP-бюджете
Применение:
Идеально для edge-deployment и случаев, где нужен баланс между качеством и скоростью. Семантически важные токены получают больше вычислений автоматически.
Архитектура показала масштабируемость до 1.7B параметров.
Следующий шаг — интеграция с reasoning-задачами для chain-of-thought оптимизации.
Вот для чего нужны миллионы видеокарт - обработка рекурсий.
Полный отчет в комментарии.
#MoR #efficiency #transformers #KAIST
———
@tsingular
Исследователи из KAIST и Google создали архитектуру, которая динамически выделяет вычислительные ресурсы на уровне отдельных токенов — MoR (Mixture-of-Recursions).
Суть прорыва:
Вместо прогона всех токенов через фиксированное количество слоёв, модель сама решает, сколько "рекурсивных проходов" нужно каждому токену. Простые слова проходят быстро, сложные — получают дополнительные циклы обработки.
Техническая начинка:
- Адаптивный роутинг — лёгкий маршрутизатор назначает каждому токену количество рекурсий (1-4 прохода)
- Разделение параметров — один блок слоёв переиспользуется многократно (экономия памяти на 50%)
- Умное KV-кеширование — кеш ключей-значений только для активных токенов на каждой глубине
- Continuous depth-wise batching — пропускная способность выше на 2x за счёт параллельной обработки
Практический результат:
- Модель 360M параметров превосходит базовую при втрое меньшем количестве уникальных параметров
- Скорость обработки до 2.06x выше классических Трансформеров
- Обучение эффективнее: больше токенов в том же FLOP-бюджете
Применение:
Идеально для edge-deployment и случаев, где нужен баланс между качеством и скоростью. Семантически важные токены получают больше вычислений автоматически.
Архитектура показала масштабируемость до 1.7B параметров.
Следующий шаг — интеграция с reasoning-задачами для chain-of-thought оптимизации.
Вот для чего нужны миллионы видеокарт - обработка рекурсий.
Полный отчет в комментарии.
#MoR #efficiency #transformers #KAIST
———
@tsingular
✍3⚡1
Block: ИИ трансформация привела к сокращению 4 000 сотрудников
Основатель Twitter и CEO Block (бывший Square) Джек Дорси выстрелил в медиаполе новостью о сокращении почти половины штата компании,- уволено более 4 000 человек.
Причина не в убытках или реструктуризации долга, а в фундаментальном переходе к «AI-first» модели.
🏦 Масштаб чистки: Block сокращается с 10 000 до 6 000 сотрудников. Это 40% штата, которые, по мнению Дорси, становятся избыточными при внедрении ИИ-агентов в операционные процессы. Рынок, что интересно, отреагировал мгновенным ростом акций на 20%.
⚙️ Логика перемен: Дорси прямо заявил, что перед ним стоял выбор: растянуть сокращения на годы или «сделать это сейчас». Он выбрал радикальный сценарий.
ИИ теперь будет глубоко интегрирован во все продукты (Square, Cash App), заменяя собой целые уровни менеджмента и поддержки.
🧠 Сигнал рынку: Это уже не просто экономия на «бесплатных обедах».
Это первый случай, когда CEO уровня BigTech прямо называет ИИ главной и единственной причиной массовых увольнений, а инвесторы аплодируют этому решению стоя.
💼 Зачем бизнесу: Дорси задал новый стандарт эффективности: «AI-driven» компания — это та, где 60% сотрудников делают то, что раньше делали 100%, за счёт бесшовной интеграции агентов.
Это сигнал всем руководителям: если ваши процессы всё ещё требуют армии людей там, где справляется обученная модель — вы проигрываете в маржинальности.
🔮 Будущее: Кейс Block станет шаблоном для всей Кремниевой долины на 2026 год. Мы входим в фазу жесткой оптимизации, где ценность сотрудника определяется его способностью управлять ИИ-инструментами, а не просто выполнять функцию.
Хорошо дополняет предыдущий пост.
#Block #Layoffs #JackDorsey #AI #Efficiency #Fintech
------
@tsingular
Основатель Twitter и CEO Block (бывший Square) Джек Дорси выстрелил в медиаполе новостью о сокращении почти половины штата компании,- уволено более 4 000 человек.
Причина не в убытках или реструктуризации долга, а в фундаментальном переходе к «AI-first» модели.
🏦 Масштаб чистки: Block сокращается с 10 000 до 6 000 сотрудников. Это 40% штата, которые, по мнению Дорси, становятся избыточными при внедрении ИИ-агентов в операционные процессы. Рынок, что интересно, отреагировал мгновенным ростом акций на 20%.
⚙️ Логика перемен: Дорси прямо заявил, что перед ним стоял выбор: растянуть сокращения на годы или «сделать это сейчас». Он выбрал радикальный сценарий.
ИИ теперь будет глубоко интегрирован во все продукты (Square, Cash App), заменяя собой целые уровни менеджмента и поддержки.
🧠 Сигнал рынку: Это уже не просто экономия на «бесплатных обедах».
Это первый случай, когда CEO уровня BigTech прямо называет ИИ главной и единственной причиной массовых увольнений, а инвесторы аплодируют этому решению стоя.
💼 Зачем бизнесу: Дорси задал новый стандарт эффективности: «AI-driven» компания — это та, где 60% сотрудников делают то, что раньше делали 100%, за счёт бесшовной интеграции агентов.
Это сигнал всем руководителям: если ваши процессы всё ещё требуют армии людей там, где справляется обученная модель — вы проигрываете в маржинальности.
🔮 Будущее: Кейс Block станет шаблоном для всей Кремниевой долины на 2026 год. Мы входим в фазу жесткой оптимизации, где ценность сотрудника определяется его способностью управлять ИИ-инструментами, а не просто выполнять функцию.
Хорошо дополняет предыдущий пост.
#Block #Layoffs #JackDorsey #AI #Efficiency #Fintech
------
@tsingular