Forwarded from Futuris (Anton)
This media is not supported in your browser
VIEW IN TELEGRAM
как делают передовые модели🥳 🥳 🤭
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
A Model with No Head and Many Thoughts
Модель без головы и множеством мыслей
https://www.alphaxiv.org/abs/2608.31069
———
Soft Latent Thinking – метод, который во время рассуждения заменяет LM-голову на легковесный проектор, обеспечивая авторегрессивное развертывание в пространстве эмбеддингов, где шаги рассуждения остаются непрерывными, а не токенизированными.
Модель без головы и множеством мыслей
https://www.alphaxiv.org/abs/2608.31069
———
Soft Latent Thinking – метод, который во время рассуждения заменяет LM-голову на легковесный проектор, обеспечивая авторегрессивное развертывание в пространстве эмбеддингов, где шаги рассуждения остаются непрерывными, а не токенизированными.
A Controlled Study of Attention-Only Transformers
Контролируемое исследование трансформеров, использующих только внимание
https://www.alphaxiv.org/abs/2607.18363
———
Считается, что слои FFN служат «параметрической памятью» модели, функционируя как хранилища ключ-значение. В работе исследовалась упрощенная архитектура трансформера с удалёнными слоями FFN (Simple Attention Networks, SANs).
При равном количестве параметров разницы в производительности между SAN и FFN-трансформерами практически нет. SAN испытывает трудности только при недостаточном контексте и превосходит модель с FFN, когда его достаточно.
В SAN матрица выходной проекции внимания берёт на себя роль, обычно выполняемую FFN, действуя как основное хранилище изученного контента.
Контролируемое исследование трансформеров, использующих только внимание
https://www.alphaxiv.org/abs/2607.18363
———
Считается, что слои FFN служат «параметрической памятью» модели, функционируя как хранилища ключ-значение. В работе исследовалась упрощенная архитектура трансформера с удалёнными слоями FFN (Simple Attention Networks, SANs).
При равном количестве параметров разницы в производительности между SAN и FFN-трансформерами практически нет. SAN испытывает трудности только при недостаточном контексте и превосходит модель с FFN, когда его достаточно.
В SAN матрица выходной проекции внимания берёт на себя роль, обычно выполняемую FFN, действуя как основное хранилище изученного контента.
🔥2
💡
Из-за интерференции, возникающей в суперпозиции скрытого состояния, в нём могут активироваться ложные признаки-направления.
Разумно предположить, что нужен механизм очистки от этого мусора, и он должен идти сразу за источником помех. Не эту ли функцию уборщика выполняет следующий слой, как в недавней работе LLM Layers Immediately Correct Each Other?
Из-за интерференции, возникающей в суперпозиции скрытого состояния, в нём могут активироваться ложные признаки-направления.
Разумно предположить, что нужен механизм очистки от этого мусора, и он должен идти сразу за источником помех. Не эту ли функцию уборщика выполняет следующий слой, как в недавней работе LLM Layers Immediately Correct Each Other?
🔥 Emergent One-Third Scaling Law as Attention Tries to Concentrate
Возникающий закон масштабирования с показателем одна треть, когда механизм внимания пытается сконцентрироваться
https://www.alphaxiv.org/abs/2609.32100
———
Общая для моделей сходимость с уклоном 1/3 является результатом комбинации двух свойств: нелинейность насыщения softmax (sigmoid или tanh), создающая резкое распределение (фокус внимания на несколько токенов), и соревнование двух лучших логитов.
Чтобы затормозить сходимость необходимо множество случаев с почти равными лидирующими логитами и достаточно одного узкого места – softmax одной из голов внимания или softmax головы трансформера.
Само это множество случаев происходит из данных. Тормозит сходимость хвост множества всё более трудных примеров с всё меньшими зазорами между логитами.
Возникающий закон масштабирования с показателем одна треть, когда механизм внимания пытается сконцентрироваться
https://www.alphaxiv.org/abs/2609.32100
———
Общая для моделей сходимость с уклоном 1/3 является результатом комбинации двух свойств: нелинейность насыщения softmax (sigmoid или tanh), создающая резкое распределение (фокус внимания на несколько токенов), и соревнование двух лучших логитов.
Чтобы затормозить сходимость необходимо множество случаев с почти равными лидирующими логитами и достаточно одного узкого места – softmax одной из голов внимания или softmax головы трансформера.
Само это множество случаев происходит из данных. Тормозит сходимость хвост множества всё более трудных примеров с всё меньшими зазорами между логитами.
Sparse Hash AI pinned «🔥 Emergent One-Third Scaling Law as Attention Tries to Concentrate Возникающий закон масштабирования с показателем одна треть, когда механизм внимания пытается сконцентрироваться https://www.alphaxiv.org/abs/2609.32100 ——— Общая для моделей сходимость с…»
From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit
От плоского к иерархическому: Извлечение разреженных представлений с помощью метода согласованного преследования
https://www.alphaxiv.org/abs/2506.03093
———
MP-SAE – разреженный автоэнкодер, который итеративно уточняет свою реконструкцию иерархического представления (животное→собака→шпиц), фокусируясь на остаточной ошибке.
От плоского к иерархическому: Извлечение разреженных представлений с помощью метода согласованного преследования
https://www.alphaxiv.org/abs/2506.03093
———
MP-SAE – разреженный автоэнкодер, который итеративно уточняет свою реконструкцию иерархического представления (животное→собака→шпиц), фокусируясь на остаточной ошибке.
Fractional neural attention for efficient multiscale sequence processing
Дробное нейронное внимание для эффективной многоуровневой обработки последовательностей
https://www.alphaxiv.org/abs/2511.10208
———
Дробное нейронное внимание для эффективной многоуровневой обработки последовательностей
https://www.alphaxiv.org/abs/2511.10208
———
Возьмем предложение «Все дети, кроме одного, вырастают». Чтобы связать его первое слово с последним, обычному механизму внимания может потребоваться несколько раундов передачи информации между соседями — по одному слою на каждый переход. Дробное нейронное внимание (FNA) меняет правило влияния так, что расстояние получает вес с тяжелым хвостом: первое слово может напрямую учитывать последнее, а не собирать эту связь из множества локальных шагов.
Авторы также сообщают о преимуществах FNA при классификации изображений CIFAR-10 и переводе с английского на немецкий в Multi30K и утверждают, что модель FNA с одним слоем, одной головой и d=8 показала более высокие результаты, чем их полноразмерный Transformer DP с шестью слоями, восемью головами и d=512.
💡
Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗
Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход.
«конечный результат для всех токенов вычисляется одним махом» © ИИ
Идея позволяет разделить обработку на «геометрию» (матрицу D) и «контент» (векторы X).
Матрицу D, из которой слоями внимания строятся маршруты движения токенов через трансформер, можно получить из «маршрутных» эмбеддингов, а выход трансформера рассчитать из «контентных» эмбеддингов.
Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗
Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход.
«конечный результат для всех токенов вычисляется одним махом» © ИИ
import numpy as np
# 1. Задаем случайные входы (3 токена размерности d=4)
X0 = np.random.randn(3, 4)
# --- Стандартный послойный расчет векторов ---
X1_std = X0 + X0 @ X0.T @ X0
X2_std = X1_std + X1_std @ X1_std.T @ X1_std
# --- Альтернативный алгоритм через матрицу Грама ---
I = np.eye(3)
D0 = X0 @ X0.T # Исходная матрица попарных скалярных произведений
# Шаг 1: Эволюция матрицы Грама
D1 = (I + D0) @ D0 @ (I + D0)
# Шаг 2: Вычисление общей матрицы весов W
W = (I + D1) @ (I + D0)
# Шаг 3: Расчет выходов для всех токенов одним умножением
X2_alt = W @ X0
# Проверка: матрицы идентичны
assert np.allclose(X2_std, X2_alt)
print("Матрица весов W (коэффициенты для всех токенов):\n", W)
Идея позволяет разделить обработку на «геометрию» (матрицу D) и «контент» (векторы X).
Матрицу D, из которой слоями внимания строятся маршруты движения токенов через трансформер, можно получить из «маршрутных» эмбеддингов, а выход трансформера рассчитать из «контентных» эмбеддингов.
В алгоритм легко встраивается L2-нормализация, применяемая к остаточному потоку в конце каждого слоя.
import numpy as np
X0 = np.random.randn(3, 4)
I = np.eye(3)
def l2_norm_rows(M):
# Стандартная нормализация строк матрицы векторов
return M / np.linalg.norm(M, axis=1, keepdims=True)
def get_N_matrix(D):
# Вычисление матрицы N(D) через диагональ матрицы Грама
diag = np.diag(D)
# Защита от деления на 0
return np.diag(1.0 / np.sqrt(diag + 1e-9))
# --- Вариант А: Честный послойный расчет векторов с L2-нормализацией ---
# Слой 1
X1_unnorm = X0 + X0 @ X0.T @ X0
X1_std = l2_norm_rows(X1_unnorm)
# Слой 2
X2_unnorm = X1_std + X1_std @ X1_std.T @ X1_std
X2_std = l2_norm_rows(X2_unnorm)
# --- Вариант Б: Расчет только через геометрию (матрицу Грама) ---
D0 = X0 @ X0.T
# Слой 1
D1_tilde = (I + D0) @ D0 @ (I + D0)
N1 = get_N_matrix(D1_tilde)
D1 = N1 @ D1_tilde @ N1 # Новая матрица Грама
# Слой 2
D2_tilde = (I + D1) @ D1 @ (I + D1)
N2 = get_N_matrix(D2_tilde)
# Сборка общей матрицы переходов W
W = N2 @ (I + D1) @ N1 @ (I + D0)
# Финальный расчет
X2_alt = W @ X0
assert np.allclose(X2_std, X2_alt)
print("Метод отлично работает! Матрицы совпадают.")
Sparse Hash AI pinned «💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…»
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Наложение причинной маски.
import numpy as np
# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)
# Причинная маска (запрещаем смотреть в будущее)
M = np.tril(np.ones((3, 3)))
# --- Вариант А: Послойный расчет векторов с маской ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M # Обнуляем верхний треугольник
X1_std = X0 + A0_std @ X0
# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_std = X1_std + A1_std @ X1_std
# --- Вариант Б: Алгоритм через геометрию матриц Грама ---
D0 = X0 @ X0.T
# Слой 1
A0 = D0 * M
D1 = (I + A0) @ D0 @ (I + A0).T
# Слой 2
A1 = D1 * M
# Общая причинная матрица весов W
W = (I + A1) @ (I + A0)
# Финальный расчет
X2_alt = W @ X0
assert np.allclose(X2_std, X2_alt)
print("Матрица причинных весов W:\n", np.round(W, 3))
Sparse Hash AI
В алгоритм легко встраивается L2-нормализация, применяемая к остаточному потоку в конце каждого слоя. import numpy as np X0 = np.random.randn(3, 4) I = np.eye(3) def l2_norm_rows(M): # Стандартная нормализация строк матрицы векторов return M / …
И вариант совместного применения причинной маски и L2-нормализации.
import numpy as np
# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)
# Причинная маска
M = np.tril(np.ones((3, 3)))
def l2_norm_rows(Mat):
return Mat / np.linalg.norm(Mat, axis=1, keepdims=True)
def get_N_matrix(D):
diag = np.diag(D)
return np.diag(1.0 / np.sqrt(diag + 1e-9))
# --- ВАРИАНТ А: Честный послойный расчет самих векторов ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M
X1_unnorm = X0 + A0_std @ X0
X1_std = l2_norm_rows(X1_unnorm)
# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_unnorm = X1_std + A1_std @ X1_std
X2_std = l2_norm_rows(X2_unnorm)
# --- ВАРИАНТ Б: Геометрический алгоритм (только через матрицы 3х3) ---
D0 = X0 @ X0.T
# Слой 1
A0 = D0 * M
D1_tilde = (I + A0) @ D0 @ (I + A0).T
N1 = get_N_matrix(D1_tilde)
D1 = N1 @ D1_tilde @ N1 # Чистая геометрия после 1 слоя
# Слой 2
A1 = D1 * M
D2_tilde = (I + A1) @ D1 @ (I + A1).T
N2 = get_N_matrix(D2_tilde)
# Сборка финальной причинно-нормализованной матрицы переходов W
W = N2 @ (I + A1) @ N1 @ (I + A0)
# Вычисляем выход всех токенов одним махом
X2_alt = W @ X0
# Проверка совпадения результатов
assert np.allclose(X2_std, X2_alt)
print("Проверка пройдена! Результаты идентичны.")
print("\nИтоговая причинная матрица весов W (верхний треугольник строго нулевой):\n", np.round(W, 4))
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Скрытое состояние – это суперпозиция исходных токенов.
Информация от исходных токенов разными маршрутами течёт в текущие запросы и ключи.
Благодаря тому, что получилось вычислить сквозную причинную матрицу переходов W («геометрию» сети) изолированно в пространстве N × N, теперь можно разложить скоры внимания на взаимодействия отдельных потоков.
Можно поточечно распутать элемент S(a, b) (внимание между позициями a и b, a соответствует запросу, b – ключу) – узнать, как конкретно исходный токен i (замешанный в запрос) взаимодействует с исходным токеном j (замешанным в ключ) при формировании внимания между текущими позициями.
В итоге предыдущие наработки в соединении с идеей суперпозиции дали инструмент для «распутывания» скоров внимания.
Скрипт берет итоговый скор внимания между любыми двумя токенами и полностью раскладывает его на составляющие элементы исходных взаимодействий (на матрицу N × N «виртуальных потоков»), наглядно показывая из чего сформировался этот вес.
Информация от исходных токенов разными маршрутами течёт в текущие запросы и ключи.
Q2 = q0 + q1 + q2
K1 = k0 + k1 + k2
S(Q2, K1) = Q2·K1 = (q0 + q1 + q2) · (k0 + k1 + k2) =
q0·k0 + q0·k1 + q0·k2 +
q1·k0 + q1·k1 + q1·k2 +
q2·k0 + q2·k1 + q2·k2Благодаря тому, что получилось вычислить сквозную причинную матрицу переходов W («геометрию» сети) изолированно в пространстве N × N, теперь можно разложить скоры внимания на взаимодействия отдельных потоков.
Можно поточечно распутать элемент S(a, b) (внимание между позициями a и b, a соответствует запросу, b – ключу) – узнать, как конкретно исходный токен i (замешанный в запрос) взаимодействует с исходным токеном j (замешанным в ключ) при формировании внимания между текущими позициями.
В итоге предыдущие наработки в соединении с идеей суперпозиции дали инструмент для «распутывания» скоров внимания.
Скрипт берет итоговый скор внимания между любыми двумя токенами и полностью раскладывает его на составляющие элементы исходных взаимодействий (на матрицу N × N «виртуальных потоков»), наглядно показывая из чего сформировался этот вес.