Sparse Hash AI
184 subscribers
191 photos
280 videos
4 files
645 links
AI обогатительная разработка ML месторождений. Осторожно, в канале ведутся подрывные работы!
Download Telegram
Forwarded from Futuris (Anton)
This media is not supported in your browser
VIEW IN TELEGRAM
как делают передовые модели🥳🥳🤭
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
A Model with No Head and Many Thoughts
Модель без головы и множеством мыслей
https://www.alphaxiv.org/abs/2608.31069

———

Soft Latent Thinking – метод, который во время рассуждения заменяет LM-голову на легковесный проектор, обеспечивая авторегрессивное развертывание в пространстве эмбеддингов, где шаги рассуждения остаются непрерывными, а не токенизированными.
3D реинкарнация восьмибиток

https://d.fixupx.com/voxelphotonics/status/2084106023405818028
A Controlled Study of Attention-Only Transformers
Контролируемое исследование трансформеров, использующих только внимание
https://www.alphaxiv.org/abs/2607.18363

———

Считается, что слои FFN служат «параметрической памятью» модели, функционируя как хранилища ключ-значение. В работе исследовалась упрощенная архитектура трансформера с удалёнными слоями FFN (Simple Attention Networks, SANs).

При равном количестве параметров разницы в производительности между SAN и FFN-трансформерами практически нет. SAN испытывает трудности только при недостаточном контексте и превосходит модель с FFN, когда его достаточно.

В SAN матрица выходной проекции внимания берёт на себя роль, обычно выполняемую FFN, действуя как основное хранилище изученного контента.
🔥2
💡

Из-за интерференции, возникающей в суперпозиции скрытого состояния, в нём могут активироваться ложные признаки-направления.

Разумно предположить, что нужен механизм очистки от этого мусора, и он должен идти сразу за источником помех. Не эту ли функцию уборщика выполняет следующий слой, как в недавней работе LLM Layers Immediately Correct Each Other?
🔥 Emergent One-Third Scaling Law as Attention Tries to Concentrate
Возникающий закон масштабирования с показателем одна треть, когда механизм внимания пытается сконцентрироваться
https://www.alphaxiv.org/abs/2609.32100

———

Общая для моделей сходимость с уклоном 1/3 является результатом комбинации двух свойств: нелинейность насыщения softmax (sigmoid или tanh), создающая резкое распределение (фокус внимания на несколько токенов), и соревнование двух лучших логитов.

Чтобы затормозить сходимость необходимо множество случаев с почти равными лидирующими логитами и достаточно одного узкого места – softmax одной из голов внимания или softmax головы трансформера.

Само это множество случаев происходит из данных. Тормозит сходимость хвост множества всё более трудных примеров с всё меньшими зазорами между логитами.
Sparse Hash AI pinned «🔥 Emergent One-Third Scaling Law as Attention Tries to Concentrate Возникающий закон масштабирования с показателем одна треть, когда механизм внимания пытается сконцентрироваться https://www.alphaxiv.org/abs/2609.32100 ——— Общая для моделей сходимость с…»
From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit
От плоского к иерархическому: Извлечение разреженных представлений с помощью метода согласованного преследования
https://www.alphaxiv.org/abs/2506.03093

———

MP-SAE – разреженный автоэнкодер, который итеративно уточняет свою реконструкцию иерархического представления (животное→собака→шпиц), фокусируясь на остаточной ошибке.
Fractional neural attention for efficient multiscale sequence processing
Дробное нейронное внимание для эффективной многоуровневой обработки последовательностей
https://www.alphaxiv.org/abs/2511.10208

———

Возьмем предложение «Все дети, кроме одного, вырастают». Чтобы связать его первое слово с последним, обычному механизму внимания может потребоваться несколько раундов передачи информации между соседями — по одному слою на каждый переход. Дробное нейронное внимание (FNA) меняет правило влияния так, что расстояние получает вес с тяжелым хвостом: первое слово может напрямую учитывать последнее, а не собирать эту связь из множества локальных шагов.

Авторы также сообщают о преимуществах FNA при классификации изображений CIFAR-10 и переводе с английского на немецкий в Multi30K и утверждают, что модель FNA с одним слоем, одной головой и d=8 показала более высокие результаты, чем их полноразмерный Transformer DP с шестью слоями, восемью головами и d=512.
💡

Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗

Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход.

«конечный результат для всех токенов вычисляется одним махом» © ИИ

import numpy as np

# 1. Задаем случайные входы (3 токена размерности d=4)
X0 = np.random.randn(3, 4)

# --- Стандартный послойный расчет векторов ---
X1_std = X0 + X0 @ X0.T @ X0
X2_std = X1_std + X1_std @ X1_std.T @ X1_std

# --- Альтернативный алгоритм через матрицу Грама ---
I = np.eye(3)
D0 = X0 @ X0.T  # Исходная матрица попарных скалярных произведений

# Шаг 1: Эволюция матрицы Грама
D1 = (I + D0) @ D0 @ (I + D0)

# Шаг 2: Вычисление общей матрицы весов W
W = (I + D1) @ (I + D0)

# Шаг 3: Расчет выходов для всех токенов одним умножением
X2_alt = W @ X0

# Проверка: матрицы идентичны
assert np.allclose(X2_std, X2_alt)
print("Матрица весов W (коэффициенты для всех токенов):\n", W)


Идея позволяет разделить обработку на «геометрию» (матрицу D) и «контент» (векторы X).

Матрицу D, из которой слоями внимания строятся маршруты движения токенов через трансформер, можно получить из «маршрутных» эмбеддингов, а выход трансформера рассчитать из «контентных» эмбеддингов.
В алгоритм легко встраивается L2-нормализация, применяемая к остаточному потоку в конце каждого слоя.

import numpy as np

X0 = np.random.randn(3, 4)
I = np.eye(3)

def l2_norm_rows(M):
    # Стандартная нормализация строк матрицы векторов
    return M / np.linalg.norm(M, axis=1, keepdims=True)

def get_N_matrix(D):
    # Вычисление матрицы N(D) через диагональ матрицы Грама
    diag = np.diag(D)
    # Защита от деления на 0
    return np.diag(1.0 / np.sqrt(diag + 1e-9))

# --- Вариант А: Честный послойный расчет векторов с L2-нормализацией ---
# Слой 1
X1_unnorm = X0 + X0 @ X0.T @ X0
X1_std = l2_norm_rows(X1_unnorm)
# Слой 2
X2_unnorm = X1_std + X1_std @ X1_std.T @ X1_std
X2_std = l2_norm_rows(X2_unnorm)

# --- Вариант Б: Расчет только через геометрию (матрицу Грама) ---
D0 = X0 @ X0.T

# Слой 1
D1_tilde = (I + D0) @ D0 @ (I + D0)
N1 = get_N_matrix(D1_tilde)
D1 = N1 @ D1_tilde @ N1  # Новая матрица Грама

# Слой 2
D2_tilde = (I + D1) @ D1 @ (I + D1)
N2 = get_N_matrix(D2_tilde)

# Сборка общей матрицы переходов W
W = N2 @ (I + D1) @ N1 @ (I + D0)

# Финальный расчет
X2_alt = W @ X0

assert np.allclose(X2_std, X2_alt)
print("Метод отлично работает! Матрицы совпадают.")
Sparse Hash AI pinned «💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…»
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Наложение причинной маски.

import numpy as np

# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)

# Причинная маска (запрещаем смотреть в будущее)
M = np.tril(np.ones((3, 3)))

# --- Вариант А: Послойный расчет векторов с маской ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M  # Обнуляем верхний треугольник
X1_std = X0 + A0_std @ X0

# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_std = X1_std + A1_std @ X1_std


# --- Вариант Б: Алгоритм через геометрию матриц Грама ---
D0 = X0 @ X0.T

# Слой 1
A0 = D0 * M
D1 = (I + A0) @ D0 @ (I + A0).T

# Слой 2
A1 = D1 * M

# Общая причинная матрица весов W
W = (I + A1) @ (I + A0)

# Финальный расчет
X2_alt = W @ X0

assert np.allclose(X2_std, X2_alt)
print("Матрица причинных весов W:\n", np.round(W, 3))
Sparse Hash AI
В алгоритм легко встраивается L2-нормализация, применяемая к остаточному потоку в конце каждого слоя. import numpy as np X0 = np.random.randn(3, 4) I = np.eye(3) def l2_norm_rows(M):     # Стандартная нормализация строк матрицы векторов     return M / …
И вариант совместного применения причинной маски и L2-нормализации.

import numpy as np

# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)

# Причинная маска
M = np.tril(np.ones((3, 3)))

def l2_norm_rows(Mat):
    return Mat / np.linalg.norm(Mat, axis=1, keepdims=True)

def get_N_matrix(D):
    diag = np.diag(D)
    return np.diag(1.0 / np.sqrt(diag + 1e-9))

# --- ВАРИАНТ А: Честный послойный расчет самих векторов ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M
X1_unnorm = X0 + A0_std @ X0
X1_std = l2_norm_rows(X1_unnorm)

# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_unnorm = X1_std + A1_std @ X1_std
X2_std = l2_norm_rows(X2_unnorm)


# --- ВАРИАНТ Б: Геометрический алгоритм (только через матрицы 3х3) ---
D0 = X0 @ X0.T

# Слой 1
A0 = D0 * M
D1_tilde = (I + A0) @ D0 @ (I + A0).T
N1 = get_N_matrix(D1_tilde)
D1 = N1 @ D1_tilde @ N1  # Чистая геометрия после 1 слоя

# Слой 2
A1 = D1 * M
D2_tilde = (I + A1) @ D1 @ (I + A1).T
N2 = get_N_matrix(D2_tilde)

# Сборка финальной причинно-нормализованной матрицы переходов W
W = N2 @ (I + A1) @ N1 @ (I + A0)

# Вычисляем выход всех токенов одним махом
X2_alt = W @ X0

# Проверка совпадения результатов
assert np.allclose(X2_std, X2_alt)
print("Проверка пройдена! Результаты идентичны.")
print("\nИтоговая причинная матрица весов W (верхний треугольник строго нулевой):\n", np.round(W, 4))
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Скрытое состояние – это суперпозиция исходных токенов.
Информация от исходных токенов разными маршрутами течёт в текущие запросы и ключи.

Q2 = q0 + q1 + q2
K1 = k0 + k1 + k2

S(Q2, K1) = Q2·K1 = (q0 + q1 + q2) · (k0 + k1 + k2) =
q0·k0 + q0·k1 + q0·k2 +
q1·k0 + q1·k1 + q1·k2 +
q2·k0 + q2·k1 + q2·k2


Благодаря тому, что получилось вычислить сквозную причинную матрицу переходов W («геометрию» сети) изолированно в пространстве N × N, теперь можно разложить скоры внимания на взаимодействия отдельных потоков.

Можно поточечно распутать элемент S(a, b) (внимание между позициями a и b, a соответствует запросу, b – ключу) – узнать, как конкретно исходный токен i (замешанный в запрос) взаимодействует с исходным токеном j (замешанным в ключ) при формировании внимания между текущими позициями.

В итоге предыдущие наработки в соединении с идеей суперпозиции дали инструмент для «распутывания» скоров внимания.

Скрипт берет итоговый скор внимания между любыми двумя токенами и полностью раскладывает его на составляющие элементы исходных взаимодействий (на матрицу N × N «виртуальных потоков»), наглядно показывая из чего сформировался этот вес.