Google AI представляет метод AltUp для масштабируемых трансформеров

AltUp позволяет использовать трансформеры большого размера без дополнительных вычислительных затрат.

Улучшения производительности достигаются через последовательное обновление блоков представления токенов.

Механизм предсказания и коррекции позволяет обрабатывать блоки без активных обновлений.

Значительное повышение эффективности на языковых задачах и моделях большого размера.

AltUp упрощает создание более мощных ИИ-моделей.

#GoogleAI #AltUp #TransformerNetworks