DeltaProduct: Умный метод AI для балансировки экспрессивности и эффективности
Архитектура трансформеров произвела революцию в обработке естественного языка благодаря механизму внимания. Он позволяет выполнять параллельные вычисления и эффективно извлекать контекст. Однако трансформеры сталкиваются с серьезными ограничениями при обработке более длинных последовательностей из-за их квадратичной вычислительной сложности.
Линейные рекуррентные нейронные сети (RNN) стали перспективной альтернативой, предлагая возможности параллельного обучения. Они поддерживают линейную сложность на этапе вывода. Экспрессивность этих моделей зависит в основном от их матриц переходов состояний.
Эволюция линейных RNN прогрессировала от ранних моделей с независимыми от токенов матрицами переходов состояний к более мощным, зависящим от токенов. Поле дальше продвинулось с недиагональными структурами, создавая более выразительные архитектуры.
Эти разработки решают критическую задачу: эффективная обработка длинных последовательностей при соблюдении вычислительной целесообразности. Линейные RNN сталкиваются с фундаментальным компромиссом между эффективностью обучения и экспрессивностью, определяемым структурой их матрицы переходов состояний.
Модели с диагональными матрицами, такие как Mamba и GLA, обучаются эффективно, но имеют значительные ограничения по экспрессивности. Они не могут выполнять даже базовые операции, такие как сложение по модулю 3 на последовательностях произвольной длины в конечной точности. Трансформаторы сталкиваются с аналогичными ограничениями, так как по сути функционируют как специальные линейные RNN.
DeltaNet частично решает эти ограничения через обобщенные матрицы Гауссельдера, достигая большей выразительности при умеренном увеличении затрат на обучение, хотя все еще требует нескольких слоев для выполнения определенных задач. На противоположной стороне спектра линейные RNN с полными матрицами переходов состояний предлагают максимальную экспрессивность, но их обучающие **издержки** становятся непомерно дорогими.
Решение компромисса эффективности-экспрессивности с DeltaProduct
Исследователи из Университета Фрайбурга, Института ELLIS Тюбингена, Microsoft Research и других представляют DeltaProduct: подход для решения компромисса эффективности-экспрессивности в линейных RNN через уникальный подход балансировки вычислительной целесообразности и возможностей модели.
Например, в то время как DeltaNet выполняет один шаг градиентного спуска на токен, DeltaProduct выполняет несколько шагов (nh) с использованием дополнительных ключей и значений. Это создаёт матрицы переходов состояний как продукты нескольких обобщенных матриц Гауссельдера.
Метод обеспечивает стабильность во время обучения на длинных последовательностях, поддерживая норму матриц переходов состояний на уровне ≤ 1. DeltaProduct расширяет возможности DeltaNet, предлагая теоретические улучшения в экспрессивности, способные решать задачи со словами для диэдральных групп с помощью двух слоев.
Эмпирическая проверка и выводы
Эмпирические проверки демонстрируют превосходство DeltaProduct в сложных задачах отслеживания состояний и языковом моделировании. Это делает архитектуру значительным шагом к разработке более способных и масштабируемых последовательностных моделей.
- DeltaProduct обеспечивает лучшее прогнозирование длинных последовательностей с минимальной потерей производительности даже для последовательности длиной до 32k токенов.
- Метод представляет собой важное развитие, несмотря на свои ограничения, такие как увеличенная необходимость в вычислительных ресурсах и потреблении памяти, которые увеличиваются линейно с nh.
