Исследователи AMLab и CuspAI представили Erwin
Глубокое обучение сталкивается с трудностями при применении к крупным физическим системам на нерегулярных сетках, особенно когда взаимодействия происходят на больших расстояниях или в нескольких масштабах. Эти сложности становятся более выраженными по мере увеличения количества узлов.
Несколько технологий затрудняют решение этих крупных проблем, что приводит к высоким вычислительным затратам и неэффективности. Основные проблемы включают в себя учет долгосрочных эффектов, обработку многоуровневых зависимостей и эффективные вычисления с минимальным использованием ресурсов.
В настоящее время методы глубокого обучения испытывают затруднения с масштабированием механизмов внимания для крупных физических систем. Традиционные механизмы самовнимания вычисляют взаимодействия между всеми точками, что приводит к чрезвычайно высоким вычислительным затратам. Некоторые методы применяют внимание к малым патчам, как SwinTransformer для изображений, но для нерегулярных данных требуются дополнительные шаги для их структурирования. Методы, такие как PointTransformer, используют заполняющие кривые, но это может нарушить пространственные отношения.
Новый подход Erwin
Для решения этих проблем исследователи из AMLab, Университета Амстердама и CuspAI представили Erwin, иерархический трансформер, который увеличивает эффективность обработки данных через разбиение на древесные узлы.
Этот подход минимизирует вычислительную сложность без потери точности, замыкая разрыв между эффективностью методов на основе деревьев и универсальностью механизмов внимания. Erwin использует самовнимание в локализованных областях с позиционным кодированием и смещением внимания на основе расстояний для захвата геометрических структур.
Полученные результаты
Исследователи провели эксперименты для оценки Erwin. Он превзошел эквивариантные и неэквивариантные базовые линии в космологических симуляциях, захватывая долгосрочные взаимодействия и улучшаясь с ростом обучающих наборов данных. В области молекулярной динамики он ускорил симуляции в 1,7–2,5 раза, не уступая в точности, превосходя MPNN и PointNet++ по времени выполнения, сохраняя конкурентоспособные тестовые потери.
Erwin превзошел MeshGraphNet, GAT, DilResNet и EAGLE в турбулентной динамике жидкости, особенно в прогнозировании давления, будучи втрое быстрее и используя в восемь раз меньше памяти, чем EAGLE. Размеры больших сфер в космологии улучшали производительность, сохраняя долгосрочные зависимости, но увеличивали время вычислений, а применение MPNN на этапе встраивания улучшало локальные взаимодействия в молекулярной динамике.
Заключение
Предложенный здесь иерархический дизайн трансформера эффективно справляется с крупномасштабными физическими системами с помощью разбиения на древесные узлы и достигает передовых результатов в космологии и молекулярной динамике. Хотя его оптимизированная структура компромиссно сочетает выразительность и время выполнения, у него имеется вычислительная overhead из-за паддинга и высоких требований к памяти.
Будущая работа может изучить обучаемое объединение и другие стратегии геометрического кодирования для повышения эффективности. Производительность и масштабируемость Erwin во всех областях делает его точкой отсчета для достижений в моделировании крупных систем частиц, вычислительной химии и молекулярной динамики.
