Современные крупные языковые модели (КЯМ) сталкиваются с различными вызовами, включая ограниченные возможности постоянного обучения. В процессе решения этой проблемы RAG, или генерация с дополнением информации из внешних источников, стало одним из эффективных подходов. Однако, традиционные RAG структуры опираются на векторный поиск, что ограничивает их возможность захватывать сложные связи и ассоциации в знаниях. Недавние улучшения в этом направлении интегрировали такие структуры данных, как графы знаний, улучшающие возможности моделирования и сложные многошаговые соединения. На фоне этих усовершенствований возникает необходимость привнести такой подход, который повышает способность к пониманию контекста и не жертвует частотой фактических ошибок.
Три стратегии постоянного обучения
Стратегии постоянного обучения для КЯМ обычно делятся на три категории:
- Периодическое тонкое настройка.
- Редактирование модели.
- Непараметрическое извлечение.
Финальная настройка периодически обновляет параметры модели с новыми данными, но это требует больших вычислительных затрат и может привести к катастрофическому забыванию. Модельное редактирование изменяет конкретные параметры для целевых обновлений знаний, но его эффект остаётся узким. С другой стороны, RAG динамически извлекает релевантную внешнюю информацию во время инференса, что позволяет эффективно обновлять знания без изменения параметров модели.
Усовершенствования в RAG
Современные RAG фреймворки, такие как GraphRAG и LightRAG, структуируют знания в графы, улучшающие способность модели синтезировать сложную информацию. НикоRAG 2, разработанное командой исследователей из Университета Огайо и Университета Иллинойс Урбана-Шампейн, улучшает RAG, улучшая воспроизведение фактов, моделирование и ассоциативную память. Эта технология достигает 7% улучшения в задачах на ассоциативную память по сравнению с ведущими моделями встраивания, сохраняя при этом фактическое и контекстуальное понимание на высоком уровне.
Ключевые компоненты HippoRAG 2
HippoRAG 2 включает нейробиологически вдохновлённый долгосрочный запоминающий фреймворк для КЯМ, включающий в себя искусственную неокортексу (КЯМ), кодировщик парагиппокампальной области и открытый граф знаний (KG). Он состоит из оффлайн-извлечения тройников из текстов, связывающих синонимы и интегрирующих концептуальную и контекстуальную информацию. При онлайн-режиме запросы соотносятся с соответствующими тройниками с помощью извлечения на основе встраивания, за которым следует Personalized PageRank (PPR) для контекстно-осознанного выбора. HippoRAG 2 внедряет механизм распознавания памяти для фильтрации тройников и более глубокую контекстуализацию.
Экспериментальная оценка и результаты
Для оценки системы использовались три базовых категории: классические извлекатели, большие модели встраивания и модели RAG, усиленные структурой. Experiments show that HippoRAG 2, укрепляясь на базе Llama-3.3-70B-Instruct и NV-Embed-v2, превосходит модели предыдущие уровни, особенно в сложных многошаговых задачах, демонстрируя усиленное извлечение и точность ответов с помощью своего подхода, вдохновлённого нейропсихологией.
Будущее развитие HippoRAG 2
Было проведено исследование влияния различных методик связывания, конструирования графов и фильтрации тройников, которое показало значительное улучшение результатов работы HippoRAG 2. В будущем планируется исследование графо-ориентированного извлечения для улучшения эпизодической памяти в разговорных системах.
