LLMs продемонстрировали высокую эффективность в ответах на вопросы о графах знаний (KGQA), используя стратегии планирования и интерактивные подходы для запросов к графам знаний. Многие существующие методы полагаются на инструменты на основе SPARQL для получения информации, позволяя моделям генерировать точные ответы. Некоторые методы улучшают способности LLM к рассуждению, создавая маршруты рассуждений на основе инструментов, в то время как другие используют рамки принятия решений, которые используют обратную связь с окружающей средой для взаимодействия с графами знаний.
Хотя эти стратегии улучшили точность KGQA, они часто стирают грань между использованием инструментов и реальным рассуждением. Это приводит к снижению интерпретируемости, ухудшению читаемости и увеличению риска галлюцинированных вызовов инструментов, когда модели генерируют неверные или нерелевантные ответы из-за излишней зависимости от параметрического знания.
Чтобы преодолеть эти ограничения, исследователи изучили методы с усиленной памятью, которые предоставляют внешнее хранилище знаний для поддержки сложных рассуждений. Предыдущие работы интегрировали модули памяти для сохранения долгосрочного контекста, что позволяет принимать более надежные решения. Ранние методы KGQA использовали память ключ-значение и графовые нейронные сети для вывода ответов, в то время как недавние подходы на основе LLM используют модели крупного масштаба для улучшенного рассуждения. Некоторые стратегии используют контролируемую тонкую настройку для улучшения понимания, в то время как другие используют дискриминативные техники для смягчения галлюцинаций.
Тем не менее, существующие методы KGQA по-прежнему испытывают трудности с разделением рассуждений и вызовов инструментов, что приводит к недостатку сосредоточенности на логическом выводе. Исследователи из Харбинского технологического института предлагают Memory-augmented Query Reconstruction (MemQ), структуру, которая отделяет рассуждения от вызовов инструментов в KGQA на основе LLM.
MemQ создает структурированную память запросов, используя описания заявлений о запросах, созданных LLM, что позволяет независимые рассуждения. Этот подход улучшает читаемость за счет генерации явных шагов рассуждения и извлечения релевантной памяти на основе семантического сходства. MemQ улучшает интерпретируемость и уменьшает галлюцинированное использование инструментов за счет устранения ненужной зависимости от инструментов. Экспериментальные результаты показывают, что MemQ достигает передовых результатов на эталонах WebQSP и CWQ, демонстрируя его эффективность в улучшении рассуждений KGQA на основе LLM.
Основные задачи MemQ
MemQ разработан для разделения рассуждений и вызова инструментов в KGQA на основе LLM через три ключевые задачи: построение памяти, знаниевое рассуждение и реконструкция запроса. Построение памяти включает в себя хранение заявлений о запросах с соответствующими описаниями на естественном языке для эффективного извлечения. Процесс знаниевого рассуждения генерирует структурированные планы рассуждений по нескольким шагам, обеспечивая логическую последовательность в ответах на запросы. Затем реконструкция запроса извлекает релевантные заявления о запросах на основе семантического сходства и собирает их в окончательный запрос.
MemQ улучшает рассуждения путем тонкой настройки LLM с помощью пар объяснений и заявлений и использует адаптивную стратегию извлечения памяти, превосходя предыдущие методы на эталонах WebQSP и CWQ с передовыми результатами. Эксперименты оценивают производительность MemQ в ответах на вопросы о графах знаний с использованием наборов данных WebQSP и CWQ. В качестве метрик оценки используются Hits@1 и F1-оценки с сравнением с базовыми значениями на основе инструментов, такими как RoG и ToG. MemQ, построенный на основе Llama2-7b, превосходит предыдущие методы, демонстрируя улучшенное рассуждение через подход с усиленной памятью. Аналитические эксперименты подчеркивают превосходную структурную и граничную точность. Исследования абляции подтверждают эффективность MemQ в использовании инструментов и стабильности рассуждений.
Дополнительные анализы изучают ошибки в рассуждениях, галлюцинации, эффективность данных и универсальность модели, демонстрируя ее адаптивность к различным архитектурам. MemQ значительно улучшает структурированное рассуждение, сокращая ошибки в многозадачных запросах.
Заключение
В заключение, исследование представляет MemQ, структуру с усиленной памятью, которая отделяет рассуждения LLM от вызова инструментов для уменьшения галлюцинаций в KGQA. MemQ улучшает реконструкцию запросов и повышает ясность рассуждений, включая модуль памяти запросов. Подход позволяет осуществлять рассуждения на естественном языке, снижая ошибки в использовании инструментов. Эксперименты на эталонах WebQSP и CWQ демонстрируют, что MemQ превосходит существующие методы, достигая передовых результатов. Путем устранения путаницы между использованием инструментов и рассуждениями, MemQ улучшает читаемость и точность ответов, генерируемых LLM, предлагая более эффективный подход к KGQA.
