Масштабное использование больших языковых моделей (БЯМ) значительно изменило ландшафт создания и потребления контента. Однако возникли критические проблемы, связанные с точностью и фактической надежностью. Контент, созданный БЯМ, часто включает утверждения, которые не имеют должной проверки, что потенциально может привести к дезинформации.
Поэтому точное извлечение утверждений из таких выходов для эффективной проверки фактов стало необходимым, хотя и сложным из-за присущей двусмысленности и зависимости от контекста.
Исследовательское подразделение Microsoft AI разработало Claimify, передовой метод извлечения утверждений, основанный на БЯМ, специально разработанный для повышения точности, полноты и контекстной осведомленности при извлечении утверждений из выходов БЯМ.
Технический подход Claimify
Claimify устраняет ограничения существующих методов, явно справляясь с двусмысленностью. В отличие от других подходов, Claimify идентифицирует предложения с несколькими возможными интерпретациями и извлекает утверждения только тогда, когда смысл четко определен в данном контексте. Этот вдумчивый подход обеспечивает более высокую точность и надежность, что особенно полезно для последующей проверки фактов.
Технически Claimify использует структурированную последовательность, включающая три ключевых этапа: Выбор, Разрешение двусмысленности и Разложение.
- На этапе Выбора Claimify использует БЯМ для идентификации предложений, содержащих проверяемую информацию, отфильтровывая те, которые не имеют фактического содержания.
- На этапе Разрешения двусмысленности он сосредотачивается на обнаружении и разрешении двусмысленностей, таких как неясные ссылки или несколько правдоподобных интерпретаций.
- Финальный этап, Разложение, включает преобразование каждого уточненного предложения в точные, независимые от контекста утверждения.
Этот структурированный процесс улучшает как точность, так и полноту полученных утверждений.
Оценка Claimify
В тестированиях с использованием набора данных BingCheck, который охватывает широкий спектр тем и сложные ответы БЯМ, Claimify продемонстрировал заметные улучшения по сравнению с предыдущими методами. Он достиг высокого уровня логической связи на уровне 99%, что свидетельствует о сильной согласованности между извлеченными утверждениями и оригинальным контентом.
Что касается охвата, Claimify уловил 87,6% проверяемого контента, сохранив высокий уровень точности на уровне 96,7%, превосходя сопоставимые подходы.
Его систематический подход к деконтекстуализации также гарантировал сохранение важных контекстуальных деталей, приводя к более обоснованным утверждениям по сравнению с предыдущими методами.
Значение Claimify
В целом, Claimify представляет собой значимый шаг вперед в автоматизированном извлечении надежных утверждений из контента, созданного БЯМ. Методически справляясь с двусмысленностью и контекстуальностью через структурированную и тщательную оценку, Claimify устанавливает новый стандарт точности и надежности.
По мере роста зависимости от контента, разработанного БЯМ, такие инструменты, как Claimify, будут играть все более важную роль в обеспечении достоверности и фактической целостности этого контента.
