Как Mayo Clinic борется с галлюцинациями ИИ: обратный RAG в действии
Даже несмотря на то, что большие языковые модели (LLM) становятся все более совершенными и способны предложить неточную информацию, они продолжают страдать от галлюцинаций. Это особенно вредно в таких областях, как здравоохранение, где неправильная информация может иметь серьезные последствия. Mayo Clinic, одна из лидирующих больниц в США, внедрила новую технику для решения этой проблемы. Для успеха медицинскому учреждению необходимо преодолеть ограничения генерации, дополненной извлечением (RAG). Это процесс, при котором большие языковые модели извлекают информацию из специфических, актуальных источников данных. Больница использовала, по сути, обратный RAG, где модель извлекает релевантную информацию и затем связывает каждую точку данных с её исходным источником. Это существенно устранило почти все галлюцинации, основанные на извлечении данных, в недиагностических случаях, позволяя Mayo распространить модель на свою клиническую практику.
Учет каждой точки данных
Работа с данными здравоохранения — это сложная задача, которая может занять много времени. Хотя в электронных медицинских записях (EHR) собирается огромное количество данных, их может быть крайне трудно найти и разобрать. Первым применением ИИ для работы с этими данными стали выписки из больничного листа, где модели использовали традиционный RAG. Как объяснил Калстром, это было естественное начало, так как это простое извлечение и обобщение, в чем LLM в общем-то и хороши. Опасность галлюцинаций также была не настолько значима, как в сценариях помощи врачам. В первых итерациях были забавные галлюцинации, которые явно были неприемлемы, например, неверный возраст пациента. Поэтому нужно строить их осторожно. Хотя RAG был важным компонентом приземления LLM (улучшения их способностей), техника имеет свои ограничения. Модели могут извлекать нерелевантные, неточные или низкокачественные данные, не определять, является ли информация релевантной гуманитарному запросу, или создают выходные данные, не соответствующие запрошенным форматам. Пока существуют некоторые обходные пути для этих проблем, такие как граф RAG, который использует графы знаний для предоставления контекста, или корректирующий RAG (CRAG), где механизм оценки оценивает качество извлеченных документов — галлюцинации не исчезли.
Ссылка на каждую точку данных
Здесь в игру вступает обратный процесс RAG. В частности, Mayo сочетает известный алгоритм CURE (кластеризация с использованием представителей) с LLM и векторными базами данных для двойной проверки извлечения данных. Кластеризация критически важна для машинного обучения (ML), так как организует, классифицирует и группирует точки данных на основе их схожести или шаблонов. Это, по сути, помогает моделям «осмысливать» данные. CURE выходит за рамки типичной кластеризации с помощью иерархической техники, используя меры расстояния для группировки данных на основе близости (например, данные, более близкие друг к другу, более связаны, чем те, которые находятся дальше друг от друга). Алгоритм способен обнаруживать «выбросы» или точки данных, которые не совпадают с другими. Сочетая CURE с обратным подходом RAG, LLM Mayo разделяет генерируемые резюме на отдельные факты и сопоставляет их с исходными документами. Вторая LLM оценивает, насколько хорошо факты соответствуют этим источникам, в частности, есть ли между ними причинно-следственная связь. «Каждая точка данных ссылается на исходные лабораторные данные или отчет по изображению». Калстром объясняет: «Система обеспечивает, что ссылки реальны и точно извлекаются, эффективно решая большинство проблем извлечения данных, связанных с галлюцинациями». Команда Калстрома использовала векторные базы данных для первичного извлечения данных пациентов, чтобы модель могла быстро извлекать информацию. Изначально использовалась локальная база данных для доказательства концепции (POC); в производственной версии используется универсальная база данных с логикой в самом алгоритме CURE.
«Невероятный интерес» во всей практике Mayo
Техника CURE оказалась полезной для синтеза новых записей пациентов. Внешние записи, содержащие сложные проблемы пациентов, могут содержать «массу» контента в разных форматах, пояснил Калстром. Эти данные необходимо просмотреть и обобщить, чтобы клиницисты могли ознакомиться с ними до первого приема пациента. «Я всегда описываю внешние медицинские записи как немного похожие на электронную таблицу: вы не имеете представления о том, что находится в каждой ячейке, вам нужно изучить каждую из них, чтобы извлечь контент,» сказал он. Но теперь LLM выполняет извлечение, классифицирует материал и создаёт обзор пациента. Обычно эта задача могла занимать 90 или более минут в рабочий день врача — но ИИ может справиться с ней примерно за 10 минут, говорит Калстром. Он описал «невероятный интерес» к расширению этой возможности на всю практику Mayo, чтобы снизить административную нагрузку и разочарование. «Наша цель — упростить обработку контента — как я могу усилить способности и упростить работу врача?» он поделИлся.
Решение более сложных задач с помощью ИИ
Конечно, Калстром и его команда видят большой потенциал применения ИИ в более продвинутых областях. Например, они сотрудничали с Cerebras Systems для создания геномной модели, которая прогнозирует лучшее лечение артрита для пациента, а также работают с Microsoft над кодером изображений и моделью основы для изображений. Их первый проект в области изображений с Microsoft касается рентгеновских снимков грудной клетки.
На сегодняшний день они конвертировали 1,5 миллиона рентгеновских снимков и планируют сделать еще 11 миллионов на следующем этапе. Калстром объяснил, что создание кодера изображений не является чрезвычайно сложным; сложность заключается в том, чтобы сделать полученные изображения действительно полезными. Идеально, чтобы цели заключались в упрощении обзора рентгеновских снимков грудной клетки врачами Mayo и усилении их анализов.
ИИ может, например, определить, где следует вставить эндотрахеальную трубку или центральную линию, чтобы помочь пациентам дышать. Однако Калстром отметил, что потенциал намного шире. Например, врачи могут открыть другой контент и данные, такие как простое предсказание фракции выброса — или количества крови, выкачиваемой из сердца — из рентгеновского снимка грудной клетки.
«Теперь вы можете начать думать о предсказании реакции на терапию в более широком масштабе,» сказал он.
Клиника Mayo также видит «невероятную возможность» в геномике (исследование ДНК), а также в других «омик» областях, таких как протеомика (исследование белков). ИИ может поддерживать генную транскрипцию или процесс копирования последовательности ДНК, чтобы создать референсные точки к другим пациентам и помочь разработать профиль риска или терапевтические пути для сложных заболеваний.
«Таким образом, вы фактически картируете пациентов по отношению к другим пациентам, создавая каждого пациента вокруг когорты,» объяснил Калстром. «Вот что по-настоящему обеспечит персонализированная медицина: ‘Вы похожи на этих других пациентов, это способ лечения вас в ожидании ожидаемых результатов.’
Цель заключается в возвращении человечности в медицину, поскольку мы используем эти инструменты.» Однако Калстром подчеркнул, что все, что касается диагностики, требует гораздо больше работы. Доказать, что модель для геномики работает для ревматоидного артрита — это одно, а действительно подтвердить это в клинической среде — совсем другое. Исследователям нужно начинать с тестирования небольших наборов данных, затем постепенно расширять группы тестирования и сравнивать с общепринятой или стандартной терапией.
«Вы не сразу переходите к: ‘Эй, давайте пропустим Метотрексат’ [популярное лекарство от ревматоидного артрита], отметил он. В конечном итоге: «Мы осознаем невероятную способность этих моделей действительно трансформировать, как мы заботимся о пациентах и диагностируем в значительной мере, чтобы иметь более ориентированное на пациента или специфическое для пациента лечение по сравнению со стандартной терапией,» сказал Калстром. «Сложные данные, с которыми мы имеем дело в уходе за пациентами, это то, на чем мы сосредоточены.»
