Qilin: Мультимодальный набор данных для улучшения поисковых и рекомендательных систем
Поисковые и рекомендательные системы играют ключевую роль на современных платформах онлайн-контента. Традиционные методы поиска обычно ориентированы на текстовый контент, что создает значительный разрыв в обработке иллюстрированных текстов и видео, которые становятся важными элементами сообществ с пользовательским контентом. Существующие наборы данных для задач поиска и рекомендаций содержат текстовую информацию или статистически плотные функции, серьезно ограничивая развитие эффективных мультимодальных поисковых и рекомендательных сервисов.
Уровень сессии содержит ценную контекстную информацию о поведении пользователей, пересмотрах, источниках поисковых намерений и паттернах переходов между функциями поиска и рекомендаций, напрямую влияющих на удовлетворенность и удержание пользователей.
Существующие подходы пытались решить проблемы мультимодального поиска. Подходы, основанные на обучении представлению, отображают изображения в бинарное пространство с помощью хэш-функций или кодируют их в латентные семантические пространства с помощью глубоких нейронных сетей. Хэш-методы обеспечивают эффективную работу в реальном времени при низких затратах на хранение, в то время как семантические методы сосредоточены на понимании модальности и сопоставлении между модальностями.
Кроме того, наборы данных для поиска, рекомендаций и задач поиска и рекомендаций содержат только текстовый контент или функции на основе значений. Хотя некоторые наборы данных электронной коммерции включают названия продуктов и изображения, а специализированные наборы данных, такие как UniIR и Flickr30K, существуют для мультимодального поиска, они адресуют фактологические запросы с явным намерением, а не сложные информационные потребности пользователей.
Новый подход: Qilin
Исследователи из Xiaohongshu Inc. и Университета Цинхуа предложили Qilin — мультимодальный набор данных для информационного поиска, разработанный для решения растущей потребности в развитии более совершенных поисковых и рекомендательных сервисов. Собранный с платформы Xiaohongshu, популярной социальной платформы с более чем 300 миллионами активных пользователей в месяц и поисковой пенетрацией, превышающей 70%, этот набор данных предлагает коллекцию пользовательских сессий с гетерогенными результатами, включая заметки с изображениями и текстами, видео заметки, коммерческие заметки и прямые ответы.
Qilin включает обширные сигналы на уровне приложения и настоящие отзывы пользователей, чтобы лучше моделировать пользовательское удовлетворение и поддерживать анализ гетерогенного поведения пользователей. Он уникально содержит ответы, которым отдают предпочтение пользователи, и их соответствующие результаты для поисковых запросов, вызывающих модуль глубокого ответа на запросы (DQA).
Конструкция и результаты
Построение набора данных Qilin следует конвейеру, состоящему из отбора пользователей, объединения журналов фронт-энда, сбора функций и фильтрации данных. Набор данных включает сессии на уровне приложения от 15 482 пользователей, что значительно больше и разнообразнее существующих наборов данных для поиска и рекомендаций, таких как Amazon, JD Search и KuaiSAR.
Amazon может быть частично принят для изучения мультимодальных S&R систем, но он предлагает только псевдо-запросы, полученные из метаданных продуктов, без реального поведения пользователей в поиске. JD Search и KuaiSAR предоставляют только анонимизированные содержимое товаров, что затрудняет интерпретацию эффективности моделей. Qilin решает эти ограничения, используя открытую платформу сообщества Xiaohongshu с обилием UGC. После тщательной фильтрации набор данных включает оригинальное содержание заметок (заголовок + основной текст + изображения), что обеспечивает их полноту и аутентичность.
Выводы и перспективы
В заключение, исследователи представили Qilin, мультимодальный набор данных для исследовательской работы в области поиска и рекомендаций. Он включает сессии на уровне APP от 15 482 пользователей и предоставляет текстовый и графический контент для гетерогенных результатов. Проведенные предварительные эксперименты показывают универсальность и потенциальные приложения Qilin, предоставляя ценные направления для разработки более продвинутых мультимодальных систем поиска.
