Введение
Генеративный ИИ сталкивается с критической задачей балансирования автономности и управляемости. Автономность значительно продвинулась благодаря мощным генеративным моделям, в то время как управляемость стала ключевой задачей для исследователей машинного обучения. Контроль на основе текста становится особенно важным, поскольку естественный язык предлагает интуитивно понятный интерфейс между людьми и машинами. Этот подход позволил достичь выдающихся результатов в редактировании изображений, синтеза аудио и генерации видео.
Ограничения генерации данных в условиях низких ресурсов
Современные модели генерации текст-данные, особенно использующие диффузионные техники, показали впечатляющие результаты, используя семантические знания из обширных наборов данных с текстовыми парами. Однако значительные барьеры возникают в ситуациях с ограниченными ресурсами, где получение достаточного количества данных с текстом становится чрезмерно дорогим или сложным из-за сложных структур данных. Критические области, такие как молекулярные данные, захват движения и временные ряды, часто испытывают недостаток в адекватных текстовых метках, что ограничивает возможности супервизорного обучения и препятствует внедрению передовых генеративных моделей.
Методология Text2Data
Исследователи из Salesforce AI Research представляют Text2Data, который вводит диффузионную структуру, улучшая управляемость текст-данные в условиях ограниченных ресурсов путем двухэтапного подхода. Сначала он осваивает распределение данных, используя неаннотированные данные через несупервизионную диффузионную модель, избегая семантической неопределенности, характерной для полусуверенизированных методов. Затем он реализует управляемую настройку на аннотированных текстом данных без расширения тренировочного набора данных.
Экспериментальные результаты и выводы
Text2Data показывает превосходство в управляемости в различных областях по сравнению с базовыми методами. В молекулярной генерации он обеспечивает более низкую среднеквадратичную ошибку для всех свойств по сравнению с EDM-finetune и EDM, особенно превосходя в свойствах, таких как ϵLUMO и Cv. Для генерации движения Text2Data превосходит MDM-finetune и MDM в метриках точности и многомодальной дистанции. В генерации временных рядов он последовательно превосходит DiffTS-finetune и DiffTS во всех оцененных свойствах.
Text2Data эффективно решает задачи генерации текст-данные в условиях ограниченных ресурсов в нескольких модальностях. Применяя начальное обучение неаннотированных данных для понимания общего распределения данных и внедряя ограниченную оптимизацию при настройке на аннотированнных данных, фреймворк успешно балансирует управляемость с сохранением распределения. Этот подход предотвращает катастрофическое забывание при сохранении качества генерации.
