Исследователи из лаборатории Hao в Калифорнийском университете в Сан-Диего подвергли искусственный интеллект испытанию в игре Super Mario Bros. Интересно, что версии ИИ, такие как Claude 3.7 от Anthropic, продемонстрировали лучшие результаты, чем OpenAI GPT-4o и Google Gemini 1.5 Pro.
Игровая среда и роль GamingAgent
Для тестирования использовалась измененная версия игры Super Mario Bros., работающая через эмулятор, что давало ИИ возможность управлять Марио. Здесь ключевым инструментом стала система GamingAgent, разработанная лабораторией Hao, которая давала ИИ основные инструкции и соединяла их с игровыми изображениями. В результате искусственный интеллект генерировал команды для управления персонажем.
Результаты исследований и их значение
Стратегии и планирование оказались решающими факторами в успешной игре ИИ в Super Mario Bros. Неожиданно оказалось, что модели, способные к «рассуждению», как OpenAI o1, не были так эффективны в реальном времени, так как затрачивали больше времени на принятие решений. Доктор ждет точных ответов, как улучшение навыков ИИ в играх соотносится с прогрессом в реальном мире.
Вызовы и мнение экспертов
Умение ИИ играть в игры использовалось как эталон для десятилетий. Однако возникает вопрос: насколько справедливо оценивать технический прогресс на основе игровых навыков? Эксперты, такие как Андржей Карпати, утверждают, что игры не всегда могут предоставлять реалистичные данные и не всегда отражают блестящие результаты в реальной жизни.
- ИИ должен реалистично реагировать на необъяснимые события
- Оценка прогресса в реальном мире затруднительна
- Геймификация может служить основой для новых подходов
