Nvidia доминирует на тестах генеративного ИИ, подавляя 2 конкурирующих ИИ-чипа
Тесты MLPerf представляют, насколько быстро чат-бот может отвечать на запросы. Графические процессоры общего назначения от Nvidia снова практически выиграли один из самых популярных бенчмарков для измерения производительности чипов в области искусственного интеллекта. На этот раз акцент был сделан на генеративные ИИ-приложения, такие как крупные языковые модели (LLMs).
Большой конкуренции не было. Системы, собранные SuperMicro, Hewlett Packard Enterprise, Lenovo и другими, оснащенные до восьми чипами Nvidia, заняли большую часть первых мест в тесте MLPerf, организованном консорциумом MLCommons.
Обновленные тесты и задачи MLCommons
Тест измеряет, насколько быстро машины могут производить токены и обрабатывать запросы, в пятой версии этого прогноза. В этот раз MLCommons обновил тесты скорости с двумя тестами, представляющими обычное использование генеративного ИИ. Один из тестов показывает, насколько быстро чипы выполняют задачи на открытой LLM Llama 3.1 405b от Meta, одной из крупнейших программ ИИ.
MLCommons также добавила интерактивную версию Llama 2 70b от Meta, чтобы моделировать интерактивность чат-ботов. Машины тестируются на скорость генерации первого токена, чтобы симулировать быстрое реагирование. Новый тест измеряет скорость обработки графовых нейросетей, которые становятся важными компонентами для программ генеративного ИИ, таких как AlphaFold 2 от DeepMind.
Преимущества и конкуренция Nvidia
Четвертый новый тест измеряет скорость обработки данных LiDAR в автокартах. MLCommons создала свою версию нейросети для теста, комбинируя существующие подходы с открытым исходным кодом.
На соревновании MLPerf участвуют компьютеры, собранные Lenovo, HPE и другими, соответствуя строгим требованиям к точности выходных данных от нейросетей. Каждая система отправляет MLCommons отчеты о своей наилучшей скорости производства данных в секунду. В некоторых задачах бенчмарк измеряет среднюю задержку на получение ответа с сервера. Графические процессоры Nvidia получили лучшие результаты почти во всех тестах в закрытой категории, где правила по настройке ПО наиболее строгие.
В тестах Llama 2 70b конкурент AMD с чипом MI300X занял первое место с 103,182 токенами в секунду, улучшив результат Nvidia с чипом Blackwell. Эта система была собрана новичком на тестах MLPerf — стартапом MangoBoost, разрабатывающим программное обеспечение для улучшения взаимодействия ИИ. Nvidia оспаривает сравнение, указывая на необходимость «нормализовать» оценки с учетом количества чипов и узлов компьютерной системы.
