Да-да, дамы и господа, это верно — мы живем во время, когда даже кодинг стал игрой для умных железяк. Мы тут про новую игрушку в мире ИИ — LMC-Eval, созданную, чтобы разобраться, кто из ИИ сможет справиться с задачками по программированию. И не просто задачками, а вопросами на логику и математику. Берем учебники старших классов, засучиваем рукава и отправляемся на встречу с самыми умными машинами.
Что такое LMC-Eval?
Математика и код словно сплелись воедино в этом эпическом соревновании. Мы взяли 100 подвохов из мира школьной программы и заставили наши ИИ подумать наперед. Тут нет тренировки по таким же заданиям — чистый импровизационный поединок, чтобы проверить их настоящие умения в логическом мышлении и прогерских навыков. Возьмите в руки свой любимый чай (или что покрепче) и присядьте поудобнее: результаты заставят вас по-настоящему поразмыслить.
Результаты — Кто же гуру кодинга?
Итак, берите салфетки, отойдут ли ваши фавориты на второй план? В этом турнире лидерами стали ChatGPT-o1 и ChatGPT-o3-mini. Эти монстры программирования обошли всех оставшихся на повороте, благодаря своей логике и креативу. Когда вам предстоит брататься с задачами от «переменные» до «оптимизации», эти двое — ваши лучшие друзья.
Выбор жемчужин среди LLM
Наш список включает не только этих парней от OpenAI. В игру вступили и другие: Anthropic Claude Sonnet в обеих версиях 3.5 и 3.7, Google Gemini 2.0 Flash и несколько других. Использование всех последних наработок на февраль 2025 года — движемся в ногу с временем!
Что дальше?
На этом история только начинается. Впереди у нас еще больше моделей, такие как DeepSeek R1 и Llama. Мы будем углубляться в более сложные задачи и отсеивать те, что кажутся нашим роботам легкими.
Заключение
Напоминаем, что мир технологий не стоит на месте, и LMC-Eval — отличный тому пример. Так что подготовьте свои железные коней и направьте их разум в мир логики и кода, потому как будущее уже здесь. Спасибо за внимание, а теперь займитесь программированием с новым вдохновением!
