Космическое уменьшение затрат на ИИ с помощью Chain of Draft
Исследователи из Zoom Communications представили революционную методику под названием Chain of Draft (CoD), которая может кардинально снизить затраты и сократить вычислительные ресурсы для систем искусственного интеллекта (ИИ), занимаясь сложными задачами. Этот подход открывает новые горизонты для массового внедрения ИИ в предприятиях.
Победа краткости над многословием
Метод CoD позволяет большим языковым моделям решать задачи с минимальным количеством слов — до 7,6% от текста, требуемого текущими методами, сохраняя или даже улучшая точность. Научные выводы недавно опубликованы на arXiv.
- CoD снижает многословие и фокусируется на ключевых инсайтах.
- Соответствует или превосходит CoT в точности.
- Сокращает стоимость и задержки при решении различных задач.
Цитата исследователей во главе с исследователем Zoom Силей Сюй подчеркивает: «Уменьшая многословие и фокусируясь на критических моментах, CoD соответствует или превосходит точность CoT, используя только 7,6% токенов».
Практическое применение метода COD
COD черпает вдохновение в том, как люди решают сложные задачи, акцентируя внимание на кратких записях только ключевых сведений. В ходе многочисленных тестов CoD успешно показал свои возможности в арифметических и символических рассуждениях, а также в контекстуальных вызовах.
- Уменьшение вывода на 92,4% при увеличении точности с 93,2% до 97,3%.
- Снижение затрат на миллиарды запросов с $3,800 до $760 ежемесячно.
Эффективность использования ИИ без переподготовки
CoD можно внедрить без необходимости дорогой переподготовки модели или изменений в структуре, что делает его особенно ценным в применениях с чувствительностью к задержкам, таких как поддержка клиентов в реальном времени и финансовые сервисы.
Цитата Аджита Валлата Прабхакара подчеркивает, что «Организации, уже использующие CoT, могут перейти на CoD с помощью простой модификации подсказки». CoD делает передовые ИИ-возможности более доступными и демократизирует их даже для небольших организаций с ограниченными ресурсами.
Будущее оптимизации ИИ
В условиях стремительно изменяющегося ландшафта ИИ техники, такие как COD, подчеркивают важность эффективности наряду с сырыми возможностями. Код и данные исследований доступны на GitHub, что позволяет организациям тестировать метод со своими системами.
Теперь, когда ИИ модели эволюционируют, оптимизация их решения задач станет критически важной. Зарегистрируйтесь на VB Daily, чтобы узнавать о примерах использования ИИ в бизнесе и впечатлять своего начальника глубокими аналитическими инсайтами.
