Google представляет модель Gemma 3 с контекстным окном на 128k
Даже несмотря на популярность больших языковых и рассуждающих моделей, организации все чаще обращаются к более мелким моделям для выполнения ИИ-процессов с меньшими затратами энергии и стоимости. Вместо того чтобы преобразовывать большие модели в их более малые версии, такие провайдеры моделей, как Google, продолжают выпускать малые языковые модели (SLM) в качестве альтернативы большим языковым моделям (LLM), которые могут стоить больше при эксплуатации без ущерба для производительности или точности.
С учетом этого Google представила последнюю версию своей малой модели Gemma, в которой расширены контекстные окна, увеличены параметры и добавлены многофункциональные возможности. Gemma 3, обладая той же вычислительной мощностью, что и более крупная версия Gemini 2.0, лучше всего пользоваться на небольших устройствах, таких как телефоны и ноутбуки.
Новая модель имеет четыре размера: 1B, 4B, 12B и 27B параметров. С увеличенным контекстным окном на 128K токенов, в отличие от 80K в Gemma 2, Gemma 3 может понимать больше информации и сложных запросов.
Google модернизировала работу Gemma 3 на 140 языках, анализировать изображения, текст и короткие видео, а также поддерживать выполнение функций для автоматизации задач и агентских работ.
Gemma показывает отличные результаты
Для дальнейшего снижения вычислительных затрат Google представила квантованные версии Gemma. Думайте о квантованных моделях как о сжатых моделях. Это происходит через процесс «снижения точности числовых значений в весах модели» без потери точности. Google заявила, что Gemma 3 «демонстрирует передовую производительность для своего размера» и превосходит ведущие LLM, такие как Llama-405B, DeepSeek-V3 и o3-mini. Gemma 3 27B, в частности, заняла второе место после DeepSeek-R1 в тестах Chatbot Arena Elo score. Она превзошла меньшую модель DeepSeek, DeepSeek v3, o3-mini от OpenAI, Llama-405B от Meta и Mistral Large.
Квантуя Gemma 3, пользователи могут улучшить производительность, запускать модель и создавать приложения, которые могут уместиться на одном GPU и тензорном процессорном устройстве (TPU).
Gemma 3 интегрируется с инструментами для разработчиков, такими как Hugging Face Transformers, Ollama, JAX, Keras, PyTorch и другие. Пользователи также могут получить доступ к Gemma 3 через Google AI Studio, Hugging Face или Kaggle. Компании и разработчики могут запросить доступ к API Gemma 3 через AI Studio.
Защита Gemma для безопасности
Google заявила, что встроила протоколы безопасности в Gemma 3, включая проверку безопасности изображений с помощью ShieldGemma 2. «Разработка Gemma 3 включала обширное управление данными, соответствие нашим политикам безопасности через тонкую настройку и более жесткие оценки стандартов», — пишет Google в блоге.
ShieldGemma 2 — это проверка безопасности изображений на 4B параметрах, построенных на базе Gemma 3. Она находит и предотвращает ответы модели с изображениями, содержащими сексуально откровенный контент, насилие и другие опасные материалы. Пользователи могут настраивать ShieldGemma 2 в соответствии со своими конкретными потребностями.
Рост интереса к малым моделям и дистилляции
С момента первого выпуска Google Gemma в феврале 2024 года, SLM стали пользоваться большим интересом. Другие малые модели, такие как Phi-4 от Microsoft и Mistral Small 3, показывают, что предприятия хотят создавать приложения с моделями, настолько же мощными, как и LLM, но не обязательно использовать весь спектр возможностей LLM.
Предприятия также начали переходить на меньшие версии предпочитаемых ими LLM через дистилляцию. Для ясности, Gemma не является дистилляцией Gemini 2.0; вместо этого она обучена на тех же данных и с той же архитектурой.
Дистиллированная модель учится у более крупной модели, чего Gemma не делает. Организации часто предпочитают адаптировать определенные случаи использования к модели. Вместо развертывания LLM, как o3-mini или Claude 3.7 Sonnet, для простого редактора кода, меньшая модель, будь то SLM или дистиллированная версия, может легко выполнить эти задачи без избыточной настройки огромной модели.
Подписывайтесь на наш telegram-канал
