В среду Google представила TranslateGemma: набор открытых моделей перевода на базе Gemma 3. Доступны версии на 4B, 12B и 27B параметров, поддерживают 55 языков. Заявлено, что запускаются на чём угодно, от телефонов до облачных GPU. Совпадение или нет, но релиз случился через несколько часов после того, как OpenAI показала свой ChatGPT Translate.
Главное здесь: эффективность. По данным блога Google для разработчиков, модель на 12B параметров превосходит базовую Gemma 3 27B по метрике MetricX на бенчмарке WMT24++. То есть качество перевода выше при вдвое меньшем количестве параметров. Модель на 4B, в свою очередь, догоняет по качеству базовую 12B, что делает её пригодной для инференса на мобильных устройствах. Оговорка: бенчмарки Google публикует сама, независимая проверка покажет, насколько эти цифры соответствуют действительности.
Модели унаследовали мультимодальные возможности Gemma 3. Тесты на бенчмарке Vistra показали улучшения в переводе текста на изображениях, причём без специальной дообучки под эту задачу. Google обучила модели на 55 языковых парах с полной оценкой качества, плюс ещё 500 пар без подтверждённых метрик. В техническом отчёте описана двухэтапная схема обучения: сначала supervised fine-tuning на синтетических и человеческих переводах, затем обучение с подкреплением с использованием reward-моделей MetricX-QE и AutoMQM.
TranslateGemma уже доступна на Hugging Face, Kaggle и Vertex AI. Версия 4B рассчитана на мобильные устройства, 12B поместится на обычный ноутбук, а для 27B понадобится H100 или TPU в облаке.
Итого: по заявлениям Google, их модель на 12B параметров догоняет или превосходит более крупные базовые модели перевода. Но это пока данные самой компании, ждём независимых тестов.
ФАКТЫ
- 55 языков полностью протестированы на бенчмарке WMT24++
- Модель 12B набирает 3.60 по MetricX против 4.04 у базовой 27B (чем меньше, тем лучше; данные Google)
- 4.3 миллиарда токенов использовано при supervised fine-tuning
- Ещё 500 языковых пар обучены, но пока без бенчмарков
- Доступно на Hugging Face, Kaggle и Vertex AI
