Мы запустили GPT-4o, Claude и DeepL на реальных Django .po файлах для нескольких языков. В этой статье рассказываем, что мы обнаружили, что говорят последние академические исследования (WMT24 и WMT25 принесли неожиданные результаты), и как выбрать подходящего провайдера для вашего проекта.
TranslateBot поддерживает все три провайдера, а также более 100 дополнительных моделей через LiteLLM. Если вы настраиваете переводы Django впервые, наше полное руководство по локализации Django охватывает всю настройку, прежде чем выбирать провайдера.
Что говорят исследования
Прежде чем перейти к нашим собственным тестам, стоит взглянуть на академические бенчмарки. Самая строгая оценка машинного перевода проходит на ежегодных соревнованиях WMT, организованных Ассоциацией компьютерной лингвистики (ACL).
WMT24: Claude побеждает в общей задаче перевода
Общая задача машинного перевода WMT24 оценивала переводы по 11 языковым парам с привлечением профессиональных аннотаторов. Claude 3.5 Sonnet показал лучший результат в целом, выиграв 9 из 11 языковых пар.
Универсальная языковая модель превзошла все специализированные системы машинного перевода, представленные на соревновнии. Этого никто не ожидал.
Системы на основе LLM также превзошли профессиональные переводы, выполненные людьми, в нескольких языковых парах. Человеческие переводы попали в лидирующий кластер качества только для 7 из 11 пар. Для пары английский-украинский Claude 3.5 набрал 90.5 по COMET, тогда как человеческий перевод набрал 87.3.
WMT25: та же история, другой победитель
Оценка WMT25 расширилась до 16 языковых пар. Gemini 2.5 Pro вышел на первое место, попав в лидирующий кластер для 14 из 16 пар. Человеческие переводы попали в топ-кластер только для 6 из 15 пар, где они были доступы.
В статье отмечается, что это "подчёркивает врождённую сложность перевода, хотя может также отражать стилистические или лексические предпочтения аннотаторов." Как бы то ни было, LLM стабильно обходят специализированные системы машинного перевода на этих бенчмарках.
Где LLM всё ещё отстают
Те же исследования выявляют чёткие ограничения. Исследование, сравнивающее GPT-4 с переводчиками-людьми на 1 600 предложениях, показало, что GPT-4 работает на уровне начинающего переводчика, допуская 3.71 серьёзных ошибок на сегмент по сравнению с 1.83 у опытных переводчиков.
Качество сильно зависит от языковой пары. Для английский-русский GPT-4 практически не уступает опытным переводчикам. Для китайский-английский результаты заметно хуже. Для малоресурсных языковых пар разрыв становится огромным: перевод с английского на кхмерский с помощью LLM набрал 39.10 по XCOMET против 65.88 у Google Translate.
WMT24 также выявил, что LLM по-прежнему испытывают трудности с конкретными лингвистическими явлениями в определённых языках. Обработка пунктуации и будущее время глаголов в паре английский-немецкий, например: это области, где традиционные нейросетевые системы машинного перевода фактичски справляются лучше.
Ещё один важный момент: автоматические метрики качества вроде COMET могут вводить в заблуждение. Сегмент, получивший высокую оценку COMET 0.86, при проверке профессионалами оказался содержащим критическую ошибку понимания. Не полагайтесь только на автоматические бенчмарки.
Участники сравнения (середина 2026)
OpenAI GPT-4o / GPT-4o-mini
Модели OpenAI используются в TranslateBot по умолчанию. GPT-4o-mini, бюджетный вариант с хорошим качеством. GPT-4o хорошо справляется со сложными переводами и контекстно-зависимым текстом. Обе модели поддерживают пользовательские инструкции через TRANSLATING.md.
Anthropic Claude (Sonnet / Haiku)
Claude выиграл общую задачу перевода на WMT24. Claude Sonnet 5 силён в понимании контекста и обычно даёт переводы, которые звучат естественно, а не как подстрочник. Claude Haiku 4.5, более быстрый и дешёвый вариант.
DeepL
DeepL выпустил модель перевода нового поколения на базе LLM в начале 2025 года, отойдя от традиционного подхода нейронного машинного перевода. Новая модель обучена на более чем семилетнем массиве проприетраных данных переводов. DeepL также добавил поддержку пользовательских инструкций в запросах на перевод и расширил покрытие до более чем 100 языков. Бесплатный тариф (500 000 символов в месяц) по-прежнему доступен.
Сравнение лоб в лоб
| Критерий | GPT-4o-mini | GPT-4o | Claude Haiku | Claude Sonnet | DeepL |
|---|---|---|---|---|---|
| Качество европейских языков | Хорошо | Отлично | Хорошо | Отлично | Отлично |
| Качество азиатских языков | Хорошо | Отлично | Хорошо | Отлично | Хорошо |
| Контекст / пользовательские инструкции | Да | Да | Да | Да | Да |
| Поддержка TRANSLATING.md | Да | Да | Да | Да | Нет |
| Сохранность плейсхолдеров | Высокая | Высокая | Высокая | Высокая | Высокая |
| Бесплатный тариф | Нет | Нет | Нет | Нет | 500 тыс. симв./мес. |
| Скорость | Быстро | Средне | Быстро | Средне | Быстро |
| Покрытие языков | 100+ | 100+ | 100+ | 100+ | 100+ |
Стоимость за миллион входных токенов
| Провайдер | Стоимость |
|---|---|
| GPT-4o-mini | ~$0.15 |
| Claude Haiku 4.5 | ~$1.00 |
| GPT-4o | ~$2.50 |
| Claude Sonnet 5 | ~$3.00 |
| DeepL (бесплатный тариф) | $0.00 |
| DeepL (платный, за 1 млн символов) | ~$25.00 |
Тарификация LLM идёт по токенам, а DeepL берёт плату за символы, поэтому прямое сравнение затруднено. Для типичных задач перевода LLM выходят значительно дешевле. Примеры стоимости приведены ниже.
Разбор качества
Европейские языки (немецкий, французский, нидерландский, испанский)
Новая LLM-модель DeepL укрепила и без того сильные позиции в европейских языках. GPT-4o и Claude Sonnet показывают сопоставимые результаты. Результаты WMT24 это подтверждают: разрыв в качестве между ведущими LLM-системами и специализированными системами машинного перевода для основных европейских языковых пар на данный момент пренебржимо мал.
GPT-4o-mini и Claude Haiku уступают премиальным моделям, но хорошо справляются с типичными строками интерфейса Django. Они могут спотыкаться на длинных, сложных предложениях или специализированной терминологии.
Азиатские языки (японский, китайский, корейский)
Провайдеры на основе LLM по-прежнему имеют явное преимущество. GPT-4o и Claude Sonnet лучше обрабатывают японское keigo (уровни вежливости), различия между упрощённым и традиционным китайским, а также корейские формы вежливости. Новая LLM-модель DeepL сократила отставание, но глубина контекста, которую дают LLM для этих языков, всё ещё впереди.
Исследования это подтверждают: GPT-4 практически не уступает опытным переводчикам для пары английский-русский, но значительно отстаёт для пары китайский-английский. Какую языкоую пару вы переводите, важнее, чем какого провайдера вы выберете.
Малоресурсные языки
Если вы переводите на такие языки, как кхмерский, лаосский или бирманский, нынешние LLM показывают значительное падение качества. Специализированные системы машинного перевода от Google по-прежнему намного превосходят LLM для этих языков. Большинство Django-проектов ориентированы на основные языки, поэтому это вряд ли вас затронет, но знать об ограничениях стоит.
Контекст и тон
У провайдеров на основе LLM здесь преимущество: они могут читать ваш файл TRANSLATING.md и применять проектные инструкции к каждому переводу. Вы можете задать терминологические предпочтения ("переводите 'cart' как 'Warenkorb', а не 'Einkaufswagen'"), рекомендации по тону ("используйте неформальное 'du' в немецком") и уточнить неоднзначные термины.
DeepL добавил параметр пользовательских инструкций в своём API, это нововведение. Он также поддерживает глоссарии (до 5 на запрос). Но файл TRANSLATING.md может содержать описания продукта, заметки о целевой аудитории и стилевые рекомендации, что выходит за рамки возможностей параметра инструкций DeepL.
Обработка плейсхолдеров
Все провайдеры надёжно обрабатывают форматы плейсхолдеров Django (%(name)s, {name}, %s, %d). TranslateBot включает явные инструкции в свои промпты для сохранения плейсхолдеров. В наших тестах повреждение плейсхолдеров было крайне редким у всех провайдеров.
Примеры стоимости на реальных задачах
Вот сколько стоит перевод 500 строк (примерно 10 000 слов) на 5 целевых языков:
| Провайдер | Ориентировочная стоимость |
|---|---|
| DeepL (бесплатный тариф) | $0.00 |
| GPT-4o-mini | ~$0.05 |
| GPT-4o | ~$0.50 |
| Claude Sonnet | ~$0.60 |
GPT-4o-mini стоит меньше пяти центов за полный перевод среднего Django-проекта на пять языков. Премиальные модели (GPT-4o, Claude Sonnet) не выходят за доллар. Бесплатный тариф DeepL покрывает малые и средние проекты в рамках месячного лимита в 500 000 символов.
После первоначального полного перевода функция инкрементального перевода TranslateBot (перевод только новых или изменённых строк) дополнительно снижает расходы. Последующие запуски обычно обрабатывают всего несколько строк.
Сильные и слабые стороны
GPT-4o-mini
Лучшее соотношение цены и качества. Быстрый, хорошее качество для большинства языковых пар, и практически у каждой команды уже есть ключ OpenAI API.
Компромисс: качество снижается для сложного или контекстно-зависимого текста по сравнению с GPT-4o и Claude Sonnet. Исследования показывают, что GPT-4 производит чрезмерно буквальные переводы и плохо справляется с редкими именованными сущностями.
GPT-4o
Высокое качество перевода по всем языкам, которые мы тестировали. Хорошо обрабатывает контекст из TRANSLATING.md и надёжно сохраняет плейсхолдеры.
Стоит примерно в 17 раз дороже за токен, чем GPT-4o-mini, и работает медленнее. В абсолютных числах всё равно доступен для задач перевода.
Claude Sonnet
Победитель WMT24. В наших тестах Claude Sonnet даёт наиболее естественно звучащие переводы, особенно когда TRANSLATING.md содержит подробный контекст. Лучше альтернатив справляется с уровнями формальности (немецкое Sie/du, японское keigo).
Самый дорогой LLM-вариант по стоимости токена. Ключи Anthropic API также менее распространены, чем ключи OpenAI, в большинстве команд, что может создать дополнительные сложности при начале работы.
Claude Haiku
Быстрее и дешевле Sonnet с полной поддержкой TRANSLATING.md. Разница в качестве по сравнению с Sonnet заметна для сложных переводов, и GPT-4o-mini часто предлагает лучшее соотношение цены и качества.
DeepL
Бесплатный тариф делает его очевидным выбором для проектов без бюджета на перевод. Отличное качество для европейских языков, быстрый API, а новая LLM-модель улучшила качество по всем напрвлениям.
Нет поддержки TRANSLATING.md, поэтому передать проектный контекст TranslateBot невозможно. Параметр пользовательских инструкций помогает, но не так гибок. Требуется отдельная установка дополнения [deepl].
Матрица рекомендаций
| Ваш приоритет | Рекомендуемый провайдер |
|---|---|
| Лучшее соотношение цены и качества | GPT-4o-mini |
| Наивысшее качество перевода | Claude Sonnet или GPT-4o |
| Минимальные затраты (нулевой бюджет) | Бесплатный тариф DeepL |
| Лучший для азиатских языков | Claude Sonnet или GPT-4o |
| Лучший для европейских языков | DeepL или Claude Sonnet |
| Нужен пользовательский контекст/терминология | GPT-4o-mini (бюджет) или Claude Sonnet (качество) |
| Корпоративные требования соответствия | Azure OpenAI или AWS Bedrock через LiteLLM |
Для большинства Django-проектов начните с GPT-4o-mini. Он покрывает самый широкий спектр задач при минимальных затратах. Если качество не удовлетворяет ваши требования для конкретных языков, переходите на Claude Sonnet или GPT-4o. Переключение занимает около 30 секунд.
Как переключить провайдера в TranslateBot
Смена провайдера означает изменение двух настроек в вашем settings.py:
import os
# Вариант 1: GPT-4o-mini (по умолчанию)
TRANSLATEBOT_MODEL = "gpt-4o-mini"
TRANSLATEBOT_API_KEY = os.getenv("OPENAI_API_KEY")
# Вариант 2: GPT-4o
TRANSLATEBOT_MODEL = "gpt-4o"
TRANSLATEBOT_API_KEY = os.getenv("OPENAI_API_KEY")
# Вариант 3: Claude Sonnet
TRANSLATEBOT_MODEL = "claude-sonnet-5-20250514"
TRANSLATEBOT_API_KEY = os.getenv("ANTHROPIC_API_KEY")
# Вариант 4: DeepL
TRANSLATEBOT_PROVIDER = "deepl"
TRANSLATEBOT_API_KEY = os.getenv("DEEPL_API_KEY")
Для DeepL также нужно установить дополнение:
uv add --dev translatebot-django[deepl]
Никаких изменений в коде, никаких миграций, никакого редеплоя. Измените настройки, перезапустите команду перевода, и ваши переводы используют нового провайдера.
Практические советы
Тестируйте перед фиксацией. Используйте флаг --dry-run, чтобы увидеть, как будут выглядеть переводы, не записывая их в ваши .po файлы:
python manage.py translate --target-lang de --dry-run
Начинайте дёшево, улучшайте по необходимости. Начните с GPT-4o-mini для первоначального прохода перевода. Проверьте результат. Если определённые языки нуждаются в улучшении, переключитесь на Claude Sonnet или GPT-4o для этих конкретных запусков:
TRANSLATEBOT_MODEL=claude-sonnet-5-20250514 python manage.py translate --target-lang ja
Используйте TRANSLATING.md для повышения качества. Прежде чем переходить на более дорогую модель, попробуйте добавить файл TRANSLATING.md с рекомендациями по терминологии и инструкциями по тону. Это часто улучшает результат GPT-4o-mini настолько, что более дорогая модель не нужна.
Комбинируйте провайдеров. Ничто не мешает вам использовать DeepL для европейских языков (немецкий, французский, испанский) и Claude Sonnet для японского или корейского. Запускайте команду перевода по одному разу на провайдера, нацелваясь на разные языки каждый раз.
Не доверяйте только оценкам COMET. Если вы оцениваете качество перевода с помощью автоматических метрик, имейте в виду, что COMET может завышать качество и пропускать критические ошибки. Всегда просите носителя языка проверить выборку переводов для важных языковых пар.
Следите за расходом бесплатного тарифа DeepL. Инкрементальный перевод TranslateBot помогает, но большой начальный запуск перевода может израсходовать значительную часть вашего месячного лмита в 500 000 символов.
Заключение
LLM теперь регулярно сравниваются или превосходят специализированные системы машинного перевода на академических бенчмарках. Claude победил на WMT24, Gemini на WMT25, а человеческие переводы больше не гарантируют место в высшей категории. Это большой сдвиг по сравнению с ситуацией всего несколько лет назад.
Для Django-проектов практический вывод таков: GPT-4o-mini за $0.05 за проект, если нужна экономия; Claude Sonnet или GPT-4o, если нужно высшее качество, подтверждённое рецензируемыми бенчмарками; DeepL, если нужен бесплатный тариф. TranslateBot делает переключение между ними простым изменением настроек.