GPT-4 vs Claude vs DeepL: Django 번역 벤치마크, 비용, 품질 비교 (2026)

GPT-4o, Claude, DeepL을 실제 Django .po 파일에 여러 언어로 테스트해 보았습니다. 이 글에서는 테스트 결과, 최신 학술 연구(WMT24와 WMT25 모두 놀라운 결과가 나왔습니다), 그리고 프로젝트에 적합한 제공업체를 선택하는 방법을 다룹니다.

TranslateBot은 이 세 가지 제공업체는 물론 LiteLLM을 통해 100개 이상의 추가 모델을 지원합니다. Django 번역을 처음 설정한다면, 제공업체를 선택하기 전에 Django 현지화 완벽 가이드에서 전체 설정 과정을 확인하세요.

연구가 말하는 것

자체 테스트에 들어가기 전에, 학술 벤치마크를 살펴볼 필요가 있습니다. 기계 번역에 대한 가장 엄밀한 평가는 Association for Computational Linguistics가 주관하는 연례 WMT 공유 과제에서 이루어집니다.

WMT24: Claude가 일반 번역 과제에서 우승

WMT24 General Machine Translation 공유 과제는 전문 인간 평가자를 활용하여 11개 언어 쌍의 번역을 평가했습니다. Claude 3.5 Sonnet이 전체적으로 가장 우수한 시스템으로, 11개 언어 쌍 중 9개에서 1위를 차지했습니다.

범용 LLM이 대헤에 제출된 모든 전용 기계 번역 시스템을 능가한 것입니다. 이는 예상하지 못한 결과였습니다.

LLM 기반 시스템은 여러 언어 쌍에서 전문 인간 참조 번역도 능가했습니다. 인간 참조 번역은 11개 쌍 중 7개에서만 최상위 품질 클러스터에 포함되었습니다. 영어-우크라이나어의 경우, Claude 3.5는 COMET 점수 90.5를 기록한 반면 인간 참조 번역은 87.3에 그쳤습니다.

WMT25: 같은 이야기, 다른 승자

WMT25 평가는 16개 언어 쌍으로 확대되엇습니다. Gemini 2.5 Pro가 1위를 차지하여 16개 쌍 중 14개에서 최상위 클러스터에 들었습니다. 인간 번역은 결과가 제공된 15개 쌍 중 6개에서만 최상위 클러스터에 포함되었습니다.

논문은 이에 대해 "번역의 본질적 어려움을 부각시키지만, 평가자의 문체적 또는 어휘적 선호를 반영할 수도 있다"고 언급합니다. 원인이 무엇이든, LLM은 이제 이러한 벤치마크에서 전용 MT 시스템을 일관되게 능가하고 있습니다.

LLM이 여전히 부족한 부분

같은 연구에서 명확한 한계도 보여줍니다. GPT-4를 인간 번역가와 비교 평가한 연구에서 1,600개 문장을 분석한 결과, GPT-4는 주니어 번역가 수준의 성능을 보이며 세그먼트당 3.71개의 주요 오류를 발생시켰습니다. 시니어 번역가는 1.83개였습니다.

품질은 언어 쌍에 따라 크게 달라집니다. 영어-러시아어의 경우, GPT-4는 시니어 번역가에 거의 근접합니다. 중국어-영어의 경우에는 상당히 뒤처집니다. 저자원 언어 쌍의 경우, 격차가 더 벌어집니다: LLM을 사용한 영어-크메르어 번역은 XCOMET에서 39.10을 기록한 반면 Google Translate는 65.88을 기록했습니다.

WMT24는 또한 LLM이 특정 언어의 특정 언어적 현상에서 여전히 어려움을 겪는다는 것을 발견했습니다. 예를 들어 영어-독일어에서 구두점 처리와 미레 시제 동사는 전통적인 신경 MT 시스템이 실제로 더 잘 처리하는 영역입니다.

한 가지 더 알아둘 점: COMET 같은 자동 품질 지표는 오해의 소지가 있을 수 있습니다. COMET 점수 0.86으로 높은 점수를 받은 세그먼트가 전문가 검토에서 치명적인 오역 오류를 포함하고 있는 것으로 밝혀진 사례가 있습니다. 자동화된 벤치마크만으로 판단해서는 안 됩니다.

경쟁 제공업체 (2026년 중반 기준)

OpenAI GPT-4o / GPT-4o-mini

OpenAI의 모델은 TranslateBot의 기본 설정입니다. GPT-4o-mini는 합리적인 품질의 저예산 옵션이고, GPT-4o는 복잡한 번역과 문맥 의존적인 텍스트를 잘 처리합니다. 두 모델 모두 TRANSLATING.md를 통한 사용자 정의 지침을 지원합니다.

Anthropic Claude (Sonnet / Haiku)

Claude는 WMT24의 일반 번역 과제에서 우승했습니다. Claude Sonnet 5는 문맥 이해에 강하며, 번역투가 아닌 자연스러운 번역을 생성하는 경향이 있습니다. Claude Haiku 4.5는 더 빠르고 저렴한 옵션입니다.

DeepL

DeepL은 2025년 초에 기존의 전통적 신경 MT 방식에서 벗어나 차새대 LLM 기반 번역 모델을 출시했습니다. 새 모델은 7년 이상의 독점 번역 데이터로 학습되었습니다. DeepL은 또한 번역 요청에 사용자 정의 지침 지원을 추가했고 100개 이상의 언어로 확장했습니다. 무료 티어(월 500,000자)는 여전히 이용 가능합니다.

직접 비교

백만 입력 토큰당 비용

LLM 가격은 토큰 단위인 반면 DeepL은 문자 단위로 과금되므로 직접 비교가 까다롭습니다. 일반적인 번역 작업량에서는 LLM이 훨씬 저렴합니다. 아래 비용 예시를 참고하세요.

품질 분석

유럽 언어 (독일어, 프랑스어, 네덜란드어, 스페인어)

DeepL의 새 LLM 모델은 이미 강했던 유럽 언어 성능을 더욱 강화했습니다. GPT-4o와 Claude Sonnet도 이에 근접합니다. WMT24 결과가 이를 뒷받침합니다: 주요 유럽 언어 쌍에서 상위 LLM 시스템과 전용 MT 간의 품질 겨차는 이 시점에서 무시할 수준입니다.

GPT-4o-mini와 Claude Haiku는 프리미엄 옵션보다 한 단계 아래이지만, 일반적인 Django UI 문자열은 잘 처리합니다. 길고 복잡한 문장이나 전문 용어에서 실수가 발생할 수 있습니다.

아시아 언어 (일본어, 중국어, 한국어)

LLM 기반 제공업체가 여전히 확실한 우위를 점하고 있습니다. GPT-4o와 Claude Sonnet은 일본어 경어(존경 표현), 중국어 간체/번체 구분, 한국어 존댓말을 더 섬세하게 처리합니다. DeepL의 새 LLM 모델이 격차를 좁혔지만, LLM이 이러한 언어에 가져오는 문맥 이해의 깊이는 여전히 앞서 있습니다.

연구 결과도 이와 일치합니다: GPT-4는 영어-러시아어에서 시니어 번역가에 거의 근접하지만, 중국어-영어에서는 상당히 뒤처집니다. 어떤 제공업체를 선택하느냐보다 어떤 언어 쌍을 번역하느야가 더 중요합니다.

저자원 언어

크메르어, 라오어, 버마어 같은 언어로 번역하는 경우, 현재 LLM은 품질이 크게 떨어집니다. Google의 전용 MT 시스템이 이러한 언어에서 LLM을 큰 차이로 능가합니다. 대부분의 Django 프로젝트는 주류 언어를 대상으로 하기 때문에 이 문제가 영향을 미칠 가능성은 낮지만, 한계를 알아두는 것은 중요합니다.

컨텍스트와 톤

LLM 제공업체는 여기서 이점이 있습니다: TRANSLATING.md 파일을 읽고 프로젝트별 지침을 모든 번역에 적용할 수 있습니다. 용어 선호도("'cart'를 'Einkaufswagen'이 아닌 'Warenkorb'로 번역"), 톤 가이드라인("독일어에서 비격식 'du' 사용"), 모허한 용어 명확화 등을 설정할 수 있습니다.

DeepL은 API에 사용자 정의 지침 파라미터를 추가했으며, 이것은 새로운 기능입니다. 또한 용어집(요청당 최대 5개)도 지원합니다. 하지만 TRANSLATING.md 파일에는 제품 설명, 대상 독자 정보, 스타일 가이드라인을 포함할 수 있어서 DeepL의 지침 파라미터가 처리할 수 있는 범위를 넘어섭니다.

플레이스홀더 처리

모든 제공업체가 Django의 플레이스홀더 형식(%(name)s, {name}, %s, %d)을 안정적으로 처리합니다. TranslateBot은 프롬프트에 플레이스홀더를 보존하라는 명시적 지침을 포함합니다. 테스트에서 플레이스홀더 손상은 모든 제공업체에서 극히 드물었습니다.

실제 비용 예시

500개 문자열(약 10,000단어)을 5개 대상 언어로 번역하는 비용은 다음과 같습니다:

GPT-4o-mini는 중간 규모의 Django 프로젝트 전체를 5개 언어로 번역하는 데 5센트도 들지 않습니다. 프리미엄 모델(GPT-4o, Claude Sonnet)도 1달러 미만입니다. DeepL의 무료 티어는 월 500,000자 한도 내의 중소규모 프로젝트라면 무료입니다.

초기 전체 번역 이후에는 TranslateBot의 증분 번역 기능(새로 추가되거나 변경된 문자열만 번역)이 비용을 더욱 낮춰줍니다. 이후 실행에서는 일반적으로 소수의 문자열만 처리합니다.

장점과 단점

GPT-4o-mini

가격 대비 최고의 가치입니다. 빠르고, 대부분의 언어 쌍에서 견고한 품질을 보이며, 거의 모든 팀이 이미 OpenAI API 키를 가지고 있습니다.

단점: 복잡하거나 문맥 의존적인 텍스트에서 GPT-4o 및 Claude Sonnet 대비 품질이 떨어집니다. 연구에 따르면 GPT-4는 지나치게 직역하고 흔하지 않은 고유명사를 잘 처리하지 못하는 경향이 있습니다.

GPT-4o

테스트한 모든 언어에서 우수한 번역 품질을 보여줍니다. TRANSLATING.md 컨텍스트를 잘 처리하고 플레이스홀더를 안정적으로 보존합니다.

GPT-4o-mini보다 토큰당 약 17배 비싸고 더 느립니다. 번역 작업량 기준으로 절대 금액은 여전히 합리적입니다.

Claude Sonnet

WMT24 우승 모델입니다. 테스트 결과, Claude Sonnet은 가장 자연스러운 번역을 생성합니다. 특히 TRANSLATING.md에 상세한 컨텍스트가 포함되어 있을 때 빛을 발합니다. 격식 수준(독일어 Sie/du, 일본어 경어) 처리에서 다른 대안들보다 뛰어납니다.

토큰당 가장 비싼 LLM 옵션입니다. 대부분의 팀에서 Anthropic API 키가 OpenAI 키보다 덜 보편적이어서 시작할 때 약간의 마찰이 생길 수 있습니다.

Claude Haiku

Sonnet보다 빠르고 저렴하며, TRANSLATING.md를 완전히 지원합니다. 복잡한 번역에서 Sonnet과의 품질 차이가 눈에 띄고, GPT-4o-mini가 더 낮은 가격에 더 나은 가치를 제공하는 경우가 많습니다.

DeepL

무료 티어 덕분에 번역 예산이 없는 프로젝트에는 당연한 선택입니다. 유럽 언어 품질은 우수하고, API는 빠르며, 새 LLM 모델이 전반적으로 품질을 향상시겼습니다.

TRANSLATING.md 지원이 없어서 TranslateBot의 프로젝트 컨텍스트를 전달할 수 없습니다. 사용자 정의 지침 파라미터가 도움이 되지만 유연성이 떨어집니다. 별도의 [deepl] 설치 추가 패키지가 필요합니다.

추천 매트릭스

대부분의 Django 프로젝트에는 GPT-4o-mini로 시작하는 것을 권장합니다. 가장 넓은 범위의 사용 사례를 최저 비용으로 커버합니다. 특정 언어에서 품질이 기대에 미치지 못한다면, Claude Sonnet 또는 GPT-4o로 업그레이드하세요. 전환에는 약 30초면 충분합니다.

TranslateBot에서 제공업체 변경하기

제공업체를 전환하려면 settings.py에서 두 가지 설정만 변경하면 됩니다:

import os

# Option 1: GPT-4o-mini (default)
TRANSLATEBOT_MODEL = "gpt-4o-mini"
TRANSLATEBOT_API_KEY = os.getenv("OPENAI_API_KEY")

# Option 2: GPT-4o
TRANSLATEBOT_MODEL = "gpt-4o"
TRANSLATEBOT_API_KEY = os.getenv("OPENAI_API_KEY")

# Option 3: Claude Sonnet
TRANSLATEBOT_MODEL = "claude-sonnet-5-20250514"
TRANSLATEBOT_API_KEY = os.getenv("ANTHROPIC_API_KEY")

# Option 4: DeepL
TRANSLATEBOT_PROVIDER = "deepl"
TRANSLATEBOT_API_KEY = os.getenv("DEEPL_API_KEY")

DeepL의 경우, DeepL 추가 패키지도 설치해야 합니다:

uv add --dev translatebot-django[deepl]

코드 변경도, 마이그레이션도, 재배포도 필요 없습니다. 설정을 변경하고, 번역 명령을 다시 실행하면 새로운 제공업체로 번역이 적용됩니다.

실용적인 팁

커밋 전에 테스트하세요. --dry-run 플래그를 사용하면 .po 파일에 기록하지 않고 번역 결과를 미리 확인할 수 있습니다:

python manage.py translate --target-lang de --dry-run

저렴하게 시작하고, 필요할 때 업그레이드하세요. 초기 번역에는 GPT-4o-mini로 시작하세요. 결과를 검토한 후, 특정 언어에서 개선이 필요하면 해당 언어에만 Claude Sonnet 또는 GPT-4o로 전환하세요:

TRANSLATEBOT_MODEL=claude-sonnet-5-20250514 python manage.py translate --target-lang ja

품질 향상을 위해 TRANSLATING.md를 활용하세요. 더 비싼 모델로 업그레이드하기 전에, 용어 가이드라인과 톤 지침이 담긴 TRANSLATING.md 파일을 추가해 보세요. 이렇게 하면 GPT-4o-mini의 출력이 충분히 개선되어 더 비싼 모델이 필요 없는 경우가 많습니다.

혼합해서 사용하세요. 유럽 언어(독일어, 프랑스어, 스페인어)에는 DeepL을, 일본어나 한국어에는 Claude Sonnet을 사용하는 것을 막는 것은 아무것도 없습니다. 제공업체별로 번역 명령을 한 번씩 실행하고, 매번 다른 언어를 대상으로 지정하새요.

COMET 점수만 믿지 마세요. 자동화된 지표로 번역 품질을 평가하고 있다면, COMET이 품질을 과대평가하고 치명적인 오류를 놓칠 수 있다는 점을 인지하세요. 중요한 언어 쌍에 대해서는 반드시 원어민에게 번역 샘플 검토를 받으세요.

DeepL 무료 티어 사용량을 주시하세요. TranslateBot의 증분 번역이 도움이 되지만, 대규모 초기 번역 실행은 월 500,000자 허용량의 상당 부분을 서비할 수 있습니다.

결론

LLM은 이제 학술 벤치마크에서 전용 기계 번역 시스템과 동등하거나 이를 능가하는 성능을 일상적으로 보여주고 있습니다. Claude가 WMT24에서, Gemini가 WMT25에서 우승했으며, 인간 번역이 더 이상 최상위 티어에 들어간다는 보장이 없습니다. 불과 몇 년 전과 비교하면 큰 변화입니다.

Django 프로젝트에 대한 실질적인 시사점은 이렇습니다: 가성비를 원한다면 프로젝트당 $0.05의 GPT-4o-mini, 동료 심사 벤치마크로 뒷받침되는 최고 품질이 필요하다면 Claude Sonnet 또는 GPT-4o, 무료 티어를 원한다면 DeepL을 선택하세요. TranslateBot을 사용하면 이들 간 전환이 설정 변경 하나면 됩니다.

제공업체를 선택했다면, 다음 단계는 새 문자열이 쌓이지 않도록 Django 번역 워크플로우를 자동화하는 것입니다.