Tokenization Economics

토큰 프리미엄은 상수지만, 그것을 흡수할 능력은 아니다

핵심 개념

LLM에서 모든 것이 토큰으로 표시된다. 비용도 토큰당, 컨텍스트 윈도우도 토큰, 속도도 처리할 토큰 수의 함수다. 따라서 같은 의미의 콘텐츠가 몇 개의 토큰으로 쪼개지느냐가 곧 경제적 조건이 된다.

fertility = 토크나이저가 단어당 생산하는 평균 토큰 수. 영어는 주요 모델 전반에서 약 1.2다. 토크나이저는 압도적으로 영어 데이터로 학습되므로, 덜 본 언어의 텍스트는 더 잘게 파편화된다.

attention 메커니즘은 모든 토큰을 다른 모든 토큰과의 관계로 고려한다. 계산 비용이 시퀀스 길이에 선형이 아니라 제곱으로 스케일한다.

fertility 3배 → 학습 비용 약 9배
fertility 5배 → 학습 비용 약 25배

이것이 “언어 세금”이 단순한 API 요금 차이보다 훨씬 구조적인 이유다.

언어	영어 대비
영어	1.0 (fertility ~1.2)
아랍어	~2.2×
힌디어	~2.5× (구형 모델 ~6.4×) — 평가된 모든 토크나이저에서 single-token retention rate 최저
타밀어	~2.5–3.8×
태국어	공백이 없어 비라틴 문자 중 최악급
미얀마 문자	문장 단위 7× (문장당 357토큰 vs 라틴 50토큰)
Shan	subword 페널티 이전에 이미 3.94× 바이트 프리미엄 (토크나이저가 언어를 모르고 바이트 단위 인코딩으로 폴백)

Petrov et al. (NeurIPS 2023)은 17개 토크나이저에서 동일 의미 콘텐츠에 대해 언어 간 최대 15배 차이를 측정했다.

비영어 사용자는 두 방향에서 손해를 본다.

그리고 페널티가 가장 큰 언어들은 남아시아·동남아시아·사하라 이남 아프리카에 집중되어 있다. 평균 소득이 낮아 비용 차이가 불편이 아니라 진짜 접근 장벽이 되는 지역이다.

AI Affordability Index = 1인당 GDP / 단어당 토큰 수(TPW)

지수가 높을수록 AI가 감당 가능하다. 같은 타밀어라도 싱가포르에서는 26,000, 인도에서는 1,000이다. 토큰 비용은 동일하지만 감당 능력은 전혀 다르다.

GPT-4o는 vocabulary를 20만 토큰으로 두 배 늘리고 비영어 데이터를 추정 39% 학습(GPT-3.5는 3.2%) → 일부 인도 언어 토큰 수 60–80% 감소, 키릴 커버리지 10배 증가
그럼에도 2025년 최고 토크나이저에서도 영어 fertility는 ~1.2, 힌디어·타밀어 사용자는 여전히 2–3배
Manipuri는 GPT-4 → GPT-4o에서 감소율 0%
아프리카 2,000개 이상 언어 중 의미 있는 LLM 지원이 있는 것은 42개

토크나이제이션 자체를 우회하는 연구(Meta의 Byte Latent Transformer, MAGNET 등)가 진행 중이고 방향은 분명하지만, 수십억 명이 오늘 쓰는 배포 시스템에는 아직 도달하지 않았다.

컨텍스트 예산이 언어마다 다르다. 같은 문서를 넣어도 비영어 컨텍스트는 몇 배 빨리 찬다 → Context Engineering의 압박이 언어별로 불균등
MCP (Model Context Protocol) 툴 설계의 bloat 문제가 비영어 환경에서 더 심각하다. 툴 정의·설명·응답 필드를 줄이는 최적화의 가치가 언어에 따라 다르다
비용 추정과 rate limit 설계에서 언어별 fertility를 반영하지 않으면 특정 사용자군에 구조적으로 불리한 서비스가 된다
정부가 AI 공공 서비스를 배포할 때는 정책 질문이 된다: 어떤 시민이 자기가 쓰는 언어 때문에 구조적으로 더 나쁜 서비스를 받는가? 비용은 토크나이저를 설계한 벤더가 지는가, 조달한 정부가 지는가?

실무 체크: 당신의 사용자들이 실제로 쓰는 언어의 fertility ratio는 얼마인가? 팀에 아무도 답을 모른다면, 그것이 문제다.