Исследование CLEAR выявило 17-кратный разрыв в токенизации разных языков

Коалиция CLEAR сравнила обработку параллельных текстов примерно на 200 языках. В зависимости от модели самый ресурсоёмкий язык требовал до 17 раз больше токенов, чем наиболее эффективно обрабатываемый, что влияет на стоимость API, задержку ответа и доступный объём контекста.

Коалиция за языковое равенство в исследованиях ИИ (CLEAR) опубликовала исследование эффективности токенизаторов языковых моделей. Авторы обработали параллельные переводы из набора FLORES-200 с помощью токенизаторов 19 семейств моделей.

Среди 20 наиболее представленных в интернете языков максимальное отношение числа токенов к минимальному для большинства моделей составляло от 1,5 до 3,1. После расширения выборки примерно до 200 языков диапазон результатов разных моделей составил от 2,7 до 17 раз.

Показатель 17 раз не означает, что любой запрос не на английском обходится настолько дороже. Это максимальный разрыв между наиболее и наименее эффективно токенизируемыми языками в рамках одной модели. В демонстрационном примере одна фраза занимала 13 токенов на английском, 26 на малаялам и 78 на амхарском.

При оплате API по числу токенов такая фрагментация непосредственно увеличивает расходы. Она также сокращает полезную ёмкость контекстного окна и может повышать вычислительную нагрузку и задержку ответа. Сильнее всего проблема затрагивает письменности, слабо представленные в обучающих данных токенизаторов, включая бирманскую, тибетскую, кхмерскую и лаосскую.

CLEAR предлагает разработчикам публиковать языковые показатели токенизации в описаниях моделей, улучшать поддержку разных письменностей и рассмотреть тарификацию, нормализованную по языку или числу символов.