Обработка запросов к ИИ на редких языках обходится до 17 раз дороже
Исследователи выявили новый вид цифрового неравенства: стоимость обработки запросов к ИИ зависит от языка. Об этом сообщает Коалиция за языковое равенство в исследованиях ИИ (CLEAR). Разница в количестве токенов, на которые разбивается текст при обработке, для распространённых и малораспространённых языков приводит к разной стоимости использования коммерческих ИИ-сервисов, рассчитывающих цену по токенам.
«Исследователи сравнили обработку запросов на разных языках, используя корпус текстов FLORES-200, содержащий параллельные переводы предложений примерно на 200 языков. Согласно опубликованным результатам, среди 20 наиболее распространённых в интернете языков разница в количестве токенов между наиболее и наименее ресурсоёмкими вариантами запросов составляла от 1,5 до 5 раз в зависимости от модели. При расширении выборки до 200 языков разрыв для отдельных моделей достигал 17 раз», — пишет «3dnews«.
Например, одна и та же фраза на английском и малаялам требует соответственно 13 и 26 токенов. Помимо разницы в стоимости, большее количество токенов сокращает доступный объём контекста: при одинаковом лимите остаётся меньше места для документов, предыдущих сообщений и истории взаимодействия. Дополнительные токены также увеличивают вычислительную нагрузку и задержку ответа.
Особые проблемы выявлены для языков, письменности которых недостаточно представлены в обучающих данных токенизаторов: бирманского, тибетского, кхмерского, лаосского, а также языков с письменностями тифинаг и ол-чики. При этом редкость языка сама по себе не определяет результат: астурийский может получать преимущество благодаря латинскому алфавиту и сходству с другими романскими языками.
Для сокращения разрыва специалисты предлагают расширять представление качественных многоязычных данных в обучающих выборках и целенаправленно разрабатывать токенизаторы для разных письменностей. Увеличение объёма данных само по себе не гарантирует устранения проблемы: алгоритмы разбиения текста также необходимо совершенствовать.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
