Дизайнеры Исаке Сенеда и Габриэль Абручи разработали ShieldFont — шрифт, который должен мешать ИИ-компаниям собирать содержимое сайтов для обучения моделей, не делая страницы нечитаемыми для людей. При обычном просмотре пользователь видит исходный текст, но в загружаемом HTML слова подменяются другими. В результате скрейпер получает осмысленно выглядящий, но фактически искажённый текст, тогда как браузер отображает оригинал.

«Механизм основан на лигатурах — функции шрифтов, которая обычно объединяет определённые сочетания букв в более удобные для чтения символы», — сообщает IXBT News.

ShieldFont использует лигатуры иначе: вместо отдельных буквенных сочетаний он подменяет целые слова уже на этапе отображения страницы. Например, слово «лошадь» может быть заменено на «картофель». Оба слова существуют и грамматически подходят к предложению, но передают совершенно разную информацию. Такой подход должен затруднить автоматическое восстановление исходного текста по простым правилам замены синонимов или выявление искажений как бессмысленного мусора.

За три месяца авторы подготовили словарь почти из 12 000 часто используемых слов. В среднем ShieldFont заменяет 24,5% всех слов на странице и 45,8% содержательных слов. В зависимости от набора текстов это искажает смысл от 31% до 56% отдельных фрагментов.

В испытаниях на шести общедоступных системах скрейпинга более 90% страниц, которые без ShieldFont проходили проверку качества, после подмены слов были отброшены. Среди небольшого числа страниц, которые всё же принимались, почти 20% слов авторы назвали «мусором для обучения». Это настоящие, правильно написанные английские слова, которые вместе формируют утверждения, не соответствующие исходной информации.

Защита не является полной: если скрейпер сначала визуально отрисует страницу в браузере, а затем распознает изображение с помощью OCR, то он сможет получить исходный текст. Однако такая обработка, по оценке авторов ShieldFont, обходится в 5–13 раз дороже обычного скачивания HTML и требует значительно больше вычислительных ресурсов.

У технологии есть и обратная сторона: изменённый HTML может мешать поисковикам, программам экранного доступа, копированию текста и автоматическому переводу. Поэтому ShieldFont прежде всего рассчитан на замедление массового автоматического сбора веб-страниц, а не на абсолютную блокировку доступа ИИ к их содержимому.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.