OpenAI запускает в ChatGPT невидимую маркировку текстов

Компания OpenAI начала внедрять невидимую маркировку текстов, созданных ChatGPT, в странах Евросоюза. Это нововведение связано с требованиями европейского закона об искусственном интеллекте, который предусматривает возможность машинного определения контента, созданного генеративными моделями. Об этом сообщает IXBT News.

Технология позволяет определять происхождение материала, но легко теряет точность после редактирования, сообщает IXBT News.

Для маркировки используется технология textGrain. Она не добавляет в текст скрытые символы, пробелы или необычные знаки, а меняет статистический выбор слов и токенов по определенному алгоритму. Благодаря этому специальный детектор может определить вероятное происхождение текста.

OpenAI ранее разрабатывала подобную систему, но не запускала её массово из-за опасений, что она может приводить к ошибочным выводам. Теперь маркировка постепенно появляется в текстах ChatGPT и Codex, созданных пользователями в ЕС. При этом технология остаётся уязвимой к редактированию.

Внутренние тесты OpenAI показали, что детектор распознавал около 80% маркированных фрагментов объёмом 200 токенов и до 95% текстов на 400 токенов. Если заменить четверть слов, показатель обнаружения снижается примерно до 17%. OpenAI подчёркивает, что наличие маркировки не доказывает полное копирование текста из ChatGPT: система не показывает, какую часть материала создал ИИ и сколько текста затем изменил человек. Аналогичный подход к маркировке текстов для соблюдения требований ЕС уже использует Anthropic в некоторых моделях Claude.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.