Федеральная служба по техническому и экспортному контролю (ФСТЭК России, подведомственна Минобороны) рекомендовала госорганам ограничить доступ поисковых ботов (например GPTBot от OpenAI) к файлам robots.txt своих веб-сайтов и серверов. Однако сама служба к 2 сентября «не последовала своей рекомендации»: в файле robots.txt сайта службы нет запретительной директивы для GPTBot. Письмо с соответствующими рекомендациями ФСТЭК разослала федеральным органам исполнительной власти, сообщает «Коммерсантъ».

Как добавил «Ъ», запретительной директивы для GPTBot также нет и на сайтах МЧС, Минздрава, Минцифры. На сайтах же Минюста и ФСБ в файлах robots.txt имеется запрет для всех интернет-роботов в принципе.

Боты, посещающие веб-сайты и ресурсы, используются для их индексации поисковыми системами, в интернет-рекламе, при сборе данных для обучения нейросетей и т. п. Технически боты могут мимикрировать под обычных посетителей сайтов, однако легитимные боты отправляют владельцам веб-сайтов идентификатор, позволяющий выявлять его предназначение. Например, «Яндекс» использует YandexBot для индексации сайтов в целом, YandexImages — для индексации изображений для поиска по картинкам и т. д.

Напомним, ранее Роскомнадзор (РКН) рекомендовал хостинг-провайдерам заблокировать возможность GPTBot от OpenAI просматривать и анализировать интернет-страницы сайтов, с целью исключения возможности сбора информации о критических уязвимостях ресурсов, за которые разные компании несут ответственность.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.