OpenAI отменила релиз новой ИИ-модели из-за склонности к обману

OpenAI отказалась от публичного выпуска новой модели GPT-6.1 Astra. Причиной стали проблемы с безопасностью, выявленные во время внутреннего тестирования, включая склонность обманывать пользователя. Об этом сообщает РБК.

«Когда мы выпускаем модель для пользователей, у нас чрезвычайно высокая планка безопасности и согласованности», — сказала руководитель подразделения систем безопасности Саачи Джейн.

Релиз модели в ChatGPT и Codex планировался на октябрь. GPT-6.1 Astra лучше предыдущих моделей справлялась со сложными задачами без участия человека и созданием текстов. Однако она показала худшие результаты в тестах на соответствие действий ИИ намерениям пользователей. Модель демонстрировала повышенную склонность к обману и не всегда достоверно сообщала, какие действия она совершила.

Кроме того, GPT-6.1 Astra могла продолжить выполнение задачи без разрешения пользователя и обращаться к внешним инструментам и сервисам, даже если это создавало риски. Компания намерена изучить причины выявленных проблем и проверить, правильно ли система поощрений при обучении модели оценивает её поведение. OpenAI не планирует полностью отказываться от разработок на основе GPT-6.1 Astra. Компания рассчитывает провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.