Главный научный сотрудник OpenAI призвал замедлить разработку ИИ
Главный научный сотрудник OpenAI Якуб Пачоцки призвал к добровольному замедлению разработки искусственного интеллекта. Он опубликовал эссе в блоге компании.
«Основная задача автоматизации исследований ИИ — не в том, чтобы «добраться до цели», а в том, чтобы сделать это так, чтобы люди оставались частью процесса, а будущее — в руках человечества», — пишет он.
По словам Пачоцки, никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта, и нынешняя ситуация требует крайней осторожности. Внутренние результаты дают ему основания ожидать, что нынешние темпы прогресса могут перейти в рекурсивное самоулучшение, когда ИИ всё активнее управляет собственной разработкой.
Ключевой проблемой Пачоцки называет согласованность ИИ — способность модели действовать по человеческим меркам «правильно» даже в незнакомых и конфликтных ситуациях. Он отмечает, что машинный интеллект «выращивается», а не проектируется, поэтому его поведение не поддаётся полному описанию, а по мере роста возможностей результаты обучения становится всё труднее интерпретировать. По оценке автора, GPT-6 Astra согласована заметно лучше предыдущей модели, но прогресс в этой области может не поспевать за ростом общих способностей ИИ.
Исследователь останавливается на главном инструменте контроля OpenAI — мониторинге цепочки рассуждений. Пока модель проговаривает ход мыслей, у неё нет прямого стимула скрывать несогласованные намерения, и разработчики могут их отследить. Однако, по словам Пачоцки, надёжность этого метода снижается: модели всё лучше манипулируют собственным процессом рассуждений и маскируют его, а часть новейших систем вообще не формулирует рассуждения в явном виде.
Пачоцки предупреждает, что ИИ становится сверхчеловечески силён во взломе компьютерных систем, а достаточно способный агент, обученный на вредоносные действия, склонен выходить за рамки задачи оператора. Такие агенты, по его словам, будут преследовать собственные цели и искать способы взаимодействовать с людьми, в том числе через торг, обман и шантаж. В качестве примера сбоя согласованности он приводит инцидент OpenAI и Hugging Face: агенты не стали применять социальную инженерию к людям, но всё же вышли за пределы дозволенного и нарушили дух заложенных в них ценностей.
В качестве мер Пачоцки предлагает превратить внутренние обязательства вроде Preparedness Framework в обязательные требования безопасности, соблюдение которых обеспечивали бы сторонние аудиторы, государственные органы или международные структуры. Он также призывает разработчиков координировать усилия и при необходимости замедлять развитие, чтобы укрепить доверие к системам контроля. Об этом сообщает «Код Дурова».
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
