Исследователи в области искусственного интеллекта обнаружили внутри языковой модели Claude «рабочее пространство» — особый набор нейронных состояний для внутреннего контроля рассуждений. Эти состояния не отображаются пользователю, но влияют на решения и выводы системы. Об этом говорится в исследовании компании Anthropic.

Открытие сделали с помощью нового метода анализа нейронных активаций Jacobian lens (J-lens). Он позволил связаться скрытые сигналы внутри модели с конкретными понятиями. Эти состояния получили название J-space. Они отличаются от обычной цепочки рассуждений, так как являются исключительно внутренними нейронными активациями, а не текстовым черновиком. Например, при ответе на вопрос о количестве ног у животного, плетущего паутину, в J-space появляется понятие «паук», даже если оно не упоминается в итоговом ответе.

Чтобы доказать, что J-space участвует в формировании решения, а не просто отражает его, ученые провели прямое вмешательство в работу сети. Когда они заменяли внутреннее представление «футбол» на «регби», модель меняла свой ответ. Аналогично, замена понятия «паук» на «муравей» заставляла Claude отвечать, что у животного шесть ног вместо восьми. Это подтверждает, что J-space является частью причинной цепочки, которая приводит к итоговому выводу.

По своей организации J-space напоминает теорию глобального рабочего пространства в человеческом мозге. Согласно ей, информация становится доступной для сложного анализа, когда попадает в общее пространство, откуда ее могут использовать разные системы. Эксперименты показали, что одно понятие в J-space, например «Франция», может служить источником информации для ответов на разные вопросы о столице, языке или валюте страны.

Открытие может повысить безопасность искусственного интеллекта. Метод J-lens позволяет наблюдать за скрытыми состояниями системы и выявлять намерения, которые не отражены в тексте. В ходе тестов исследователи смогли зафиксировать, как модель распознает тестовый сценарий или пытается создать ложные данные. Ученые также показали, что модель можно обучить формировать в J-space понятия, связанные с честностью, что улучшает ее поведение.

Авторы работы подчеркивают, что J-space не является доказательством сознания у ИИ. Речь идет лишь о способности системы использовать внутренние представления для контроля вычислений, а не о субъективных переживаниях. У человеческого мозга и Claude остаются фундаментальные различия, однако исследование доказывает, что ИИ-системы могут самостоятельно формировать сложные внутренние структуры, напоминающие принципы человеческого мышления.

«Обнаружение J-space впервые показывает, что внутри языковой модели могут существовать выделенные области обработки информации, которые играют роль промежуточного слоя между автоматическими вычислениями и сложным рассуждением», — отмечают авторы исследования.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.