Учёные повысили результат Qwen3.5-0.8B в MATH-500 с 7,9 до 48,1 %, изменив 0,016 % весов
Исследователи Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) предложили способ повышения эффективности ИИ-моделей без традиционного дообучения или повторного обучения. Подход под названием «Программирование в пространстве весов» (Weight-space programming) заключается в редактировании весов модели — числовых параметров, определяющих её поведение. Об этом сообщает 3dnews.
Специалисты использовали языковую модель GPT-6 Astra от OpenAI для улучшения математических навыков компактной модели с открытым исходным кодом Qwen путём редактирования её весов. Им удалось повысить результат модели Qwen3.5-0.8B в бенчмарке MATH-500 с 7,9 до 48,1 %, изменив лишь около 0,016 % от общего числа её весов. Успех был достигнут главным образом за счёт устранения повторяющихся логических рассуждений.
«Это как генная инженерия для нейронных сетей. Даже круче, чем дистилляция!», — описывает технологию ИИ-исследователь Юйчэн Цзинь (Yuchen Jin).
Если исследователям удастся сделать этот метод достаточно надёжным, разработчики получат инструмент, который позволит корректировать работу нейросетей и повышать их производительность без необходимости в традиционных методах — дообучении или повторном обучении. Целевое редактирование весов потенциально может сократить время и вычислительные ресурсы, требуемые для внесения определённых улучшений в моделях, хотя метод всё ещё находится на стадии экспериментов, и точные показатели экономии пока не установлены. С его помощью модели смогут модифицировать другие модели — или, со временем, даже самих себя.
В этих экспериментах ИИ-модель анализировала целевую нейросеть, изучала её поведение и самостоятельно определяла, какие именно веса нужно изменить, — при этом стандартный процесс обучения на основе градиентов не использовался.
Пока не доказано, что прямое редактирование весов стабильно превосходит традиционное обучение по скорости, стоимости или эффективности. К тому же новый подход нельзя назвать универсальным. В случае с моделью Gemma 3 270M, у которой не наблюдалось серьёзной проблемы с повторами, характерной для Qwen, правки Astra не дали улучшения её математических способностей. Ещё один эксперимент показал, что без предоставления дополнительных данных (например, о механизмах внимания) модель не смогла надёжно различать разные типы поведения.
Мнения участников ИИ-сообщества по поводу новой методики разделились. Если одни видят в ней инструмент для быстрого обслуживания моделей и экономии ресурсов, то другие выражают опасения, что она может ещё больше ускорить развитие ИИ, приближая человечество к краху из-за рисков, связанных с неконтролируемым процессом.
«Пусть это будет просто шумиха. Ведь если это правда, то прогресс может ускориться колоссально — а это очень плохие новости, приближающие нас к глобальной катастрофе. До чего же безрассудное направление исследований», — заявил Максим Фурн (Maxime Fournes), генеральный директор организации Pause AI, выступающей за приостановку разработки передовых ИИ-систем до тех пор, пока их безопасность не будет доказана, а контроль над ними — демократизирован.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
