ИИ разработал 105 архитектур нейросетей, лучшая превзошла прирост Mamba2 почти втрое
Система ASI-Arch самостоятельно разработала 105 архитектур нейросетей, которые показали лучшие результаты в ходе контролируемых испытаний. Она провела 1773 эксперимента, предлагая изменения в устройстве моделей, создавая код, запуская обучение и анализируя результаты для дальнейшего использования.
Лучший вариант улучшил средний результат DeltaNet на 0,97 процентного пункта — почти втрое больше, чем прирост у Mamba2, одной из сильнейших архитектур, разработанных людьми.
Система работала с линейным вниманием, которое позволяет снизить вычислительные затраты по сравнению с обычным механизмом внимания в трансформерах. На первом этапе модели обучались в небольшом масштабе для быстрого отсева неудачных идей. Затем перспективные варианты проверяли на более крупных моделях и дополнительных тестах. На исследовательский этап ушло около 10 000 часов работы графических процессоров, а суммарные затраты проекта составили примерно 20 000 GPU-часов.
Из 1773 вариантов 1350 прошли первичный отбор. Около 150 архитектур отправили на следующий этап, где 105 из них показали лучшие результаты в испытаниях моделей на 340 млн параметров. Пять наиболее перспективных вариантов затем обучили на моделях с 1,3 млрд параметров и проверили на 16 тестах, включая 6 наборов, не использовавшихся на ранних этапах. Преимущество сохранилось и на этих дополнительных заданиях.
В сильнейших архитектурах повторялся один приём: они объединяли несколько путей обработки информации и динамически выбирали, какие из них использовать для конкретных данных. Это позволяло гибче сочетать локальный контекст, дальние зависимости и другие способы обработки последовательностей. Авторы также проверили перенос найденных принципов на другие семейства моделей — Mamba2, GLA и HGRN2 — и получили улучшения за пределами исходной архитектурной группы.
ASI-Arch демонстрирует, что ИИ способен не только подбирать параметры готовой нейросети, но и самостоятельно предлагать изменения её устройства, проверять их экспериментально и накапливать знания о том, какие решения работают лучше. При этом результат пока относится к конкретной области — архитектурам обработки последовательностей, — а преимущество измеряется на выбранных тестах, а не универсальной производительности ИИ.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
