Российские ученые научили нейросети самим выбирать, какие слои настраивать
Исследователи Московского физико-технического института разработали метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов.
Полностью переобучать такие модели разработчики почти не решаются из-за огромных затрат времени и ресурсов. Вместо этого применяют небольшие дополнительные модули, адаптеры, которые раньше были одинакового размера для всех слоев. Однако слои влияют на результат неодинаково: одним для освоения новой задачи нужно больше ресурсов, другим – меньше. Новый подход меняет размер адаптера в зависимости от того, что модель выучила в начале обучения.
Метод проверили на четырех языковых моделях и 12 классах задач. Во всех случаях качество работы ИИ выросло.
