Шум как инструмент повышения надежности нейросетей

Исследовательская группа СГУ предложила не бороться с внутренними шумами, а использовать их как инструмент повышения надёжности. Для этого учёные начали изменять подход к обучению искусственного интеллекта.

Большинство нейронных сетей – на обычных компьютерах и графических процессорах – на данный момент работают в цифровой форме. И такие системы нуждаются в очень большом количестве ресурсов и потребляют много энергии, в связи с чем масштабирование процессов технически ограничено. Поэтому всё активнее развивается направление аппаратных нейронных сетей. Это физические устройства, в которых нейроны и связи реализованы на уровне электроники или других физических элементов.

Поиск методов борьбы с шумом в процессе обучения

Любое физическое устройство подвержено шумам: тепловым колебаниям, нестабильности параметров, случайным возмущениям сигналов – все эти воздействия являются источниками многочисленных ошибок. Исследователи ожидали, что внутренний шум будет снижать точность работы нейросети, но результаты показали обратное.

Авторы исследования отмечают, что эффект стал для них неожиданным. Исследователи считали, что точность сети будет падать, и перед ними встанет задача поиска методов борьбы с шумом в процессе обучения. В работе моделировалось воздействие белого гауссовского шума, который вводился либо в сами нейроны, либо в связи между ними. Нейронные сети обучались распознавать изображения и предсказывать сложные квазипериодические и хаотические сигналы. В результате оказалось, что присутствие шума на этапе обучения повышает устойчивость системы к помехам в дальнейшем.

В ходе экспериментального обучения нейросети авторы выяснили, что если «шуметь» на сеть в процессе обучения, то в реальных и даже сложных условиях она будет работать лучше. А для некоторых типов шумовых воздействий сеть можно сделать практически полностью устойчивой.

Для нас было большой неожиданностью, что добавление шума в процессе обучения – это уже способ борьбы с шумом. По сути, в своей работе мы показываем, что любую аппаратную сеть необходимо обучать с внутренними шумами. Это существенно повысит резистентность сети к шуму в дальнейшем в процессе работы, даже если параметры воздействий были не идеально подобраны

Надежда Семенова

руководитель исследования, доцент кафедры радиофизики и нелинейной динамики Саратовского национального исследовательского университета имени Н. Г. Чернышевского

Практическая значимость

Значимость этой работы саратовских учёных – в том, что она ведет к развитию энергоэффективных аппаратных нейросетевых устройств нового поколения, которые могут применяться в обработке изображений, анализе сигналов и автономных вычислений в условиях ограниченных ресурсов. «Повышение их устойчивости к физическим помехам критично для реального применения», – отметили в пресс-службе Минобрнауки РФ.

Учёные планируют дальнейшее развитие эксперимента. В ближайшем будущем планируется распространить полученные результаты на более сложные спайковые нейронные сети. Эта российская исследовательская разработка полностью меняет взгляд на одну из фундаментальных проблем аппаратного искусственного интеллекта.

"Если полностью избавиться от шума невозможно, его можно превратить из источника ошибок в механизм повышения надежности. Именно этот сдвиг в подходе становится главным результатом исследования", – подчеркнули в пресс-службе.

Похожие исследования уже проводились за рубежом с 2021 года. Методы шумовой инъекции давно используются как регуляризация (dropout, stochastic noise) в стандартном обучении нейросетей, но именно физический шум аппаратных систем стал объектом внимания в последние 2-3 года. Российским учёным удалось подтвердить важный эффект и дать практические обоснования этому подходу применительно к аппаратным ИИ-системам: обучение нейросетей с шумом делает их устойчивыми к помехам в реальной работе.

Где и для чего будет использоваться новая технология

По прогнозу специалистов, новую технологию можно будет использовать для усиления устойчивости ИИ в автономных системах, где шумы неизбежны – в датчиках и робототехнике. Также она позволит повысить надёжность аппаратных нейросетей (neuromorphic computing), которые трудно защитить традиционными методами цифрового шумоподавления.

Прогнозы внушают оптимизм

В ближайшее время метод саратовских ученых может стать стандартной практикой при разработке аппаратных нейросетевых ускорителей и энергоэффективных ИИ-чипов в России и за рубежом. Технология будет способствовать развитию робототехники, автономных сенсорных систем и периферийного ИИ, где устойчивость к шуму является ключевой характеристикой.

Благодаря открытию российских специалистов возможно серьёзное сотрудничество с зарубежными командами в работе над развитием устойчивых архитектур ИИ и вывод российских технологий в обучении ИИ на мировой уровень.