СОВЕРШЕНСТВОВАНИЕ АЛГОРИТМОВ ОБУЧЕНИЯ СЕТЕЙ РАДИАЛЬНЫХ БАЗИСНЫХ ФУНКЦИЙ ДЛЯ РЕШЕНИЯ
ЗАДАЧ АППРОКСИМАЦИИ 

Алкезуини Мухи Муртада Мухи, аспирант, Пензенский государственный университет, E-mail: mohieit@mail.ru
Горбаченко Владимир Иванович, доктор технических наук, профессор, заведующий кафедрой компьютерных
технологий, Пензенский государственный университет, E-mail: gorvi@mail.ru 

004.032.26 

Актуальность и цели. Перспективным инструментом решения задач аппроксимации, в том числе задач бессеточной аппроксимации, являются сети радиальных базисных функций, которые представляют специальный вид нейронных
сетей. Решение задачи формируется в процессе обучения сети. Но в настоящее время отсутствуют быстрые и достаточно простые алгоритмы обучения сетей радиальных базисных функций. Цель данного исследования – разработка и экспериментальное исследование новых быстрых алгоритмов обучения сетей радиальных базисных
функций при решении задач аппроксимации.
Материалы и методы. Реализация поставленных задач достигнута за счет использования для обучения сетей радиальных базисных функций современных ускоренных градиентных методов первого порядка и адаптации метода Левенберга – Марквардта.
Результаты. Для обучения сетей радиальных базисных функций впервые разработаны алгоритмы на основе методов
первого порядка: градиентный спуск с импульсом (импульсный метод), алгоритм ускоренного градиента Нестерова и RMSProp в сочетании с ускоренным градиентом Нестерова. Показаны преимущества последовательной настройки параметров в каждом итерационном цикле обучения сети. Разработана реализация метода Левенберга – Марквардта для обучения сетей радиальных базисных функций. Получены формулы для расчета параметров сетей при реализации алгоритмов. Даны рекомендации по выбору параметров обучения сетей. Показана связь между методом Левенберга –
Марквардта и методом доверительных областей. Таким образом, алгоритмом Левенберга – Марквардта можно достичь тех же результатов, что и более сложным алгоритмом метода доверительных областей. Создан комплекс программ в системе MatLab, реализующий разработанные алгоритмы. Проведены экспериментальные исследования разработанных алгоритмов.
Выводы. Для решения задач аппроксимации на сетях радиальных базисных функций можно рекомендовать адаптированный в работе алгоритм Левенберга – Марквардта. Если в алгоритме Левенберга – Марквардта возникают проблемы с плохой обусловленностью системы линейных алгебраических уравнений, то можно рекомендовать алгоритм ускоренного градиента Нестерова. 

Ключевые слова

бессеточная аппроксимация, нейронная сеть, сеть радиальных базисных функций, градиентный алгоритм обучения, импульсный метод, метод ускоренного градиента Нестерова, метод Левенберга – Марквардта 

 Скачать статью в формате PDF