Навчання рекурентних нейронних мереж методом псевдорегуляризації для багатокрокового прогнозування часових рядів

Abstract

Розглядається задача багатокрокового прогнозування часових рядів. Представлені існуючі моделі рекурентних та нерекурентних нейронних мереж, що застосовуються для задач прогнозування. Описується спосіб навчання нейромереж методом розширеного фільтра Калмана з обчисленням похідних методом зворотного поширення в часі. Пропонується метод псевдорегуляризації для зменшення ефекту зникнення градієнтів, що приводить до підвищення якості прогнозування в багатокроковому випадку. Наводяться результати чисельних експериментів на прикладі прогнозування кількості сонячних плям за рік і хаотичного процесу Маккея-Гласса.

Рассматривается задача многошагового прогнозирования временных рядов. Представлены существующие модели рекуррентных и нерекуррентных нейронный сетей, которые применяются для задач прогнозирования. Описывается способ обучения нейросетей методом расширенного фильтра Калмана с вычислением производных методом обратного распространения во времени. Предлагается метод псевдорегуляризации для уменьшения эффекта исчезновения градиентов, что приводит к повышению качества прогнозирования в многошаговом случае. Приводятся результаты численных экспериментов на примере прогнозирования годового количества солнечных пятен и хаотического процесса Маккея-Гласса.

The problem of time series multi-step prediction is considered. The existing models of recurrent and nonrecurrent neural networks which are used for prediction problems were represented. Efficient training method of neural networks using Extended Kalman Filter and Backpropagation Through Time technique of dynamic derivatives calculation is described. Pseudoregularization method for vanishing gradients effect reducing that leads to prediction accuracy in muli-step case improvement is proposed. The results of numerical experiments on the example of yearly sunspots number and Chaotic Mackey-Glass Time Series predicting are presented.