Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі

Abstract

Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його основі створено нову модель нейронної динамічної асоціативної пам’яті, одержано оцінки атракторного радіуса та обсягу пам’яті. Оцінено розміри траєкторії динамічних атракторів і виявлено можливість управління динамічними атракторами шляхом зміни впливу різних складових зворотного зв’язку. Створено програмну модель динамічної асоціативної пам’яті та одержано експериментальне підтвердження результатів теоретичного аналізу. Відзначено аналогію між динамічними атракторами та цугами нервової активності мозку.

Рассмотрена модель открытой рекуррентной нейросети, отличающейся отсутствием скрытых нейронов, и предложен метод “замораживания” ее динамических аттракторов. Получено решение уравнения устойчивости и разработан метод неитеративного обучения таких нейронных сетей. На его основе разработана новая модель нейронной динамической ассоциативной памяти, получены оценки величины аттракторного радиуса и объема памяти. Оценены размеры траектории динамических аттракторов и показана возможность управления динамическими аттракторами путем изменения влияния различных составляющих обратной связи. Создана программная модель динамической ассоциативной памяти и получено экспериментальное подтверждение результатов теоретического анализа. Отмечена аналогия между динамическими аттракторами и цугами нервной активности мозга.

Mathematical model of open dynamic recurrent neural network, that hasn't got hidden neurons, is described, and concept of “freezing” of its dynamic attractors is proposed. Solution of generalized stability equation is found and noniterative method for training of this type of networks is developed. On the basis of this method a new model of neural associative memory is created, estimations of attraction radius and memory capacity are obtained. Size of dynamic attractor's trajectory is estimated and possibility of managing of dynamic attractors by changing level of influence of different feedback components is shown. Software model of dynamic associative memory is developed, and experimental confirmation of theoretical analysis is obtained. An analogy between dynamic attractors and neural activity patterns is remarked.