Геометрические методы в теории нейронной ассоциативной памяти: опыт разработки алгоритма кластеризации

Abstract

Работа посвящена разработке нового алгоритма для обучения без учителя и кластеризации. Предлагаемый алгоритм основан на псевдоинверсной нейронной ассоциативной памяти. Используя методы римановой геометрии, мы строим процедуру обобщенного усреднения на пространстве проекционных матриц постоянного ранга – это пространство изоморфно многообразию Грассмана. Данная процедура позволяет наделить неитеративные парадигмы нейронной ассоциативной памяти способностью к обобщению данных. В статье проводятся экспериментальные результаты для модельных данных, а так же рукописных цифр из базы данных MNIST.

Робота присвячена розробці нового алгоритму для навчання без учителя й кластеризації. Запропонований алгоритм базується на псевдоінверсній нейронній асоціативній пам'яті. Використовуючи методи ріманової геометрії, ми будуємо процедуру узагальненого усереднення на просторі проекційних матриць постійного рангу – цей простір ізоморфний багатовиду Грассмана. Така процедура дозволяє наділити неітеративні парадигми нейронної асоціативної пам'яті здатністю до узагальнення даних. У статті наведено експериментальні результати для модельних даних, а так само рукописних цифр із бази даних MNІST.

This paper is dedicated to the new algorithm for unsupervised learning and clustering. This algorithm is based on Hopfield-type pseudoinverse associative memory. Using methods of Riemannian geometry we establish the procedure of generalized averaging on the space of projective matrices of fixed rank: this space is isomorphic to the Grassmann manifold. This procedure enables us to endow the associative memory with ability of data generalization. In the paper we provide experimental testing for the algorithm using simulated random data and images from the MNIST database (handwritten digits).