On the finite convergence of the NN classification learning on mistakes

Abstract

The paper establishes an analog of well-known Novikoff’s theorem on the perceptron learning algorithm’s finite convergence in linearly separated classes. We obtain a similar result concerning the nearest neighbor classification algorithm in the case of compact classes in a general metric space for the case of non-intersecting classes. The learning process consists of gradual modification of the algorithm in misclassification cases. The process is studied in the deterministic setting. Classes are understood as compacts in complete metric space, and class separation is defined as the non-intersection of compacts. The number of learning steps is bounded by the number of elements in some ε-net for the considered classes.

Встановлено аналог відомої теореми Новікова про скінченну збіжність алгоритму навчання персептрона у випадку лінійно розділених класів. Ми отримуємо аналогічний результат щодо алгоритму класифікації за принципом найближчого сусіда у випадку компактних класів у загальному метричному просторі для класів, що не перетинаються. Процес навчання полягає у поступовій модифікації алгоритму у випадках помилкової класифікації. Процес вивчається в детермінованій постановці. Класи розуміються як компакти в повному метричному просторі. Розділення класів визначається як неперетин компактів. Кількість кроків навчання обмежена числом елементів в деякій ε-сітці для розглянутих класів.