Comparative Evaluation of Convergence's Speed of Learning Algorithms for Linear Classifiers by Statistical Experiments Method

Abstract

The purpose of the article is to investigate the properties of the Rosenblatt and Kozinets learning algorithms on the basis of statistical experiment by the Monte Carlo method. Methods. Two algorithms for linear classifiers learning have been studied: Rosenblatt and Kozinets. A number of researches have been performed to compare the convergence rate of algorithms for a different number of points and for their different location. Variation of the iterations number of algorithms spent on samples of different sizes was analyzed. Results. Statistical experiments have shown that for a small sample size in approximately 20% of cases the convergence rates of the Rosenblatt and Kozinets algorithms are the same, but with the increase of observations number, the Kozinets learning algorithm proved to be the absolute leader. Also, the convergence rate of the Kozinets learning algorithm is less sensitive to the location of points in the learning sample.

Розглянуто алгоритми лінійної класифікації Ф. Розенблата та Б.Н. Козинця. Проведено експериментальні дослідження збіжності алгоритмів на різних вибірках даних. Наведено результати статистичних експериментів для оцінювання швидкості збіжності алгоритмів Козинця та Розенблата, залежності результатів від розташування елементів в вибірці та варіації кількості ітерацій алгоритмів під час навчання на вибірках різного обсягу. Більша швидкість збіжності алгоритму Козінца у порівнянні з алгоритмом Розенблатта, що підтверджено серіями проведених статистичних експериментів, дозволяє сформулювати перспективний напрямок досліджень з розвитку нейронних мереж, в яких алгоритм Козінца буде використано для настройки базових елементів — персептронов.

Цель статьи — исследовать свойства алгоритмов обучения Розенблатта и Козинца на основе проведения статистического эксперимента методом Монте-Карло. Методы. Исследованы два алгоритма обучения линейных классификаторов: Розенблатта и Козинца. Проведен ряд исследований для сравнения скорости сходимости алгоритмов при различном числе точек и их расположении. Проанализирована вариация количества затраченных итераций алгоритмами на выборках разного объема. Результаты. Экспериментальные исследования позволили определить, что при малом объеме выборки приблизительно в 20 % случаев скорости сходимости алгоритмов Розенблатта и Козинца одинаковы, но с увеличением количества наблюдений алгоритм обучения Козинца оказывался абсолютным лидером. Также скорость сходимости алгоритма обучения Козинца менее чувствительна к расположению точек в обучающей выборке.