Об асимптотической эффективности ядерного метода опорных векторов (SVM)

Abstract

Досліджено асимптотичні властивості SVM-оцінок функції регресії, отриманих ядерним методом опорних векторів Вапніка. Задача оцінювання розглядається як задача нескінченно вимірної оптимізації функціоналу регуляризованого емпіричного ризику у репродуктивному гільбертовому просторі. Встановлено швидкість збіжності до мінімуму функціоналу ризику на SVM-оцінках, а також наведено достатні умови рівномірної збіжності SVM-оцінок до шуканої функції регресії з ймовірністю одиниця.

The paper analyzes the asymptotic properties of Vapnik’s SVM-estimators of a regression function as the size of the training sample tends to infinity. The estimation problem is considered as an infinite-dimensional minimization of a regularized empirical risk in a reproducing kernel Hilbert space. The rate of convergence of the risk functional on SVM-estimators to its minimum value is established. The sufficient conditions of the uniform convergence of SVM-estimators to a true regression function with unit probability are given.