Минимизация эмпирического риска и задачи построения линейных классификаторов

Abstract

Розглянуто задачі побудови лінійних класифікаторів для класифікації багатьох множин. У випадку лінійно роздільних множин наведені формулювання є узагальненням раніше відомих. Для лінійно нерозділимих множин природним критерієм вибору класифікатора є мінімізація емпіричного ризику. Розглядаються частково цілочисельне формулювання задачі мінімізації емпіричного ризику, можливості вирішення безперервної релаксації цієї задачі. Порівнюється запропонована безперервна релаксація з задачами, які вирішуються при використанні інших підходів для побудови лінійних кла-сифікаторів. Описано особливості використання методів негладкої оптимізації для вирішення сфор-мульованих задач.

We consider constructing linear classifiers for the classification of many sets. In the case of linearly separable sets, the problem formulations are a generalization of already known ones. For linearly inseparable sets, a natural criterion for choosing a classifier is empirical risk minimization. The article deals with a mixed integer formulation of the empirical risk minimization problem and possible solutions of its continuous relaxation. We compare the proposed continuous relaxation problem with problems solved by using other approaches for constructing linear classifiers. We describe the features of nonsmooth optimization methods used to solve the formulated problems.