Тестовая база данных и методика сравнительной оценки классификаторов

Abstract

Исследована проблема корректной сравнительной оценки классификаторов. В качестве критерия эффективности использованы достоверность (для четких) и точность (для нечетких) классификаторов. Выделены характерные признаки классификации, на основании которых определены 8 типовых задач. Для каждой задачи могут быть вычислены значения функции при случайных либо детерминированных входных данных. Предложена методика постановки экспериментов над классификаторами.

Досліджена проблема коректної порівняльної оцінки класифікаторів. Як критерій ефективності використані достовірність (для чітких) і точність (для нечітких) класифікаторів. Виділені характерні ознаки класифікації, на основі яких визначені 8 типових задач. Для кожної задачі можуть бути вирахувані значення функції при випадкових або детермінованих вхідних даних. Запропонована методика постановки експериментів над класифікаторами.

The problem of proper comparative classifier rating was researched. Authenticity was taken as efficiency criteria for binary-output classifiers and accuracy – for fuzzy classifiers. Several specific classification signs were highlighted, which resulted in definition of 8 typical tasks. For each of these tasks function value could be calculated both for random and determined input data. Experiment set system for classifiers was proposed.