Отбор переменных в логистическую регрессию генетическим алгоритмом

Abstract

В статье исследуются эффективные процедуры отбора переменных в бинарные классифицирующие модели на основе логистической регрессии. Для этого используется генетический алгоритм, причем в функцию фитнеса особи параметр штрафа за включение в модель новых переменных изменяется в зависимости от рассчитанного значения площади под ROC-кривой. Проведены эксперименты на модельных наборах данных и в задаче кредитного скоринга.

У статті досліджуються ефективні процедури відбору змінних в бінарні класифікуючі моделі на основі логістичної регресії. Для цього використовується генетичний алгоритм, причому у функцію фітнеса особини параметр штрафу за включення в модель нових змінних змінюється залежно від розрахованого значення площі під ROC-кривою. Проведені експерименти на модельних наборах даних і в задачі кредитного скорингу.

In the paper we discuss effective procedures for а feature selection problem in a binary logistic regression model. A genetic algorithm was used to find best feature combinations, with the special fitness function based on a penalty parameter for including new variables. This parameter depends on ROC-curve index on current epoch. Experiments on Madelon data set and credit scoring classification problem were made.