Визначення індексу узгодженості оцінок експертів з урахуванням їхньої компетентності при підтримці прийняття групових рішень

Abstract

Розглянуто задачу визначення рівня узгодженості оцінок при груповій експертизі з урахуванням компетентності експертів. Вбачається, що така розробка відповідного методу має виходити із низки сформульованих базових постулатів. Розглянуто два підходи: коли врахування компетентності експертів зводиться до випадку визначення індексу узгодженості без урахування компетентності експертів, і коли індекс запропоновано обчислювати як нормоване значення суми відстаней між оцінками експертів для усіх можливих пар оцінок, помножених на добуток ваг відповідних експертів. Проведено імітаційне моделювання та запропоновано визначення порогового значення узгодженості, вище якого стає допустимою агрегація експертних оцінок. Запропонований метод було практично реалізовано і апробовано в рамках системи розподіленого збору і обробки експертної інформації для систем підтримки прийняття рішень.

Рассмотрена задача определения уровня согласованности оценок при групповой экспертизе с учетом компетентности экспертов. Представляется, что такая разработка соответствующего метода должна исходить из ряда сформулированных базовых постулатов. Рассмотрены два подхода: когда учет компетентности экспертов сводится к случаю определения индекса согласованности без учета компетентности экспертов, и когда индекс предложено вычислять как нормированное значение суммы расстояний между оценками экспертов для всех возможных пар оценок, умноженных на произведение весов соответствующих экспертов. Проведено имитационное моделирование и предложено определение порогового значения согласованности, выше которого становится допустимой агрегация экспертных оценок. Предложенный метод был практически реализован и апробирован в рамках системы распределенного сбора и обработки экспертной информации для систем поддержки принятия решений.

The issue of assessment of expert estimates’ consistency in cases of group polling taking into ac-count experts’ competence has been considered. The development of an appropriate method should proceed from a range of particular basic postulates. Namely, it is taken into consideration that expert estimates always assume the existence of a «true» estimate corresponding to the average value of an array of individual expert estimates. Such an array can be presented on a continuous or a discrete numerical scale limited on both sides. The maximum level of consistency (1.0) can be achieved only if all experts provide the same estimate. The consistency index shouldn’t be dependent on estimate shifts along the axis. For the same set of estimates, increasing the scale leads to an increased consistency index, and vice versa. If a set of estimates has a higher level of consistency compared to another on a certain scale, it also has greater consistency on any other scale. In case of linear changes (simultaneous proportional increase/decrease) in scale parameters and the values of all estimates, the consistency index remains unchanged. So, the index should be scalable. The higher the level of an expert’s relative competence, the higher this estimate’s impact on the aggregate level of consistency is. The article considers two approaches, when analyzing the level of experts’ competence is reduced to calculating the consistency index without taking into consideration experts’ competence, and when the index is to be calculated as the normalized value of the amount of distances between expert estimates for all possible estimate pairs multiplied by the product of respective experts’ weight coefficients. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. The proposed method has been practically implemented and tested within a system of distributed collection and processing of expert data for decision support systems.