Метод поліпшення узгодженості оцінок експертів у ході діалогу

Abstract

Розроблено метод поліпшення узгодженості експертних оцінок, яка визначається на основі спектрального підходу, коли множина оцінок подається у вигляді складових спектра на дискретній або неперервній додатній шкалі. Визначено рівень (поріг) узгодженості експертних оцінок, що є достатнім для їхньої агрегації. Запропонований метод у діалозі з експертами, при зведенні до мінімуму тиску на них, дозволяє підвищити узгодженість їхніх оцінок до достатнього рівня та значно підвищує ймовірність успішного завершення експертиз.

Разработан метод улучшения согласованности экспертных оценок, которая определяется на основе спектрального подхода, когда множество оценок подается в виде составляющих спектра на дискретной или непрерывной положительной шкале. Определен уровень (порог) согласованности экспертных оценок, достаточный для их агрегации. Предложенный метод в диалоге с экспертами, при сведении к минимуму давления на них, позволяет повысить согласованность их оценок до достаточного уровня и значительно повышает вероятность успешного завершения экспертиз.

Improving the quality of recommendations for decision-makers in weakly structured domains is affected largely by the reliability of results of appraisals carried out during the construction of models of weakly structured systems based on which recommendations for decision-makers are generated. The result of every group expert appraisal is a rating obtained through the aggregation of individual expert estimates. Usually, aggregation is justified when the consistency rate achieves a certain level (threshold of consistency), otherwise the result would be unreliable. It is offered a non-statistical approach to the evaluation of consistency, using which an expert estimates are compared in pairs (simplest case). A rate of consistency between the expert estimates sufficient for their aggregation has been identified. The evaluation of this threshold value is based on a statistical approach, triangular distribution and distribution function. A method has been developed for improving the consistency between expert estimates: it is based on a spectral approach where a set of estimates is presented as spectrum elements on a discrete or a continuous positive scale. The method offered for dialogue with experts minimizes tensions put on them, and thus allows raising the consistency between their estimates to a sufficient level and increases significantly the probability of successful completion of appraisal. The technique offered allows optimizing the task of raising the rate of consistency both thanks to using more reliable algorithms for evaluating such consistency and thanks to the developed step-by-step procedure of improvements through questions asked to experts, allowing at the same time to minimize the impact of the subjectivity of their estimates on the reliability of research. The method uses optimization allowing for automatic identification of the shortest path for improving consistency. This allows addressing each expert only once, without putting tensions on him/her by indicating the desired direction in changing his/her estimate. The methods and procedures offered have been implemented in a web-distributed system of support for decision-making and have been approved in practical appraisals.