Інформаційна технологія кластеризації даних у часовому періоді спостережень

Abstract

Кластерний аналіз є актуальним напрямом інтелектуального аналізу даних (Data Mining). Застосування методів кластеризації дозволяє зрозуміти структуру багатовимірних даних; спростити подальшу обробку, використовуючи різні методи аналізу для кожного кластера; скоротити вихідну вибірку даних, залишивши по одному найбільш типовому представнику кожної групи; виявити новизну, нетипові об’єкти, які не вдається приєднати до жодного з класів; сформулювати або перевірити гіпотези на підставі отриманих результатів. Запропоновано новий підхід до виділення груп об’єктів, схожих між собою за набором ознак, які змінюються у часі. Розроблено інформаційну технологію оцінки якості й підвищення стійкості кластеризації. Представлено результати практичної реалізації запропонованої технології на даних гідрохімічного моніторингу водних об’єктів у районі з підвищеним техногенним навантаженням.

Кластерный анализ является актуальным направлением интеллектуального анализа данных (Data Mining). Применение методов кластеризации позволяет понять структуру многомерных данных; упростить дальнейшую обработку, используя различные методы анализа для каждого кластера; сократить исходную выборку данных, оставив по одному наиболее типичному представителю каждой группы; выявить новизну, нетипичные объекты, которые не удаётся присоединить ни к одному из классов; сформулировать или проверить гипотезы на основании полученных результатов. Предложен новый подход к выделению групп объектов, сходных между собой по набору признаков, которые изменяются во времени. Разработана информационная технология оценки качества и повышения устойчивости кластеризации. Представлены результаты практической реализации предложенной технологии на данных гидрохимического мониторинга водных объектов в районе с повышенной техногенной нагрузкой.

Cluster analysis is an important task of data mining. The use of clustering techniques allows to understand the structure of multidimensional data; to simplify further processing using different methods of analysis for each cluster; reduce the original sample data, leaving the most typical representatives of each group; detect novelty, atypical objects that can not be attached to any of the classes; formulate or test hypotheses based on the results. In this article а new approach to the selection of groups of objects that are similar to each other on a set of features that changing over time has been proposed. Information technology of quality assessment and improvement of the stability of clustering has been developed. The results of practical implementation of the proposed technology to data of hydrochemical monitoring of water objects in the area with high technological load have been presented.