Модель вторинних некорельованих семантичних полів для анализу текстових даних

Abstract

Розглянуто модель некорельованих вторинних семантичних полів утворених на основі методу головних компонент та сингулярного розкладу матриці частот семантичних полів. Ця модель характеризує новий семантичний простір відображення текстових документів із ортонормованим базисом. Розмірність простору вторинних семантичних полів є суттєво меншою за розмірність простору первинних семантичних полів внаслідок заміни взаємопов’язаних складових некорельованими семантичними характеристиками. Аналіз тестової вибірки текстових документів показав можливість брати до розгляду лише ті складові вторинних семантичних полів, які описуються першими сингулярними числами. Використання низькорозмірного ортонормованого базису вторинних семантичних полів може бути ефективним в задачах класифікації та кластеризації текстових даних.

Рассмотрена модель некоррелированных вторичных семантических полей образованных с помощью метода главных компонент и сингулярного разложения матрицы частот семантических полей. Эта модель характеризирует новое семантическое пространство отображения текстовых документов с ортонормированным базисом. Размерность пространства вторичных семантических полей существенно меньше размерности пространства первичных семантических полей вследствие замены взаимосвязанных составляющих некоррелированными семантическими характеристиками. Анализ тестовой выборки текстовых документов показал возможность принимать к рассмотрению только те составляющие вторичных семантических полей, которые описываются первыми сингулярными числами. Использование низкоразмерного ортонормированного базиса вторичных семантических полей может быть эффективным в задачах классификации и кластеризации текстовых данных.

The model of derived uncorrelated semantic fields generated by the method of principal components and singular decomposition of the matrix of semantic fields frequencies has been considered. This model describes a new semantic space with orthonormal basis of displaying text documents. The dimension of the space of derived semantic fields is significantly less than the dimension of the space of initial semantic fields as a result of replacement of interconnected components by uncorrelated semantic characteristics. The analysis of the test sample of text documents showed the possibility to take into consideration only those components of secondary semantic fields which are described by the first singular numbers. The use of the low-dimension orthonormal basis of derived semantic fields can be effective in the problems of the text data classification and clustering.