Класифікація метаданих великих даних

Abstract

Побудова ефективних систем керування метаданими, перш за все, вимагає їх узгодженої загальної класифікації з урахуванням типів джерел (способів отримання) даних, що формують контент задач, що мають вирішуватися на різних етапах життєвого циклу, існуючих форматів представлення відповідних даних, принципів розумної ефективності, так як часто розміри метаданих значно перевищують обсяг самих даних (навіть великих), які вони описують. Тому, мета даної роботи полягає в аналізі існуючих джерел великих даних, способів створення та обробки відповідних метаданих, а також програмних засобів, що дозволяють опрацьовувати метадані певним чином, та побудові класифікації метаданих на основі проведеного аналізу.

Построение эффективных систем управления метаданными, прежде всего, требует их согласованной общей классификации с учетом типов источников (способов получения) данных, формирующих контент, задач, решаемых на разных этапах жизненного цикла, существующих форматов представления данных, принципов разумной эффективности, так как часто размер метаданных существенно превышает объем описываемых данных (даже больших). Поэтому, цель данной работы состоит в анализе существующих источников больших данных, способов создания и обработки соответствующих метаданных, а также программных продуктов, позволяющих их обрабатывать определенным образом, и построении на основе выполненного анализа классификации метаданных.

The creation of effective metadata management systems, first of all, requires their coordinated general classification that take into account the types of data sources (methods of their obtaining) that form the content, tasks solved at different stages of the life cycle, existing formats of data presentation, principles of reasonable efficiency, since often metadata size significantly exceeds the amount of described data (even big). Therefore, the aim of this work is to analyze existing sources of big data, methods for creating and processing the corresponding metadata, as well as software products that allow them to be processed in a certain way, and building the classification of metadata on the basis of the analysis.