Формування бази та автоматизованої системи інтеграції даних про промисловість

Abstract

У статті обґрунтовано доцільність формування спеціалізованої бази даних про промисловість і системи автоматизованого їх збору та використання. Ця система дозволяє забез¬печити інформаційні потреби аналітиків і науковців щодо проблем розвитку промисловості. Вона передбачає автоматизований збір інформації за багатьма країнами світу з використанням будь-якої кількості джерел, доступних як клієнт-серверні ресурси в інтернеті. Застосування сучасних алгоритмів інтеграції даних забезпечує різноманітну подачу інформації, формати її надання та періодичність оновлення. Крім того, просунутим користувачам системи надається широке коло можливостей для конструювання критерію пошуку та фор¬мату отримання даних. Система побудована як клієнт-серверна технологія та є доступною для безшовної інтеграції з аналогічними системами як джерело та сховище інформації. Для побудови системи виконано аналіз існуючих у світі та популярних у використанні статистичних баз даних, визначено їх особливості, переваги і недоліки. Встановлено, що в більшості існуючих статистичних систем не представлено статистичних даних по Україні, а там, де вони є, відсутня деталізація даних за видами економічної діяльності та галузями, особливо по промисловості. До того ж мають місце певні технічні труднощі в роботі з даними для користувачів, персоналізація доступу майже відсутня. Досить обмеженими є можливості інтеграції існуючих баз даних із системами, що використовують інформацію для моделювання та прогнозування як у режимі запиту, так і в режимі реального часу. Сформовано структуру статистичної бази даних про розвиток промисловості, відібрано показники для її наповнення. Показники розподілено за секторами економіки (сектор виробництва сировини, переробний сектор, макростатистика, інші сектори). Склад секторів роз¬крито за ключовими видами економічної діяльності відповідно до класифікації видів економічної діяльності 2010 року (КВЕД-2010), які забезпечують переважну частину створення доданої вартості економіки України. Кожен визначений вид економічної діяльності розкрито за групами галузей та галузями. Крім того, базу статистичних даних сформовано на основі призначення кожному з показників інших характеристик, необхідних для автоматизації: код, одиниці вимірювання, період, база (розподілення показників за окремими групами для можливості моделювання), джерело (статистичні бази та джерела, з яких здійснювався збір показників і даних). Для зберігання інформації використано сучасну реляційну базу даних, яка дозволяє вирішувати питання оптимізації для роботи з найбільш потужними, але ще не великими даними, ураховує особливості широких даних, уможливлює горизонтальне та вертикальне масштабування, у тому числі в системі баз даних із відкритим вихідним кодом PostgreSQL. Сформовано методику формування і технологію наповнення статистичної бази даних автоматично з великої кількості джерел, режим доступу до яких задається параметрами конфігурації системи. Розроблено технологію міграції даних, доступних у гнучких форматах, у тому числі текстовому, зокрема Excel. Використання розробленої автоматизованої інформаційної системи інтеграції про-мислової статистики дозволяє вибирати необхідні показники для аналізу економічних процесів у промисловості, використовувати зібрані в єдиному інформаційному просторі статистичні дані за 130 країнами світу, у тому числі України, для здійснення наукових досліджень, побудови економіко-математичних моделей і прийняття управлінських рішень.

В статье обоснована целесообразность формирования специализированной базы данных о промышленности и системы автоматизированного их сбора и использования. Эта система позволяет обеспечить информационные потребности аналитиков и учёных по проблемам развития промышленности. Она предусматривает автоматизированный сбор информации по многим странам мира с использованием любого количества источников, доступных в качестве клиент-серверных ресурсов в интернете. Применение современных алгоритмов интеграции данных обеспечивает разнообразную подачу информации, форматы ее предоставления и периодичность обновления. Кроме того, продвинутым пользователям системы предоставляется широкий круг возможностей для создания критерия поиска и формата получения данных. Система построена как клиент-серверная технология и доступна для бесшовной интеграции с аналогичными системами как источник и хранилище информации. Для построения системы проведен анализ существующих в мире и популярных в использовании статистических баз данных, определены их особенности, преимущества и недостатки. Установлено, что в большинстве существующих статистических систем не представлены статистические данные по Украине, а там, где они есть, отсутствует детализация данных по видам экономической деятельности и отраслям, особенно по промышленности. К тому же имеются определенные технические сложности в работе с данными для пользователей, персонализация доступа почти отсутствует. Достаточно ограничены возможности интеграции существующих баз данных с системами, использующими информацию для моделирования и прогнозирования как в режиме запроса, так и особенно в режиме реального времени. Сформирована структура статистической базы данных о развитии промышленности, отобраны показатели для ее наполнения. Показатели распределены по секторам экономики (сектор производства сырья, перерабатывающий сектор, макростатистика, другие секторы). Содержание секторов раскрыто по ключевым видам экономической деятельности в соответствии с классификацией видов экономической деятельности 2010 года (КВЭД-2010), которые обеспечивают преобладающую часть создания добавленной стоимости экономики Украины. Каждый определенный вид экономической деятельности раскрыт по группам отраслей и отраслям. Кроме того, база статистических данных сформирована на основе присвоения каждому из показателей других характеристик, необходимых для автоматизации: код, единицы измерения, период, база (распределение показателей по отдельным группам для возможности моделирования), источник (статистические базы и источники, с которых осуществлялся сбор показателей и данных). Для хранения информации использована современная реляционная база данных, которая позволяет решать вопросы оптимизации для работы с наиболее мощными, но еще не большими данными, учитывает особенности широких данных, дает возможность горизонтального и вертикального масштабирования, в том числе в системе баз данных с открытым исходным кодом PostgreSQL. Создана методика формирования и технология наполнения статистической базы данных автоматически из большого количества источников, режим доступа к которым задается параметрами конфигурации системы. Разработана технология миграции данных, доступных в гибких форматах, в том числе текстовом, в частности Excel. Использование разработанной автоматизированной информационной системы интеграции промышленной статистики позволяет выбирать необходимые показатели для анализа экономических процессов в промышленности, использовать собранные в едином информационном пространстве статистические данные по 130 странам мира, в том числе Украины, для проведения научных исследований, построения экономико-математических моделей и принятия управленческих решений.

The expediency of forming the specialized database about industry and the system of their automated collection and usage were justified in this paper. This system allows to provide the information needs of the analysts and the scientists about the problems of industrial development. It provides the automated collection of the information for many countries of the world using any number of sources available as client-server resources on the Internet. The usage of modern data integration algorithms provides a diverse presentation of information, formats for its provision and frequency of updates. In addition, the advanced users of the system are provided with a wide range of options for creating search criteria and data acquisition format. The system is built as a client-server technology and is available for seamless integration with similar systems as a source and storage of information. In order to build a system, the analysis of existing in the world and popular in use statistical databases was carried out, their features, advantages and disadvantages were deаfined. It has been established that most of the existing statistical systems do not provide statistical data for Ukraine, and where they are, there is no detail data by type of economic activity and industry, and especially in industry. In addition, there are certain technical difficulties in working with data for users, the personalization of access is almost non-existent. The possibilities of the integrating existing databases with the systems that use information for modeling and forecasting both in query mode and especially in real time are rather limited. The structure of the statistical database about the development of industry has been formed, the indicators have been selected for its filling. The indicators were distributed by the sectors of the economy (the raw material production sector, the processing sector, the macrostatistics, other sectors). The sectors were disclosed by the key types of economic activity in accordance with the classification of economic activities in 2010 (CEA-2010), providing the predominant part of the creation of the added value of the economy of Ukraine. Each specific type of economic activity is disclosed by groups of industries and industries. In addition, the formation of the statistical database was carried out on the basis of assigning to each of the indicators other characteristics necessary for the automation: code, units of measurement, period, base (distribution of the indicators into the separate groups for the possibility of modeling), source (the statistical bases and sources from which the indicators and the data were collected). The modern relational database was used to store information, which allows solving optimization issues for working with the most powerful, but not yet large data, taking into account the features of wide data, allows horizontal and vertical scaling, including in the PostgreSQL open source database system. The methodology for the formation and the technology for filling the statistical database automatically from a large number of sources, the access mode to which is set by the system configuration parameters has been created. The technology has been developed for data migrations available in flexible formats, including text, in particular Excel. The implementation of the developed automated information system integration of industrial statistics allows you to select the necessary indicators for the analysis of economic processes in industry, use the statistical data collected in a single information space for 130 countries of the world (including Ukraine) for conducting scientific researches, building economic and mathematical models and making managerial decisions.