Удосконалення методів обробки та зберігання даних за допомогою інструментів "Big Data" та Map Reduce

Abstract

В умовах нового витку технологічного розвитку та переходу до парадигми інформаційного суспільства, де більшість зайняті виробництвом, зберіганням, обробкою та реалізацією даних, особливого значення набуває концепція "Big Data". У статті проведено дослідження феномену "Big Data", а також розглянуто питання про те, що слід розуміти під цим поняттям, що є основним джерелом даних та які основні властивості та інструменти формують комплексне поняття "Big Data".

В условиях нового витка технологичного развитии и перехода к парадигме информационного общества, где большинство заняты производством, хранением, обработкой и реализацией данных, особенного значения получает концепция "Big Data". В статье проведено исследование феномена "Big Data", его инструментов и методов, также рассмотрен вопрос о том, что следует понимать под этим термином, что является источником данных, какая основные свойства и инструменты формируют комплексное понятие "Big Data".

The article deals with the concept of "Big Data" as information technology for economic applications. The questions of what is "Big Data", what are the sources, tools and features of "Big Data" are investigated in the article. Next the author describes different approaches to definition the concept of "Big Data" based on the amount of data and modern computing capacity and based on the "Three V" approach. Also application of "Big Data" technologies for data storage, processing and modeling. After review the concepts and features of "Big Data" the author shows an example how "Big Data" with distributed file systems and Map Reduce can improve traditional approach on data processing.