Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв

Abstract

Проаналізовано напрямки досліджень у галузі концептів Big Data, розподілених мереж мобільних пристроїв і Deep Learning. Кількісно охарактеризовано та порівняно інтенсивність розвитку сучасних бібліотек нейронних мереж для використання технологій Deep Learning, Big Data, GPGPU. Розроблено застосування для дослідження роботи згорткових нейронних мереж різної архітектури із використанням потужностей мобільних CPU та GPU і з використанням API для нейронних мереж на операційній системі Android. Розроблено застосування для агрегації проаналізованих у реальному часі даних, структуризації даних на сервері та досліджено роботу застосування в мережах WiFi, 3G та 4G. Проведено аналіз різних шляхів агрегації даних.

Проанализированы направления исследований в области концептов Big Data, распределенных сетей мобильных устройств и Deep Learning. Количественно характеризировано и проведено сравнение интенсивности развития современных библиотек нейронных сетей для использования технологий Deep Learning, Big Data, GPGPU. Разработано приложение для исследования работы сверточных нейронных сетей разной архитектуры с использованием мощностей мобильных CPU и GPU . а также с использованием API для нейронных сетей на операционной системе Android. Разработано приложение для агрегации проанализированных в реальном времени данных, структуризации данных на сервере и исследована работа приложения в сетях 3G и 4G. Проведен анализ различных методов агрегации данных.

The problem of inefficient processing in the Big Data industry is touched upon. A detailed analysis of the various means to increase the percentage of processed data is provided and the experimental implementation of a way to obtain and preprocess data in a mobile device network in real-time mode is shown. During the analysis of the subject, the next fields of research were observed: Deep Learning, Machine Learning, Big Data, and GPGPU technology. Further analysis was focused on highlighting the most relevant and perspective objects for the research. The analysis showed that amidst currently most innovative and broadly widespread operation systems and frameworks to implement and engage neuron network algorithms Android operation system and TensorFlow framework has the most significant advantages. Due to the purpose of developing an experimental solution based on mobile device network and neuron network, different classes and types of neuron network architectures were explored. Two major types of mobile neuron networks such as quantized and integer neuron networks and the principal dissimilarity between them were described. Various neuron networks were tested on mobile devices with Internet connection via specially developed auxiliary software using GPGPU technology. Experimental results had shown that modern smartphones such as Huawei P20-Pro are capable to analyze, store and transmit the incoming from its camera sensor information at a rate of up to 40 frames per second. The usage of mobile GPU for improving the performance of the neuron networks was proved to be effective as such the number of frames processed by a neuron network per second can be elevated up to 10 times.