Программная платформа для автоматизированной подготовки и аналитической обработки массивов разнородных данных

Резюме: В статье описывается программная платформа автоматизации процессов предварительной обработки и разметки массивов данных с целью последующего решения аналитических задач, таких как классификация изображений и обработка текстовой и параметрической информации с помощью нейросетевых технологий. В программной платформе используются современные технологии и объединяется большое число методов в виде модульной платформы, которая может дополняться по мере усложнения задач аналитической обработки данных. Необходимость разработки подобной программной платформы продиктована в первую очередь тем, что при современном уровне роста объема данных фактический переход к глубокой аналитике данных остается недостижимым без подобных программных платформ, поскольку требуется сохранение конфиденциальности, обеспечение доступа к информации и использование внешних ресурсов обработки данных.

Ключевые слова: разметка данных, нейросетевая модель, обработка изображений, обработка текстовой информации, перенос обучения, контейнеры Docker.

doi: 10.34219/2078-8320-2020-11-1-15-20

D. Avedyan, I. M. Voronkov

Software platform for automated preparation and analytical processing of heterogeneous datasets 

Summary: the article proposes new software platform for automating the processes of preprocessing and marking up datasets with the aim of further solving analytical problems such as image classification and processing textual and parametric information using neural network technologies. The software platform uses modern technologies and combines a large number of methods in the form of a modular platform, which can be supplemented as the tasks of analytical data processing become more complicated. The need to develop such a software platform is dictated primarily by the fact that, given the current level of data volume growth, the actual transition to deep data analytics remains unattainable without such software platforms, since confidentiality, access to information and the use of external data processing resources are required.

Keywords: data markup, neural network model, image processing, text processing, transfer learning, Docker containers

doi: 10.34219/2078-8320-2020-11-1-15-20