Технологии и принципы сбора и обработки неструктурированных распределенных данных с учетом современных особенностей предоставления медиа-контента 

Резюме: Цель работы: Пандемия COVID-19 создала серьезные вызовы перед современным обществом и привела к необходимости коррекции существующих и разработки новых методов цифрового мониторинга и информационных моделей не только темпов распространения вируса, но и социально-экономической среды. Материалы и методы: В качестве источников для уточнения параметров таких моделей целесообразно выбирать неструктурированные медиа-данные на неограниченном наборе ресурсов, а не ограниченный набор предопределенных интернет-источников, что приводит к необходимости построения системы комплексного мониторинга социальных явлений, которые могут дополнять и корректировать математические и информационные модели распространения вирусов, нацеленные на минимизацию привносимого любой пандемией ущерба. Результаты: Для построения системы комплексного мониторинга социальных явлений, дополняющих математические и информационные модели распространения вирусов, нацеленные на минимизацию приносимого ими ущерба, предлагается использовать программную систему, включающую подсистему сбора и предобработки медиаданных (Data Retrieving) на базе хедлесс-браузера, совместно с фреймворком обработки текстов на естественном языке, использующим ассоциативно-онтологический подход, программную реализацию адаптивно-поведенческой модели SEIR, а также подсистему интерпретации собранных данных, формирования метаданных для идентификации и коррекции модели. Выводы: Предлагаемая система позволит принимать более сбалансированные управленческие решения на основе анализа текущей ситуации в инфосфере. Дополнительным преимуществом системы является возможность выявления слабо прогнозируемых реакций общества на те или иные события, выраженные медиа-контентом.

Ключевые слова: мониторинг распределенных данных, анализ данных, информационные модели, методы Data Retrieving, ассоциативно-онтологический подход

S.V. Kuleshov, A.A. Zaytseva, S.P. Levashkin

Technologies and principles of unstructured distributed data processing in the context of modern media content providing

Summary: Purpose The COVID-19 pandemic is creating serious challenges for modern society that leads to develop new information models and methods of digital monitoring not only of the spread of the virus, but also of the socio-economic environment. Materials and methods: As sources for clarifying the parameters of such models, it is advisable to choose not a

limited set of predefi ned Internet sources, but unstructured media data on an unlimited set of resources, which leads to the need to build a system for complex monitoring of social phenomena. Such system can supplement and correct mathematical and information models for the spread of viruses, aimed at minimizing the damage caused by any pandemic. Results: It is proposed to create a software system that includes a Data Retrieving subsystem (for collecting and preprocessing media data) combined with a headless browser. This allows to build a system for monitoring of social phenomena, complementing mathematical and information models of the spread of viruses, aimed at minimizing the damage they cause. The feature of developed system is the using of a natural language processing framework based on the associative-ontological approach, and software implementation of the adaptive-behavioral SEIR model, as well as a subsystem for interpreting the collected data, generating metadata for identifying and correcting the model. Conclusions: The proposed system allows to make more balanced management decisions based on the analysis of the current situation in the infosphere. An additional advantage of the system is the ability to identify poorly predictable reactions of society to certain events expressed in media content.

Keywords: distributed data monitoring, data mining, information models, Data Retrieving, associative-ontological approach

DOI: 10.34219/2078-8320-2020-11-5-22-28