Модели построения корпоративного хранилища данных

Резюме: Мы живем в эпоху больших данных, когда данные генерируются непрерывно и с экспоненциальной скоростью, поэтому нам необходимо место, где мы могли бы их собирать, хранить и обрабатывать. Данные могут генерироваться устройствами и датчиками как в дистанционной форме, так и в режиме реального времени. Место, в котором можно собирать, хранить и обрабатывать данные, называется хранилище данных. Термин «хранилище данных» был придуман в 1980-х годах для описания технологии, которая позволяет компаниям интегрировать данные из множества различных источников в единую модель. Интеграция данных рассматривалась как наиболее перспективное средство поддержки глубокого изучения операционных процессов и выявления новейших возможностей для повышения эффективности и рентабельности на организационном уровне. Не менее важной ролью хранилищ данных считалась структурная оптимизация за счет устранения избыточных систем поддержки принятия решений, большинство из которых так или иначе опирались на данные об эффективности работы организации из одного и того же централизованного источника. В отличие от этого, концепция единого хранилища данных обещала устранить избыточность и обеспечить согласованность данных, что делает ее более подходящей для оптимизации управленческих решений на уровне предприятия. В данной статье рассматривается понятие «хранилище данных», выявлены основные его преимущества, проводится обзор и сравнение моделей корпоративного хранилища данных, а также платформа данных на примере Сбербанка.

Ключевые слова: Big Data, хранилище данных, Hadoop Distributed File System, графовая платформа, модель данных, Enterprise Data Warehouse.

O.S. Mandrika, S.G. Ermakov

Models for building an enterprise data Warehouse

Summary: We live in an era of big data where data is generated continuously and at an exponential rate, so we need a place to collect, store and process it. Data can be generated by devices and sensors either remotely or in real time. The place where data can be collected, stored and processed is called a data warehouse. The term «data warehouse» was coined in the 1980s to describe a technology that allows companies to integrate data from many different sources into a single model. Data integration was seen as the most promising means of supporting deep insights into operational processes and identifying the latest opportunities to improve efficiency and profitability at the organizational level. An equally important role of data warehouses was seen as structural optimization by eliminating redundant decision support systems, most of which relied in one way or another on organizational performance data from the same centralized source. In contrast, the concept of a single data warehouse promised to eliminate redundancy and ensure data consistency, making it more suitable for optimizing management decisions at the enterprise level. This article discusses the concept of data warehouse, identifies its main advantages, reviews and compares enterprise data warehouse models and data platform on the example of Sberbank.

Keywords: Big Data, data warehouse, Hadoop Distributed File System, graph platform, data models, Enterprise Data Warehouse.

DOI: 10.34219/2078-8320-2024-15-2-22-26