大数据建模平台_大数据管理平台_产品与服务_北京供销大数据集团股份有限公司 
产品

大数据建模平台

首页 > 产品与服务 > 大数据管理平台 > 大数据建模平台

大数据建模平台

对于企业或政府部门而言,现有的应用系统就像一个个互不交叉的烟囱。但是,每一个系统产生的数据不应该是割裂的。在大数据背景下我们不能产生更多的烟囱出来,这就需要一个统一的数据结构把不同的数据联系起来。另外我们原来的数据更多的是侧重在定量的数据。现在同一份数据,可能既有定量又有定性,所以我们通过一个统一的数据结构添加新的属性。定义统一的数据结构就是一个数据建模的过程。只有建模之后,才能从不同的烟囱上采集数据到统一的大数据平台上。建模平台包含了数据处理流程的建模,从而实现数据的清洗、转换、解析、合并、融合等功能。
在我们将这些规模日益庞大的源数据汇聚至Hadoop时,使用了全平台统一的逻辑数据结构(EasyDoop数据模型),基于统一的数据模型,来规划不同类型数据的访问控制列表,数据处理流程、是否自动归档等一系列规则。如下图所示,EasyDoop数据查询和处理API基于统一数据结构来操纵Hadoop上的数据。

特征

EasyDoop的建模平台具有以下特征:

Ø 建模平台支持混合环境,能够同时支持Hadoop(HDFS和HBase)、关系型数据库(IBM DB2、ORACLE、MySQL和SQL Server)和传统文件系统来存储和读取数据;比如:用户可选择将结构化数据存放在ORACLE上,同时将非结构化数据存放在HDFS上。这为用户在物理数据的底层结构选择上提供了最强的灵活性;

Ø 提供统一的数据模型,将非结构化数据(文本、文档、图片、流数据等)与结构化数据汇聚成统一的信息逻辑对象、从而方便对结构化和非结构化数据加以一致性处理,并统一管理元数据,提供统一标准化字段;

Ø 提供统一的数据流程模型。将数据采集与处理流程加以绑定,从而允许二者以无需人为干预的自动化方式实现大数据整合处理;

Ø 建模平台支持对不同数据模型设置不同的安全访问列表、加密方式、自动业务处理流程、归档时间和归档操作、版本化处理等;

Ø 建模平台支持自动链接设置,从而为一个数据自动设置多维参数;

Ø 建模平台的行业数据模型符合国家标准,支持核心元数据的动态扩展。

Ø 数据的归档设置是在建模过程中实现。有些数据三年有效,有些七年有效,这些都通过归档功能自动完成。