大数据平台仓库架构建设思路
发布时间：2021-02-26 13:55:00 所属栏目：动态 来源：互联网
导读：我们之所以选择基于大数据平台构建数据仓库，是由大数据平台丰富的特征决定的： 强大的计算和存储能力，使得更扁平化的数据流程设计成为可能，简化计算过程; 多样的编程接口和框架，丰富了数据加工的手段; 丰富的数据采集通道，能够实现非结构化数据和半结构
|
我们之所以选择基于大数据平台构建数据仓库，是由大数据平台丰富的特征决定的：
仓库架构设计原则包括四点：第一自下而上结合自上而下的方式，保障数据搜集的全面性;第二高容错性，随着系统耦合度的增加，任何一个系统出现问题都会对数仓服务产生影响，因此在数仓构建时，高容错性是必不可少的因素;第三数据质量监控需要贯穿整个数据流程，毫不夸张地说，数据质量监控消耗的资源可以等同于数据仓库构建的资源;第四无需担心数据冗余，充分利用存储换易用。 模型设计 构建数仓的首要步骤就是进行模型设计。
维度莫建模或实体关系建模 常见的模型设计思路包括维度建模和实体关系建模。维度建模实施简单，便于实时数据分析，适用于业务分析报表和BI;实体关系建模结构较复杂，但它便于主体数据打通，适合复杂数据内容的深度挖掘。 每个企业在构建自己数仓时，应该根据业务形态和需求场景选择合适的建模方式。对于应用复杂性企业，可以采用多种建模结合的方式，例如在基础层采用维度建模的方式，让维度更加清晰;中间层采用实体关系建模方式，使得中间层更容易被上层应用使用。
星型模型和雪花模型 了建模方式之外，在星型模型和雪花模型的选择上也有可能让使用者左右为难。事实上，两种模型是并存的，星型是雪花模型的一种。理论上真实数据的模型都是雪花模型;实际数据仓库中两种模型是并存的。 由于星型模型相对结构简单，我们可以在数据中间层利用数据冗余将雪花模型转换成星型模型，从而有利于数据应用和减少计算资源消耗。
数据分层 （编辑：鞍山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
