大数据工程师建设企业数据中台要遵守什么原则

  • 原创经验
  • |
  • 更新:
  • |

大数据时代,数据规模急剧增大,数据从源端到应用端距离更短,数据的重塑也更快捷。数据中台就把数据渗透到了整个业务的闭环中,用系统的方式推动工作,并实现业务数据到知识分发的实时应用,那么大数据工程师建设企业数据中台要遵守什么原则?下面就来具体看看吧。


具体内容

  1. 1

    数据分层:

    数据分层,在阿里数据中台的提法是大中台,小前台。要实现业务数据化,就是所有的商业活动都应该记录下相关的数据,并把数据业务化,本质就是从数据中发现价值,反过来赋能业务。

    大数据工程师建设企业数据中台要遵守什么原则

  2. 2

    数据标准化:

    数据标准化,在阿里的数据中台思想中叫做OneData。实现数据资产各域、主题、模型、字段、指标命名等的统一规范,值得强调的是,数据标准化一定要在源头解决,如果一个庞大的企业的业务系统数据资产都遵循这个原则,那应该是非常厉害了。我们可以利用维度建模的方式建设总线矩阵,对数据域与业务过程等进行明确定义。

  3. 3

    主题标签化:

    主体标签化,在阿里数据中台思想中叫做OneID。ID-MAPPING是互联网公司的一个核心技术,其需要确保各个领域搜集的数据是可以继承和关联分析的,没有统一ID的支持,多样化的数据集中起来分析是没有意义的,这是另一种形式的数据孤岛。数据关联,这也是我们在传统数据仓库中数据分析的依据。

  4. 4

    数据资产卡片:

    数据资产卡片在阿里数据中台思想叫OneMeta。这是我们进行数据资产分析和数据血缘跟踪的基础,是数据管理里非常基本的东西。这里面包括数据安全管理,质量管理,成本管理,资产的创建信息,修改信息等等。

  5. 5

    主题式数据服务:

    主题式数据服务在阿里数据中台思想叫OneService。基于元数据构建的简单数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表,就是一套业务化的虚拟查询,方便取数。数据推送、定时任务,跨源数据服务等都叫主题式数据服务。

注意事项

  • 关于大数据工程师建设企业数据中台原则,就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助,也希望大家能够抓住机会,加油!


作者声明:本篇经验系本人依照真实经历原创,未经许可,谢绝转载。