首页 直播 App
当前位置: 首页 > 大数据工程师 > 大数据工程师文章 > 大数据平台架构如何进行 包括哪些方面

大数据平台架构如何进行 包括哪些方面

发布时间:2021-01-23 00:00 来源:环球网校 点击量: 504

大数据工程师报名、考试、查分时间 免费短信提醒

地区:

获取验证 立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

【导语】大数据平台将互联网使用和大数据产品整合起来,将实时数据和离线数据打通,使数据能够实现更大规模的相关核算,挖掘出数据更大的价值,然后实现数据驱动事务,那么大数据平台架构如何进行?包括哪些方面呢?

大数据平台架构如何进行 包括哪些方面.png

1、事务使用:

其实指的是数据收集,你经过什么样的方法收集到数据。互联网收集数据相对简略,经过网页、App就能够收集到数据,比方许多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据,能够切分出来许多维度,做很细的剖析。但是对于涉及到线下的行业,数据收集就需要借助各类的事务体系去完成。

2、数据集成:

指的其实是ETL,指的是用户从数据源抽取出所需的数据,经过数据清洗,终究依照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而这儿的Kettle仅仅ETL的其中一种。

3、数据存储:

指的便是数据仓库的建设了,简略来说能够分为事务数据层(DW)、指标层、维度层、汇总层(DWA)。

4、数据同享层:

表明在数据仓库与事务体系间提供数据同享服务。Web Service和Web API,代表的是一种数据间的衔接方法,还有一些其他衔接方法,能够依照自己的情况来确定。

5、数据剖析层:

剖析函数就相对比较容易理解了,便是各种数学函数,比方K均值剖析、聚类、RMF模型等等。

6、数据展现:

结果以什么样的方式呈现,其实便是数据可视化。这儿建议用敏捷BI,和传统BI不同的是,它能经过简略的拖拽就生成报表,学习成本较低。

7、数据访问:

这个就比较简略了,看你是经过什么样的方法去查看这些数据,图中示例的是因为B/S架构,终究的可视化结果是经过浏览器访问的。

关于大数据平台架构内容,就给大家介绍到这里了,不知道大家是不是有所了解呢,未来,大数据对社会发展的重大影响必将会决定未来的发展趋势,所以有想法考生要抓紧时间学起来了。


  • 张君

    19:00-20:00 19:00-20:00 12月23日 19:00-20:00

    2025管理备考指导

    一级建造师

  • 安国庆

    19:00-20:00 19:00-20:00 12月24日 19:00-20:00

    备考指导

    一级建造师

  • 张湧

    19:00-20:00 19:00-20:00 12月25日 19:00-20:00

    2025经济备考指导

    一级建造师

  • 赵珊珊

    19:00-20:00 19:00-20:00 12月26日 19:00-20:00

    2025水利备考指导

    一级建造师

  • 吴然

    19:00-20:00 19:00-20:00 12月26日 19:00-20:00

    2025公路备考指导

    一级建造师

出版物经营许可证|京B2-20210770| 京公网安备 11010802033350号|京ICP备16038139号|节目制作经营许可证(京)字20130号|京网文(2021)2566-713号
知春路校区:北京市海淀区知春路7号致真大厦D座4层北区(地铁10号线西土城出A口)|邮编:100191
版权所有 2003-2021 北京环球创智软件有限公司|联系客服|营业执照