企业实时数据中台标配是什么

  • 原创经验
  • |
  • 更新：
  • |

事实上，很多公司的大数据平台三大技术组件hadoop、MPP以及流处理很多年前就具备了，企业要能大规模的使用实时数据，就必须建立起实时的数据中台，让开发实时应用数据简单到就像写一个SQL，那么企业实时数据中台标配是什么?


具体内容

  1. 1

    实时接入：

    不同类型的数据需要不同的接入方式，flume+kafka现在是标配，其他还有文件、数据库的DSG等等技术。比如运营商就有B域的订购、通话，O域的位置、上网等各类实时数据。

    企业实时数据中台标配是什么

  2. 2

    计算框架：

    这里只列出一种，基于Kappa架构实现实时/离线一体化业务开发能力，相对于传统Lambda架构，开发人员只需面对一个框架，开发、测试和运维的难度都相对较小，且能充分发挥Flink流式计算框架一点执行、高吞吐、毫秒级响应、批流融合的特点。

    比如将流计算组件划分实时数据切片，批处理组件提供离线数据模型(驻留内存)，两类数据在处理过程中实现批流关联。

  3. 3

    实时模型：

    跟数据仓库模型一样，实时模型肯定首先是面向业务的，比如运营商有流量运营、服务提醒、竞争应对、放好拉新、厅店引流、语音消费、运营评估、实时关怀、实时预警、实时洞察、实时推荐等一系列的实时场景，你总是要基于你的实时业务提炼出具备共性的数据模型要素。

注意事项

  • 以上就是企业实时数据中台标配，具体的内容希望大家了解，当然具体的数据分析还需要大数据工程师参与其中，希望大家抓住机会，及时取得大数据工程师证书。


作者声明：本篇经验系本人依照真实经历原创，未经许可，谢绝转载。