一个优秀的大数据工程师应该具备哪些技能

  • 原创经验
  • |
  • 更新：
  • |



想要成为更加优秀的大数据工程师，我们首先要掌握以下三种技能，其中Python语言、Scala语言等编程是需要我们掌握的基本技能，此外还有Java等必须掌握的技能以及一些高阶技能。


一个优秀的大数据工程师应该具备哪些技能

  1. 1

    基本技能：①Python语言：编写一些脚本时会用到。②Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。③Ozzie，azkaban：定时任务调度的工具。④Hue，Zepplin：图形化任务执行管理，结果查看工具。⑤Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

  2. 2

    必须掌握的技能：Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

  3. 3

    高阶技能：机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio。

注意事项

  • 需要注意的是高阶技能是相对于我们前两种技能掌握的情况下而言，一般来说掌握前两种技能就是一个非常优秀的工程师了。

作者声明：本篇经验系本人依照真实经历原创，未经许可，谢绝转载。

相关经验