Java转行大数据工程师如何进行
- 原创经验
- |
- 更新:
- |
随着互联网的快速发展,编程语言越来越受欢迎。在程序编程行业,Java是我们常见并且最受欢迎的程序员之一,因为其工资可观,需求量大,备受人们青睐,那么Java转行大数据工程师如何进行?
具体内容
-
分布式计算框架
掌握 hadoop和spark分布式计算框架,了解文件系统、消息队列和Nosql数据库,学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;
-
数学
补充数学知识:高数、概率论和线代。
-
算法和工具
学习了解各种数据挖掘算法,如分类、聚类、关联规则、回归、决策树、神经网络等,熟练掌握一门数据挖掘编程工具:Python或者Scala。目前主流平台和框架已经提供了算法库,如hadoop上的Mahout和spark上的Mllib,你也可以从学习这些接口和脚本语言开始学习这些算法。
-
项目实践
1、开源项目:tensorflow:Google的开源库,已经有40000多个star,非常惊人,支持移动设备。
2、参加数据竞赛:Kaggle和国内天池数据竞赛。
3、通过企业实习获取项目经验,如果你仅仅是做大数据开发和运维,则可以跳过第二步和第三步,如果你是侧重于应用已有算法进行数据挖掘,那么第三步也可以先跳过。
作者声明:本篇经验系本人依照真实经历原创,未经许可,谢绝转载。