一个优秀的大数据开发工程师的日常是怎么样的?

【导读】大数据相关工作岗位很多，有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等。下面先主要总结归纳最常见、需求量最大、最普遍的4个岗位，其他的岗位以后逐步补充，也欢迎大家一起来补充和优化

数据分析师：

工作内容：

a.临时取数分析，比如双11大促活动分析;产品的流量转化情况、产品流程优化分析，等等;

b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;

c.业务专题分析：

精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);

风控分析(策略分析，反欺诈分析，信用状况分析);

市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);

工具和技能：

工具： R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT

技能：需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等，每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;

数据挖掘工程师：

工作内容：

a.用户基础研究：用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等

b.个性化推荐算法：基于协同过滤(USERBASE/ITEMBASE)的推荐，基于内容推荐，基于关联规则Apriot算法推荐，基于热门地区、季节、商品、人群的推荐等

c.风控模型：恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、

电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)

金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)

d.产品知识库：产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等

e.文本挖掘、语义识别、图像识别，等等

工具和技能：

工具： R、Python、SAS、SPSS、Spark、Mlib等等

技能：需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测、神经网络等)、模型评估、模型部署、模型监控;

数据产品经理：

工作内容：

a.大数据平台建设，让获取数据、用数据变得轻而易举;构建完善的指标体系，实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;

b.数据需求分析，形成数据产品，对内提升效率、控制成本，对外增加创收，最终实现数据价值变现;

c.典型的大数据产品：大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横)，等等;

工具和技能：

工具： 除了掌握数据分析工具，还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等

技能：需掌握SQL数据库、产品设计，同时，熟悉常用的数据产品框架

数据研发工程师：

工作内容：

a.大数据采集、日志爬虫、数据上报等数据获取工作

b.大数据清洗、转换、计算、存储、展现等工作

c.大数据应用开发、可视化开发、报表开发等

工具和技能：

工具：hadoop、hbase、hive、kafaka、sqoop、java、python等

技能：需掌握数据库、日志采集方法、分布式计算、实时计算等技术

综上所述，就是小编总结归纳最常见、需求量最大、最普遍的4个岗位，从工作内容，工具和技能入手来分析大数据开发工程师的日常工作是怎么样的，希望那可以帮助到大家。