深入了解大数据分析师

什么是大数据

大数据(Big Data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据有以下三个特点：大批量(Volume)、高速度(Velocity)和多样化(Variety) 。

大批量：大数据体积庞大。企业里到处充斥着数据，信息动不动就达到了TB级，甚至是PB级

高速度：大数据通常对时间敏感。为了最大限度地发挥其业务价值，大数据必须及时使用起来

多样化：大数据超越了结构化数据，它包括所有种类的非结构化数据，如文本、音频、视频、点击流、日志文件等等都可以是大数据的组成部分

大数据相关工作主要是指基于各种分析手段对大数据进行科学分析、挖掘、展现，以辅助企业做出商业决策。

国内外领先的大数据公司：

国内：阿里巴巴、华为、百度、腾讯、浪潮、探码科技、中兴通讯、神州融、中科曙光、华胜天成、用友等。

国际：IBM、惠普、Splunk、戴尔、Opower、Teradata、甲骨文、微软、亚马逊、谷歌、New Relic、Alation等。

大数据相关岗位及职责：

1.大数据开发工程师

开发，建设，测试和维护架构;负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等

2.数据分析师

收集，处理和执行统计数据分析;运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力

3.数据挖掘工程师

数据建模、机器学习和算法实现;商业智能，用户体验分析，预测流失用户等;需要过硬的数学和统计学功底以外，对算法的代码实现也有很高的要求

4.数据架构师

需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署;高级算法设计与优化;数据相关系统设计与优化，需要平台级开发和架构设计能力

5.数据库开发

设计，开发和实施基于客户需求的数据库系统，通过理想接口连接数据库和数据库工具，优化数据库系统的性能效率等

6.数据库管理

数据库设计、数据迁移、数据库性能管理、数据安全管理，故障检修问题、数据备份、数据恢复等

7.数据科学家

数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换

8.数据产品经理

把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具，业务线提供更加贴近业务的分析框架和数据应用

大数据分析师薪资：

在美国，大数据分析师每年薪酬高达17.5万美元。而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内某大型招聘平台给出的大数据分析师平均薪酬为：9724K(取自1139份样本)，北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前九的城市。

就业前景：

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。根据美国劳工部预测，到2019年，数据分析师的需求量将增长40%。在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。

据数联寻英发布《大数据人才报告》显示，未来3-5年内大数据人才的缺口将高达150万。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT等大型互联网公司的招聘职位里，80%以上都在招大数据人才。进入大数据行业，也成了越来越多人实现职场高薪梦的路径之一。

大数据岗位的职业发展：

由于目前大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有的时候成功就是这样，方向和平台选择对了，只要付出足够的汗水，选择大于努力。

成为大数据分析师的条件：

1、硬性条件：

数据分析师角色/任务：收集，处理和执行统计数据分析

必备语言：java、R、Python、HTML、Javscript、C/C++、SQL等

技能和特长：电子表格工具(例如Excel)，数据库系统(SQL和基于NOSQL)，通信可视化，数学，统计，计算机，机器学习等

2、软性条件：

懂业务：从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析就没有太大的使用价值

懂管理：一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行;另一方面的作用是针对数据分析结论提出有指导意义的分析建议

懂分析：指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等

懂工具：指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作

懂设计：懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则

学什么专业可以做大数据分析：

1、硬实力：数据分析师需要学生有一定的数学、计算机背景，从这个出发点来说，数学、统计、计算机科学等专业可以从事数据分析工作。

不过，这三个专业的同学可以虽然可以处理大量数据，并且拥有很强的数据分析能力，但是这类同学对于Business 和 Marketing缺乏了解，数据分析的结果对于企业并无太大收益。

2、软实力：软实力要求学生懂业务、懂管理，从这个出发点来说，市场营销、电子商务、经济学等专业毕业后也可以从事数据分析相关工作。

不过，这几个专业在业务方面可能专业度非常高，但是缺点也是非常明显的：缺乏很强的数学和计算机背景，在实际操作中缺乏相关的专业技能。