大数据工程师数据分析处理如何进行?

1、数据收集

利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简略的查询和处理工作，并发系数高。

2、统计分析

将海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的剖析需求。导入数据量大，查询涉及的数据量大，查询恳求多。

3、发掘数据

基于前面的查询数据进行数据发掘，来满足高档其他数据剖析需求，算法复杂，并且计算涉及的数据量和计算量都大。