首页 直播 App
当前位置: 首页 > 大学生热门技能 > 大学生热门技能文章 > 一般用哪些工具做大数据分析?

一般用哪些工具做大数据分析?

发布时间:2020-04-17 17:38 来源:环球网校 点击量: 1001

大学生热门技能报名、考试、查分时间 免费短信提醒

地区:

获取验证 立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

【导读】大数据分析工具有很多,不过绝大多数是自己开发,或在某工具上进行二次开发。

大数据业务有很多环节,大致为:

大数据分析.png

1. 数据搜集:借助工具对研究对象进行数据采集,可以是人工采集——如街头调查、电话采访、现场统计……,也可以是软件采集——如网络爬虫、GPS轨迹、企业ERP历史数据。

2. 数据清洗:对采集到的数据按研究价值进行整理和归类,如:那些数据是无效数据,那的数据是被污染(被刻意篡改)将这些数据剔除,减少干扰。数据清洗的工具同样也有人工和软件,甚至同时使用。

3. 数据加工:对清洗后的数据按研究意图进行整理和归类,如价格(将出厂价、零售价、批发价、开票价、税率、促销价等价格信息进行归类)、品种(按颜色、行业规格、适用环境、质地等进行归类)、日期(将年龄、生日、期间起始日期、库龄等日期相关的归类)

4. 数据统计:对加工过的数据进行预测,发现数据规律。对加工过的数据进行人工抽样(小样本),借助简单的工具来发现一些规律,寻找一些蛛丝马迹,建立数学统计模型和分析算法。

5. 大数据分析:对原始数据(或加工过的数据),通过第4步建立的分析算法,进行“大数据”自动分析,分析过程中,还需要不断修正算法,可能重新回到上述第3步,将原算法推倒从重来。

大数据分析是一个系统工程,是对某种社会行为和自然现象(如购物、交易、人流、设备运转、舆情、气候等)进行分析,需要分析人员掌握很多综合知识,然后借助计算机的运算能力,帮助分析。

最后,回答本提问,大数据分析的工具有很多,手工算、算盘,excel,microsoft PowerBI,python中的很多模块,mssql,mysql……那个顺手用那个,那个适合业务需要用那个,目前没有“最好”,也没有“行业惯例”,自己选择自己习惯的吧。综上所述,就是小编今天给大家整理发布的关于大数据分析的相关内容,希望可以帮助到大家。

资料下载 精选课程 真题练习
  • 胡安然

    19:00-21:00 19:00-21:00 12月02日 19:00-21:00

    早鸟筑基课(三)-经济

    一级建造师

  • 池亚红

    19:00-21:00 19:00-21:00 12月03日 19:00-21:00

    早鸟筑基课(三)-管理

    一级建造师

  • 胡子薇

    19:00-21:00 19:00-21:00 12月04日 19:00-21:00

    早鸟筑基课(三)-法规

    一级建造师

  • 刘月

    19:00-21:00 19:00-21:00 12月05日 19:00-21:00

    早鸟筑基课(三)-建筑

    一级建造师

  • 裴彪

    19:00-21:00 19:00-21:00 12月05日 19:00-21:00

    早鸟筑基课(三)-市政

    一级建造师

出版物经营许可证|京B2-20210770| 京公网安备 11010802033350号|京ICP备16038139号|节目制作经营许可证(京)字20130号|京网文(2021)2566-713号
知春路校区:北京市海淀区知春路7号致真大厦D座4层北区(地铁10号线西土城出A口)|邮编:100191
版权所有 2003-2021 北京环球创智软件有限公司|联系客服|营业执照