首页 直播 App
当前位置: 首页 > 大数据工程师 > 大数据工程师文章 > 大数据工程师导出200万行数据有什么技巧?

大数据工程师导出200万行数据有什么技巧?

发布时间:2021-11-09 10:46 来源:环球网校 点击量: 2928

大数据工程师报名、考试、查分时间 免费短信提醒

地区:

获取验证 立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

【导读】我们知道,Excel数据导出的上限是100万行,超过100万行数据的,大多数是从系统导出的数据,导出的时候肯定可以选择文件类型,那么大数据工程师导出200万行数据有什么技巧呢?接下来就以文件导出类型为记事本、Access为例进行说明。

大数据工程师导出200万行数据有什么技巧.png

1、导出类型为记事本

Excel的上限是100万行,肯定是没法直接存放200万行数据,只能加载到数据模型里,才能存放,具体操作方法是:

(1)点数据,获取数据,自文件,从文本/CSV,找到刚刚的记事本,导入。

(2)用记事本导入的时候,有时会乱码,可以选择文件原始格式为无,点转换数据,进入PQ编辑器。

(3)点关闭并上载至,选择仅创建连接,勾选将此数据添加到数据模型,确定。稍等片刻,加载过程需要点时间。

(4)PP这个功能,很多人应该是第一次用到,需要加载才有。在开发工具,COM加载项,找到PP这个功能,确定。现在这个新功能就出来了。

(5)点管理,进入PP编辑器,选中里面的透视表,确定后,勾选负责人、金额、人数。整个操作过程非常流畅,200万行就跟20行的数据一样快。

2、导出类型为Access

Access本身就可以处理大数据,不过这里演示将数据导入到Excel里面。在数据库Access中,存放着200万行的数据,现在要借助Excel统计每个区域的金额。今天让你见识多软件协同工作,让Excel更强大,具体操作步骤是:

(1)新建一个新工作簿,点数据→新建查询→从数据库→从Access数据库,找到数据库,导入。

(2)在导航器选中200万的工作表,点转换数据(版本不同叫法略有差异),稍等片刻就进入PQ编辑器。

(3)点关闭并上载至,勾选仅创建连接,将此数据添加到数据模型,加载。差不多几秒钟,在Excel右边就提示已加载200万行数据,这样就表示加载成功,可以进行下一步操作。

(4)插入透视表,操作跟普通的透视表几乎一样,最大的区别就是不需要选择区域,透视表直接根据数据模型中的数据统计。将区域拉到行区域,金额拉到值区域。秒统计,丝毫不卡。

以上就是大数据工程师导出200万行数据技巧介绍,不管你有100万,还是200万,甚至300万通通都一样,添加到数据模型,就不怕大数据了。Excel存放不下,还有记事本、数据库,好好学习,Excel比你想象中的更强大,赶紧学起来吧。

  • 张君

    19:00-20:00 19:00-20:00

    一造出分·转战25年一建

    一级建造师

出版物经营许可证|京B2-20210770| 京公网安备 11010802033350号|京ICP备16038139号|节目制作经营许可证(京)字20130号|京网文(2021)2566-713号
知春路校区:北京市海淀区知春路7号致真大厦D座4层北区(地铁10号线西土城出A口)|邮编:100191
版权所有 2003-2021 北京环球创智软件有限公司|联系客服|营业执照