# 大数据工程师进行数据预处理如何进行?

> 作者：不庸俗的大学生 ｜ 发布时间：2021-02-26 ｜ 阅读：737

【导语】大数据预处理，指的是在进行数据剖析之前，先对收集到的原始数据所进行的比如“清洗、添补、平滑、兼并、规格化、一致性查验”等一系列操作，旨在提高数据质量，为后期剖析作业奠定基础，那么大数据工程师进行数据预处理如何进行?

![](https://oss-hqwx-edu100.hqwx.com/wendaditor_1614327625371932.png)

**1、数据清理**

指利用ETL等清洗东西，对有遗漏数据(短少感兴趣的特点)、噪音数据(数据中存在着过错、或偏离期望值的数据)、不一致数据进行处理。

**2、数据集成**

是指将不同数据源中的数据，兼并存放到一致数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。

**3、数据转换**

是指对所抽取出来的数据中存在的不一致，进行处理的过程。它一起包含了数据清洗的作业，即依据事务规矩对异常数据进行清洗，以确保后续剖析结果准确性。

**4、数据规约**

是指在最大极限保持数据原貌的基础上，最大极限精简数据量，以得到较小数据集的操作，包含：数据方集合、维规约、数据压缩、数值规约、概念分层等。

大数据工程师进行数据预处理的时候，一定要注意数据处理的规则，并不断学习数据处理相关知识，不断进行自我提升，加油!

---

链接: https://wenda.hqwx.com/article-46450.html
提示：内容由环球青藤快问-不庸俗的大学生整合，商业转载请联系作者获得授权，非商业转载请注明出处。
