大数据处理的关键技术有哪些

大数据处理的关键技术有哪些

1、数据搜集

大数据年代，数据的来历极其广泛，数据有不同的类型和格式，同时出现爆发性增长的态势，这些特性对数据搜集技能也提出了更高的要求。数据搜集需求从不同的数据源实时的或及时的搜集不同类型的数据并发送给存储体系或数据中间件体系进行后续处理。

2、数据预处理

数据的质量对数据的价值巨细有直接影响，低质量数据将导致低质量的剖析和挖掘成果。广义的数据质量触及许多要素，如数据的准确性、完整性、一致性、时效性、可信性与可解释性等。数据预处理方式上包含数据整理、数据集成、数据归约与数据转化等阶段。

3、数据存储

分布式存储与访问是大数据存储的关键技能，它具有经济、高效、容错好等特点。分布式存储技能与数据存储介质的类型和数据的安排办理方式直接相关。现在的首要数据存储介质类型包含内存、磁盘、磁带等;首要数据安排办理方式包含按行安排、按列安排、按键值安排和按关系安排;首要数据安排办理层次包含按块级安排、文件级安排以及数据库级安排等。

4、数据处理

分布式数据处理技能一方面与分布式存储方式直接相关，另一方面也与业务数据的温度类型(冷数据、热数据)相关。现在首要的数据处理核算模型包含MapReduce核算模型、DAG核算模型、BSP核算模型等。

大数据常见类型有哪些?

结构化数据

可以以固定格式存储，访问和处理的数据称为“结构化数据”。由于此数据采用类似的格式，因此企业可以通过执行分析来获得最大的收益。还发明了各种先进技术来从结构化数据中提取数据驱动的决策。但是，由于结构化数据的创建已经达到Zettabytes标记，因此世界正朝着这样一个程度发展。

非结构化数据

任何以未知形式或结构出现的数据都属于非结构化数据。处理非结构化数据并对其进行分析以获取数据驱动的答案是一项艰巨的任务，因为它们来自不同类别，将它们放在一起只会使情况变得更糟。包含简单文本文件，图像，视频等的组合的异构数据源是非结构化数据的示例。

半结构化数据

半结构化数据中同时具有结构化和非结构化数据。我们可以看到半结构化数据是形式化的结构，但实际上它不是在关系DBMS中用表定义来定义的。Web应用程序数据是半结构化数据的示例。它具有非结构化数据，例如日志文件，事务历史记录文件等。OLTP系统旨在与结构化数据一起工作，其中数据存储在关系中。