2021年大数据发展趋势及难转化的原因

数据孤岛继续激增：

这并不难预测。在五年前的Hadoop开发热潮中，人们认为所有数据，包括分析和事务工作负载，都可以合并到一个平台中。

由于种种原因，这个想法从未真正实现。最大的挑战是不同的数据类型有不同的存储需求。关系数据库、图形数据库、时间序列数据库、HDF和对象存储都有各自的优缺点。如果开发人员将他们所有的数据塞入一个适合他们所有数据的数据湖，他们将不能最大化他们的优势。

数据管理仍然困难：

大数据分析有一个相当清晰的想法:找到隐藏在大量数据中的信息模式，训练机器学习模型来发现这些模式，并将这些模型应用到生产中，实现操作自动化。您需要清理数据并在必要时重复它。

然而，将这些数据投入生产比看上去要困难得多。对于初学者来说，从不同的孤岛收集数据可能很困难，因为需要提取、转换和加载(ETL)以及数据库技能。为机器学习练习清理和标记数据也需要大量的时间和金钱，尤其是在使用深度学习技术时。

大数据转化难的原因

大数据，如农业、政府大量的农业数据和气象数据、甚至粮食收购数据、农产品价格等等，但即使数据开放给所有承包商，如何使用它仍然是一个大问题，如何利用现有的数据通过数据挖掘、数据分析、数据值、形成生产力呢?那么，大数据转化难的原因是什么?

随着全球人口的增长，气候变化的波动性越来越大，依赖石油的农业对化石燃料价格变得更加敏感，大数据在农业中的作用不可避免地导致更多地使用新技术来提高作物产量和管理风险。基因组学、生物信息学和计算生物学的研究活动取得了重大进展，使科学家和组织能够更好地养活全世界并提高粮食和作物的质量。

然而，这样的条件在今天的中国并不存在，农民没有办法控制种植什么和什么时候种植。目前的情况是什么?以现在最大的渤海粮仓为例，在山东几个县市进行试点的渤海粮仓项目，最终落地后效果如何?所谓互联网+大数据最后的做法是找几个实验室，用杖，穿上一些传感器和摄像机，然后做数据显示，甚至在许多地区的农民放电传感器和摄像机，如何引导生产、如何农机制造业产业链，目前我没有看到任何练习。

流媒体分析突破之年：

组织处理新数据越快，业务增长越好。这是实时或流分析背后的驱动力。但是对组织来说，这样做的挑战一直是非常困难和昂贵的，但是随着组织的分析团队的成熟和技术的改进，这种情况会发生变化。

NewSQL数据库、内存中的数据网格和专用的流分析平台围绕着需要超快处理输入数据的通用功能进行融合，通常使用机器学习模型来自动化决策。