大数据的发展趋势是什么

1、数据管理仍然困难

大数据分析有一个相当清晰的想法:找到隐藏在大量数据中的信息模式，训练机器学习模型来发现这些模式，并将这些模型应用到生产中，实现操作自动化。您需要清理数据并在必要时重复它。

然而，将这些数据投入生产比看上去要困难得多。对于初学者来说，从不同的孤岛收集数据可能很困难，因为需要提取、转换和加载(ETL)以及数据库技能。为机器学习练习清理和标记数据也需要大量的时间和金钱，尤其是在使用深度学习技术时。

2、数据孤岛继续激增

这并不难预测。在五年前的Hadoop开发热潮中，人们认为所有数据，包括分析和事务工作负载，都可以合并到一个平台中。

由于种种原因，这个想法从未真正实现。最大的挑战是不同的数据类型有不同的存储需求。关系数据库、图形数据库、时间序列数据库、HDF和对象存储都有各自的优缺点。如果开发人员将他们所有的数据塞入一个适合他们所有数据的数据湖，他们将不能最大化他们的优势。

3、流媒体分析突破之年

组织处理新数据越快，业务增长越好。这是实时或流分析背后的驱动力。但是对组织来说，这样做的挑战一直是非常困难和昂贵的，但是随着组织的分析团队的成熟和技术的改进，这种情况会发生变化。

NewSQL数据库、内存中的数据网格和专用的流分析平台围绕着需要超快处理输入数据的通用功能进行融合，通常使用机器学习模型来自动化决策。