新人,求助,如何在云平台上实现实时数据显示

发布网友发布时间：2022-04-29 23:24

共1个回答

热心网友时间：2022-06-25 19:33

1. 数据收集

　　Gartner的Merv Adrian对大数据有这样一个定义:“大数据让常用硬件软件工具无法在用户可容忍时间内对数据进行采集、管理和处理。”[1]麦肯锡全球研究院在2011年5月也有这样一个概念：“大数据是指超出典型数据库软件工具采集、存储、管理和分析能力的数据集。”[2]从上面的定义可以看出，大数据最大的挑战在于如何在有限时间内对数据进行处理和分析，并得到有用信息。

　　2. 数据处理

　　大数据处理中最著名的工具是Hadoop，不过它并不是一套实时系统。为了解决这个问题，计算机工程师们又开发了Storm和Kafka。 Apache Storm是一套开源的分布式实时计算系统。最早由Nathan Marz[3]开发，在被Twitter收购后开源，并在2014年9月起成为Apache顶级开源项目。Storm被广泛用于各种商业网站，包括 Twitter、Yelp、Groupon、百度、淘宝等。Storm的使用场景非常广泛，例如实时分析、在线机器学习、连续计算、分部署RPC、ET| 等。Storm有着非常快的处理速度，单节点可以达到百万个元组每秒，此外它还具有高扩展、容错、保证数据处理等特性。图1是Storm的一个简单的架构。