为什么整合kafka到spark streaming

发布网友发布时间：2022-05-18 17:23

共1个回答

热心网友时间：2023-10-21 00:30

作为一个实时大数据处理工具， Spark Sreaming 近日一直被广泛关注，与 Apache
Storm 的对比也经常出现。但是依我说，缺少与Kafka整合，任何实时大数据处理工具都是不完整的，因此我将一个示例Spark Streaming应用程序添加到 kafka-storm-starter ，并且示范如何从Kafka读取，以及如何写入到Kafka。在这个过程中，我还使用Avro作为数据格式，以及Twitter
Bijection进行数据序列化。

在本篇文章，我将详细地讲解这个Spark Streaming示例；同时，我还会穿插当下Spark Streaming与Kafka整合的一些焦点话题。免责声明：这是我首次试验Spark Streaming，仅作为参考。

当下，这个Spark Streaming示例被上传到GitHub，下载访问： kafka-storm-starter。项目的名称或许会让你产生某些误解，不过，不要在意这些细节：）