SparkStreaming+Kafka整合
1.需求
使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息。
2.目的
对监控点平均车速进行监控,可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。
e.g.1.通过广播方式,让司机改道。
2.通过实时交通拥堵情况数据,反映在一些APP上面,形成实时交通拥堵情况地图,方便用户查询。
3.架构
1.客户端产生数据,并且把数据发送到Kafka集群的spark-real-time-vehicle-log的topic中
2.SparkStreaming从Kakfa集群的Topic: spark-real-time-vehicle-log中读取数据
3.SparkStreaming使用窗口函数对数据流进行处理,每个5秒,处理过去1分钟的数据
4.把结果打印(这里也可以把结果保存到关系型数据库,供WebUI显示)
4.源码
RealTimeVehicleSpeedMonitorMain
5.效果
6.更多
想要了解更多戳Spark Examples 准没错
========================================================
More reading,and english is important.
I'm Hongten
大哥哥大姐姐,觉得有用打赏点哦!你的支持是我最大的动力。谢谢。
Hongten博客排名在100名以内。粉丝过千。
Hongten出品,必是精品。
E | hongtenzone@foxmail.com B | http://www.cnblogs.com/hongten
========================================================