SparkStreaming+Kafka整合

 

1.需求

使用SparkStreaming，並且結合Kafka，獲取實時道路交通擁堵情況信息。

 

2.目的

對監控點平均車速進行監控，可以實時獲取交通擁堵情況信息。相關部門可以對交通擁堵情況采取措施。

e.g.1.通過廣播方式，讓司機改道。

      2.通過實時交通擁堵情況數據，反映在一些APP上面，形成實時交通擁堵情況地圖，方便用戶查詢。

 

3.架構

1.客戶端產生數據，並且把數據發送到Kafka集群的spark-real-time-vehicle-log的topic中

2.SparkStreaming從Kakfa集群的Topic: spark-real-time-vehicle-log中讀取數據

3.SparkStreaming使用窗口函數對數據流進行處理，每個5秒，處理過去1分鍾的數據

4.把結果打印(這里也可以把結果保存到關系型數據庫，供WebUI顯示)

 

4.源碼

RealTimeVehicleSpeedMonitorMain

 

5.效果 

 

6.更多

想要了解更多戳Spark Examples 准沒錯

 

========================================================

More reading,and english is important.

I'm Hongten

 

大哥哥大姐姐，覺得有用打賞點哦！你的支持是我最大的動力。謝謝。
Hongten博客排名在100名以內。粉絲過千。
Hongten出品，必是精品。

E | [e-mail]  B | http://www.cnblogs.com/hongten

========================================================