kafka的概述
Kakfa是由LinkedIn公司開發的一個分布式的消息系統,后成為Apache頂級開源項目,它使用Scala編寫,以可水平擴展和高吞吐率的特性而被廣泛使用。
**ps: 通過上述百度百科的概述,只知其然而不知其所以然。 kafka 大家都知道是消息隊列,那么籠統的說消息隊列是什么? 消息隊列是在消息的傳輸過程中保存消息的容器。那么我們很明確的知道它如何在某個系統中的使用場景。
**
它的使用場景
網絡上很多關於kafka的使用場景描述,有對用戶延遲發短信的場景、網站活動追蹤、流數據處理、日志處理等各種場景。
在這么多場景中,不一 一列舉來說明怎么使用,因為本人在實際項目中kafka在日志處理上用的比較多,所以就拿日志處理系統進行kafka的應用與日志系統的業務記錄。
使用成果
有了使用場景,我們就要思考使用后的效果,對於小型項目來說,我們通常對日志的處理沒有那么多的要求,甚至沒有對項目進行日志收集,但是當用戶量,數據量達到一定的峰值之后,問題就會隨之而來。比如:
- 我們需要考慮用戶日志怎么存放
- 我們需要考慮用戶日志存放后怎么利用
- 怎么在存儲大量級的日志而不對系統造成影響
等很多其他的問題,這樣我們就需要借助消息隊列進行業務的上解耦,數據上更好的傳輸。
項目實例
系統日志處理之kafka的使用 : github
- 項目基本思想已經完成,可以用在學習階段、參考階段,歡迎其他開發者參與開源項目的開發,在之后的日子再進行完善與更新。
- 思想和實例都有了,希望愛學習讀者的你給個支持在github中start一下,
**ps: 請不要 fork ! **