原文:為什么每一個爬蟲工程師都應該學習 Kafka

這篇文章不會涉及到Kafka 的具體操作,而是告訴你 Kafka 是什么,以及它能在爬蟲開發中扮演什么重要角色。 一個簡單的需求 假設我們需要寫一個微博爬蟲,老板給的需求如下: 開發爬蟲對你來說非常簡單,於是三下五除二你就把爬蟲開發好了: 接下來開始做報警功能,邏輯也非常簡單: 再來看看統計關鍵詞的功能,這個功能背后有一個網頁,會實時顯示抓取數據量的變化情況,可以顯示每分鍾 每小時的某個關鍵詞的抓 ...

2019-12-14 08:46 0 411 推薦指數:

查看詳情

硬件工程師都應該DIY一個示波器

​​ DIY一個示波器是極好的,可以學到電源,模擬,模數混合,FPGA,到通信,上位機,數字信號處理算法。 DIY一個示波器是極有難度的。很多核心技術咱搞不到。 感謝開源精神。不得不說老外的開源精神就是好啊。 SCOPEFUN是一個開源示波器項目,包括開源的原理圖,PCB ...

Wed Sep 08 17:41:00 CST 2021 0 123
后端工程師都應該知道的最佳實踐

0 前言 《On Designing and Deploying Internet-Scale Services》是一篇非常經典的論文,例舉了設計和部署互聯網規模的服務要注意的方方面面,其核心內容是 ...

Fri Aug 28 16:37:00 CST 2020 0 970
工程師應該怎么學習

作者:曹大(Xargin) 只要一日自詡工程師,就沒有辦法放棄學習。本文不算是技術文,只是介紹一些個人的學習方法和經驗。如果很多點你已經做到並且做好,一笑了之便可。 閱讀書籍 對於工程師來說,從書籍得來的知識是必不可少的。現在很多年輕的程序員會從網絡博客來學習技術,但博客內容大多缺乏體系 ...

Tue Oct 19 22:26:00 CST 2021 0 162
每一個寬客都應該收藏的量化“利器”

https://zhuanlan.zhihu.com/p/26983703 工欲善其事,必先利其器,本文精心整理了各大編程語言常用的量化分析工具,會用其中幾個就應該可以在私募找到一份不錯的量化工作,如果不想安裝,推薦 BigQuant 一站式的Python+機器學習+量化投資平台,打開瀏覽器 ...

Fri Jan 05 18:26:00 CST 2018 0 3204
一個優秀的前端都應該閱讀這些文章

前言 的確,有些標題黨了。起因是微信群里,有哥們問我,你是怎么學習前端的呢?能不能共享一下學習方法。一句話也挺觸動我的,我真的不算是什么大佬,對於學習前端知識,我也不能說是掌握了什么捷徑。當然,我個人的學習方法這篇文章已經在寫了,預計這周末會在我個人公眾號發布。而在此之前,我想展(gong)示 ...

Thu Sep 26 18:10:00 CST 2019 4 856
成為一個JAVA工程師應該學什么

我要說明,您要想從本文中學到一些JAVA高級知識是學不到的,因為本文告訴您的作為一個(高級)JAVA工程師應該學什么,而不是告訴您具體的知識細節。 一、JAVA。要想成為JAVA(高級)工程師肯定要學習JAVA。一般的程序員或許只需知道一些JAVA的語法結構就可以應付了。但要成為JAVA(高級 ...

Sat Oct 10 01:59:00 CST 2020 0 715
一個高級PHP工程師應該具備的

初次接觸PHP,就為他的美所折服,於是一發不可收拾。 很多面試,很多人員能力要求都有“PHP高級工程師的字眼”,如果您真心喜歡PHP,並且您剛起步,那么我簡單說說一個PHP高級工程師應該具備的,希望給初級或已經達到中級的PHP工程師一些幫助。 一、平靜的心態和所有程序員一樣,要寫一手好的程序 ...

Sat Apr 02 20:52:00 CST 2016 4 17705
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM