爬蟲是我接觸計算機編程的入門。哥當年寫第一行代碼的時候別提有多痛苦。
本文旨在用一篇文章說透爬蟲如何自學可以達到找工作的要求。
爬蟲的學習就是跟着實際項目去學,每個項目會涉及到不同的知識點,項目做多了,自然也就會了。練練練!!!!
本文推薦的資源就是以項目練習帶動爬蟲學習,囊括了大部分爬蟲工程師要求的知識點。
爬蟲工程師要求知識點
1、python入門和進階(進階的包括多進程等等)
2、HTTP知識(因為要爬的是網頁,所以要了解網頁)
2、web前端:HTML、CSS、Javascript等
3、爬蟲知識(爬蟲基本庫的使用、scrapy框架等)
4、反爬蟲(代理池、分布式等等)
5、數據庫(大批量數據的儲存涉及mysql等)
先導知識
HTTP協議:https://www.cnblogs.com/ranyonsue/p/5984001.html
html,css,javascript:學爬蟲這些東西是肯定要看的,推薦W3school,倒也不用全看,懂個大概就好了
最佳學習資源推薦
前期教程:https://cuiqingcai.com/1052.html(現今網上最全的爬蟲學習教程)
目錄列表:


但是,只學完上面是不夠找工作的,所以我整理了下面的資料,是我花了幾個月時間自學,精選來的教程,重中之重。包含知識點:IP代理、mongoDB、mysql、抓包、分布式、selenium、模擬登陸、cookie等等
爬蟲實戰項目一,涉及知識點:mysql儲存、斷點續爬、抓包app、ip代理、cookie模擬登陸
1、https://zhuanlan.zhihu.com/p/26810901
2、https://zhuanlan.zhihu.com/p/26527575
3、https://www.cnblogs.com/hearzeus/p/5157016.html
4、https://www.jianshu.com/p/887af1ab4200
爬蟲實戰項目二,涉及知識點:scrapy具體應用
scrapy知識點:https://www.cnblogs.com/cnkai/category/1061919.html
scrapy中文文檔:https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html
scrapy項目實戰:https://www.cnblogs.com/cnkai/category/1062011.html
補充:https://segmentfault.com/a/1190000009321902
爬蟲實戰項目三,涉及知識點:去重、分布式、多進程、模擬登陸
1、https://cuiqingcai.com/4352.html
數據庫,掌握基本用法即可
mysql:http://www.runoob.com/mysql/mysql-tutorial.html
mongodb:http://www.runoob.com/mongodb/mongodb-tutorial.html
找工作必備
計算機基礎,包含(數據結構與算法、計算機網絡協議等計算機專業基本課程、我前面的文章里有介紹怎么學),非計算機專業學生容易忽略
其他技能(可選,加分)
javascript,驗證碼,app破解
1、要想破解加密,得非常強悍的javascript基礎,這個我也不是很懂
2、驗證碼,工業界目前破解驗證碼還是用打碼平台
3、現在不僅僅是網站破解了,很多公司需要你抓app的數據,抓包最常用,你還得會app脫殼之類的,這些我就不懂了。
拓展閱讀:
一文了解爬蟲與反爬蟲
https://segmentfault.com/a/1190000005840672
最后,請注意,爬蟲的工作機會相對較少。
文章發布,討論學習,公眾號:learningthem