已經快一年沒有寫博客了，實在是太忙了，忙到已經沒有時間寫文章。近半年的時間一直在忙着一個新項目，最近終於有了階段性成果，覺得很有必要寫寫文章來記錄一下這個新的項目。趁着這兩天趕路的空閑時間記錄分享一下項目的經驗和過程。 　　(一) 這是一個什么類型的項目 　　　　其實自己做吉 ...

分享一個某代理網站的免費代理ip的爬蟲，直接復制到pycharm運行就可以了。 注意：爬取的代理ip有點坑，因為是免費的所以過期時間很快，可能1分鍾后就會失效。並且在scrapy使用這些代理ip還會給你打印一堆廣告。且用且珍惜。 ...

發現個不錯Fofa工具，轉載分享一波，僅供學習代碼使用。 作者鏈接 相關用法 腳本源碼 ...

1　什么是網絡爬蟲 網絡爬蟲是指從網站提取數據的技術，該技術可以將非結構化數據轉換為結構化數據。 網絡爬蟲的用途是從網站提取數據，提取的數據可以存儲到本地文件並保存在系統中，也可以將其以表格的形式存儲到數據庫中。網絡爬蟲使用HTTP或Web瀏覽器直接訪問萬維網（WWW）。網絡 ...

這兩天 有小伙伴問小帥b 為什么我爬取 xx 網站的時候 不返回給我數據 而且還甩一句話給我 “系統檢 ...

沒有那么難的，嘿嘿，說起來呢其實挺簡單的，或者不能叫爬蟲，只需要將自己的數據加載到程序里再進行解析就可以了，如果說你的Qzone是向所有人開放的，那么就有一個JSONP的接口，這么說來就簡單了，也就不用我們再利用phantomjs，緩慢的爬了。其實程序還沒有做的太過完美，只是簡單地可以打印出來說說 ...

*** 大家圖片看不到的可以訪問這個地址哈（都是微信圖片封鎖的鍋）， https://mp.weixin.qq.com/s/JaCg3sb-OqGzUI06LNJj_A 或 ...

　　這幾天在忙一個爬蟲程序，一直在改進他，從一開始的單線程，好幾秒一張圖片(網絡不好)，，，到現在每秒鍾十幾張圖片，，， 四個小時586萬條數據，，，簡直不要太爽 先上圖 　　 　　最終寫出來的程序，線程數已經可以動態調整了，賊暴力。。。峰值能穩定在50個線程，具體思路可以繼續 ...