用golang 實現一個代理池

背景 寫爬蟲的時候總會遇到爬取速度過快而被封IP的情況，這個時候就需要使用代理了。在https://github.com/henson/ProxyPool 的啟發下，決定自己實現一個代理池。項目已經 ...

自動爬取網上免費代理實戰：爬取模塊篇

1. 爬取模塊說明 爬取模塊篇，主要從網上找到一些免費代理網站，網站內僅開放的一點免費代理抓取下來，爬取下來能用的代理可謂稀少，假設從一個代理網站首頁爬取20個免費代理，經過測試后剩下1、2個可用， ...

爬蟲入門到放棄系列05：從程序模塊設計到代理IP池

前言 上篇文章吧啦吧啦講了一些有的沒的，現在還是回到主題寫點技術相關的。本篇文章作為基礎爬蟲知識的最后一篇，將以爬蟲程序的模塊設計來完結。 在我漫(liang)長(nian)的爬蟲開發生涯中，我通 ...