為什么要使用Go寫爬蟲呢?
對於我而言,這僅僅是練習Golang的一種方式。
所以,我沒有使用爬蟲框架,雖然其很高效。
為什么我要寫這篇文章?
將我在寫爬蟲時找到資料做一個總結,希望對於想使用Golang寫爬蟲的你能有一些幫助。
爬蟲主要需要解決兩個問題:
- 獲取網頁
- 解析網頁
如果這兩個都無法解決的話就沒法再討論其他了。
開發一個爬取小說網站的爬蟲會是一個不錯的實踐。
這是兩個實例:
這是需要的兩個項目:
這里還是得特別提醒一下,一定要將其他編碼轉換為UTF-8編碼,否則會出現一些奇怪的問題。
可以參考這篇:golang 中文網頁亂碼處理及解析
這里我還要推一下我自己寫的爬蟲,雖然很簡陋,但好在能用(〃∀〃)