Golang 簡單爬蟲實現,爬取小說


為什么要使用Go寫爬蟲呢?
對於我而言,這僅僅是練習Golang的一種方式。
所以,我沒有使用爬蟲框架,雖然其很高效。

為什么我要寫這篇文章?
將我在寫爬蟲時找到資料做一個總結,希望對於想使用Golang寫爬蟲的你能有一些幫助。


爬蟲主要需要解決兩個問題:

  1. 獲取網頁
  2. 解析網頁

如果這兩個都無法解決的話就沒法再討論其他了。

開發一個爬取小說網站的爬蟲會是一個不錯的實踐。


這是兩個實例:

Golang 簡單爬蟲實現

golang 用/x/net/html寫的小爬蟲,爬小說

這是需要的兩個項目:

goquery

mahonia

這里還是得特別提醒一下,一定要將其他編碼轉換為UTF-8編碼,否則會出現一些奇怪的問題。
可以參考這篇:golang 中文網頁亂碼處理及解析


這里我還要推一下我自己寫的爬蟲,雖然很簡陋,但好在能用(〃∀〃)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM