創建一個新網站，一開始沒有內容，通常需要抓取其他人的網頁內容，一般的操作步驟如下： 根據url下載網頁內容，針對每個網頁的html結構特征，利用正則表達式，或者其他的方式，做文本解析，提取出想要的正文。 為每個網頁寫特征分析這個還是太耗費開發的時間，我的思路是這樣的。 Python ...

demo2: 推薦使用：Jupyter Notebook 做練習，很方便。 ...

前言： 這是一篇遲到很久的文章了，人真的是越來越懶，前一陣用jsoup實現了一個功能，個人覺得和selenium的webdriver原理類似，所以今天正好有時間，就又來更新分享了。 實現場景： 爬取博客園https://www.cnblogs.com/longronglang，文章列表中標 ...

近日在做爬蟲功能，爬取網頁內容，然后對內容進行語義分析，最后對網頁打標簽，從而判斷訪問該網頁的用戶的屬性。 在爬取內容時，遇到亂碼問題。故需對網頁內容編碼格式做判斷，方式大體分為三種：一、從header標簽中獲取Content-Type=#Charset；二、從meta標簽中獲取 ...

Maven官網：https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit/2.37.0 （一）使用前的配置： 　　1 ...

...

...