今天嘗試了下爬蟲，爬取一本小說，忘語的凡人修仙仙界篇，當然這樣不好，大家要支持正版。 　　爬取過程中是老套路，先獲取網頁源代碼　　 　　結果：亂碼 　　在瀏覽器看下代碼，是gbk編碼，需要進行轉碼，這方面不清楚，查了下資料。　　PS：爬取的所有網頁無論何種編碼格式，都轉化 ...

筆者編寫的搜索引擎爬蟲在爬取頁面時遇到了網頁被重定向的情況，所謂重定向(Redirect)就是通過各種方法（本文提到的為3種）將各種網絡請求重新轉到其它位置（URL）。每個網站主頁是網站資源的入口，當重定向發生在網站主頁時，如果不能正確處理就很有可能會錯失這整個網站的內容。 筆者編寫的爬蟲 ...

escape(), encodeURI()和encodeURIComponent()是在Javascript中用於編碼字符串的三個常用的方法，而他們之間的異同卻困擾了很多的Javascript初學者，今天我就在這里對這三個方法詳細地分析與比較一下。 escape() 方法 MSDN ...

轉義字符 描述 \(在行尾時) 續行符 \\ 反斜杠符號 \' ...

在做網絡爬蟲的時候經常需要unescape得到的html， 因為得到的html經常如下： 在python 3 中如下： from html.parser import HTMLParser html = '<abc>' html_parser = HTMLParser ...

在爬蟲開發時，我們時常會遇到各種BUG各種問題，下面是我初步匯總的一些報錯和解決方案。 在以后的學習中，如果遇到其他問題，我也會在這里進行更新。 各位如有什么補充，歡迎評論區留言~~~ 問題： IP被封，或者因訪問頻率太高被攔截？？？ 解決方案之一： 使用代理IP即可 ...

一、安卓手機安裝tasker軟件增強工具 官網：https://tasker.joaoapps.com/ 網上也有中文版的，自行搜索 1.打開tasker界面，點擊右下加號 2.點 ...

關於爬蟲亂碼有很多各式各樣的問題，這里不僅是中文亂碼，編碼轉換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理，因為解決方式是一致的，故在此統一說明。 網絡爬蟲出現亂碼的原因 源網頁編碼和爬取下來后的編碼格式不一致。如源網頁為gbk編碼的字節流，而我們抓取下后程序直接使用utf-8進行編碼 ...