最近做了一個WIFI傳書本地閱讀功能，有所收獲在這里記錄下吧。 用戶下載的書籍分為兩種，一種是有章節格式的，比如 第一章，001章、等，這種可以用正則來直接分章節，還有絕大多數書籍是沒有這種格式的，這種如果整本書來直接解析的話，對CPU要求比較大，可能會卡死閃退，所有手動分章節還是很有必要 ...

今天我們爬取網頁中的文字，與上次的爬取網頁中的圖片相似，網頁的中的文字也是在網頁的源碼中（一般情況下）。 所以我們就以在某小說網站上爬取小說《聖墟》為例，使用爬蟲爬取網頁中的文本內容，並根據小說的章節名保存。 我們的思路如下： 　　1.爬取當前網頁的源碼： 　　2.提取出需要的數據（標題 ...

利用Python爬蟲爬取目標小說並保存到本地 小說地址：http://book.zongheng.com/showchapter/749819.html（目錄地址） 通過小說目錄獲取小說所有章節對應的url地址，然后逐個訪問解析得到每一章節小說的內容，最后保存到本地文件內 文章中的代碼 ...

在學爬蟲之前, 最好有一些html基礎, 才能更好的分析網頁. 主要是五步: 1. 獲取鏈接 2. 正則匹配 3. 獲取內容 4. 處理內容 5. 寫入文件 代碼如下: ...

從某些網站看小說的時候經常出現垃圾廣告，一氣之下寫個爬蟲，把小說鏈接抓取下來保存到txt，用requests_html全部搞定，代碼簡單，容易上手. 中間遇到最大的問題就是編碼問題，第一抓取下來的小說內容保持到txt時出現亂碼，第二url編碼問題，第三UnicodeEncodeError 先貼 ...

臨時寫的代碼，比較亂，還有待於優化。 思路是一行一行的讀取txt文本，利用小說 “第三章 桌下的手” 這種類似的關鍵字來分拆章節 最后生成兩個數組 ...

用途 用來爬小說網站的小說默認是這本御天邪神，雖然我並沒有看小說，但是絲毫不妨礙我用爬蟲來爬小說啊。 如果下載不到txt，那不如自己把txt爬下來好了。 功能 將小說取回，去除HTML標簽 記錄已爬過/未爬過的章節 從最后爬過那一頁開始繼續爬，不會重復爬取爬過的目錄 因為爬過 ...

　　此程序只是單純的為了練習而做，首先這個頂點小說非收費型的那種小說網站（咳咳，我們應該支持正版，正版萬歲，✌）。經常在這個網站看小說，所以就光榮的選擇了這個網站。此外，其實里面是自帶下載功能的，而且支持各種格式:（TXT,CHM,UMD,JAR,APK,HTML),所以可能也並沒有設置什么反爬 ...