加qq群813622576或vx:tanzhouyiwan免費獲取Python視頻教程以及各類PDF！
爬蟲小工具
-
downloader.py:文件下載小助手
一個可以用於下載圖片、視頻、文件的小工具，有下載進度顯示功能。稍加修改即可添加到自己的爬蟲中。
動態示意圖：
爬蟲實戰
1、biqukan.py：《筆趣看》盜版小說網站，爬取小說工具
第三方依賴庫安裝：
pip3 install beautifulsoup4
使用方法：
python biqukan.py
2、video_downloader：愛奇藝等主流視頻網站的VIP視頻破解助手(暫只支持PC和手機在線觀看VIP視頻！)
感謝Python3二維碼生成器作者：https://github.com/sylnsfar/qrcode
編譯好的軟件下載連接：https://pan.baidu.com/s/1bqSTNJL 密碼:p8bs
解壓密碼：cuijiahua.com
無需Python3環境，在Windows下，解壓即用！軟件使用方法
源碼可查看video_downloader，運行源碼需要搭建Python3環境，並安裝相應第三方依賴庫：
在video_downloader文件夾下，安裝第三方依賴庫：
pip3 install -r requirements.txt
使用方法：
python movie_downloader.py
運行環境：
-
Windows, Python3
-
Linux, Python3
-
Mac, Python3
3、baiduwenku.py：百度文庫word文章爬取
4、shuaia.py：爬取《帥啊》網，帥哥圖片
第三方依賴庫安裝：
pip3 install requests beautifulsoup4
5、daili.py：構建代理IP池
6、carton：使用Scrapy爬取《火影忍者》漫畫
代碼可以爬取整個《火影忍者》漫畫所有章節的內容，保存到本地。更改地址，可以爬取其他漫畫。保存地址可以在settings.py中修改。
動漫網站：http://comic.kukudm.com/
7、hero.py：《王者榮耀》推薦出裝查詢小助手
網頁爬取已經會了，想過爬取手機APP里的內容嗎？
8、financical.py： 財務報表下載小助手
爬取的數據存入數據庫會嗎？《跟股神巴菲特學習炒股之財務報表入庫(MySQL)》也許能給你一些思路。
動態示意圖：
9、one_hour_spider：一小時入門Python3網絡爬蟲。
原理說明:
本次實戰內容有：
-
網絡小說下載(靜態網站)-biqukan
-
優美壁紙下載(動態網站)-unsplash
-
愛奇藝VIP視頻下載
10、douyin.py：抖音App視頻下載
抖音App的視頻下載，就是普通的App爬取。
11、douyin_pro：抖音App視頻下載（升級版）
抖音App的視頻下載，添加視頻解析網站，支持無水印視頻下載，使用第三方平台解析。
12、douyin_pro_2：抖音App視頻下載（升級版2）
抖音App的視頻下載，添加視頻解析網站，支持無水印視頻下載，通過url解析，無需第三方平台。
13、geetest.py：GEETEST驗證碼破解
爬蟲最大的敵人之一是什么？沒錯，驗證碼！Geetest作為提供驗證碼服務的行家，市場占有率還是蠻高的。遇到Geetest提供的滑動驗證碼怎么破？授人予魚不如授人予漁，接下來就為大家呈現本教程的精彩內容。
動態示意圖：
14、12306.py:用Python搶火車票簡單代碼
可以自己慢慢豐富，蠻簡單，有爬蟲基礎很好操作，沒有原理說明。
15、baiwan：百萬英雄輔助答題
效果圖：
功能介紹：
-
服務器端，使用Python（baiwan.py）通過抓包獲得的接口獲取答題數據，解析之后通過百度知道搜索接口匹配答案，將最終匹配的結果寫入文件（file.txt)。
-
手機抓包不會的朋友，可以看下我的早期手機APP抓包教程。
-
Node.js（app.js）每隔1s讀取一次file.txt文件，並將讀取結果通過socket.io推送給客戶端（index.html）。
-
親測答題延時在3s左右。
-
聲明：沒做過后端和前端，花了一天時間，現學現賣弄好的，javascript也是現看現用，百度的程序，調試調試而已。可能有很多用法比較low的地方，用法不對，請勿見怪，有大牛感興趣，可以自行完善。
16、Netease:根據歌單下載網易雲音樂
效果圖：
功能介紹：根據music_list.txt文件里的歌單的信息下載網易雲音樂，將自己喜歡的音樂進行批量下載。
17、bilibili：B站視頻和彈幕批量下載
使用說明：
python bilibili.py -d 貓 -k 貓 -p 10
三個參數：
-d 保存視頻的文件夾名
-k B站搜索的關鍵字
-p 下載搜索結果前多少頁