最近在網上學習一門關於scrapy爬蟲的課程，覺得還不錯，以下是目錄還在更新中，我覺得有必要好好的做下筆記，研究研究。
第1章 課程介紹
- 1-1 python分布式爬蟲打造搜索引擎簡介 07:23
- 2-1 pycharm的安裝和簡單使用 10:27
- 2-2 mysql和navicat的安裝和使用 16:20
- 2-3 windows和linux下安裝python2和python3 06:49
- 2-4 虛擬環境的安裝和配置 30:53
- 4-1 scrapy安裝以及目錄結構介紹 22:33
- 4-2 pycharm 調試scrapy 執行流程 12:35
- 4-3 xpath的用法 - 1 22:17
- 4-4 xpath的用法 - 2 19:00
- 4-5 xpath的用法 - 3 21:22
- 4-6 css選擇器實現字段解析 - 1 17:21
- 4-7 css選擇器實現字段解析 - 2 16:31
- 4-8 編寫spider爬取jobbole的所有文章 - 1 15:40
- 4-9 編寫spider爬取jobbole的所有文章 - 2 09:45
- 4-10 items設計 - 1 14:49
- 4-11 items設計 - 2 15:45
- 4-12 items設計 - 3 17:05
- 4-13 數據表設計和保存item到json文件 18:17
- 4-14 通過pipeline保存數據到mysql - 1 18:41
- 4-15 通過pipeline保存數據到mysql - 2 17:58
- 4-16 scrapy item loader機制 - 1 17:26
- 4-17 scrapy item loader機制- 2 20:31
- 5-1 session和cookie自動登錄機制 20:10
- 5-2 requests模擬登陸知乎 - 1 13:32
- 5-3 requests模擬登陸知乎 - 2 13:16
- 5-4 requests模擬登陸知乎 - 3 12:21
- 5-5 scrapy模擬知乎登錄 20:46
- 5-6 知乎分析以及數據表設計1 15:17
- 5-7 知乎分析以及數據表設計 - 2 13:35
- 5-8 item loder方式提取question - 1 14:57
- 5-9 item loder方式提取question - 2 15:20
- 5-10 item loder方式提取question - 3 06:45
- 5-11 知乎spider爬蟲邏輯的實現以及answer的提取 - 1 15:54
- 5-12 知乎spider爬蟲邏輯的實現以及answer的提取 - 2 17:04
- 5-13 保存數據到mysql中 -1 17:27
- 5-14 保存數據到mysql中 -2 17:22
- 5-15 保存數據到mysql中 -3 16:09
- 5-16 (補充小節)知乎驗證碼登錄 - 1_1 16:41
- 5-17 (補充小節)知乎驗證碼登錄 - 2_1 10:32
- 7-1 爬蟲和反爬的對抗過程以及策略 20:17
- 7-2 scrapy架構源碼分析 10:45
- 7-3 Requests和Response介紹 10:18
- 7-4 通過downloadmiddleware隨機更換user-agent-1 17:00
- 7-5 通過downloadmiddleware隨機更換user-agent - 2 17:13
- 7-6 scrapy實現ip代理池 - 1 16:51
- 7-7 scrapy實現ip代理池 - 2 17:39
- 7-8 scrapy實現ip代理池 - 3 18:46
- 7-9 雲打碼實現驗證碼識別 22:37
- 7-10 cookie禁用、自動限速、自定義spider的settings 07:22
- 8-1 selenium動態網頁請求與模擬登錄知乎 21:24
- 8-2 selenium模擬登錄微博， 模擬鼠標下拉 11:06
- 8-3 chromedriver不加載圖片、phantomjs獲取動態網頁 09:59
- 8-4 selenium集成到scrapy中 19:43
- 8-5 其余動態網頁獲取技術介紹-chrome無界面運行、scrapy-splash、selenium-grid, splinter 07:50
- 8-6 scrapy的暫停與重啟 12:58
- 8-7 scrapy url去重原理 05:45
- 8-8 scrapy telnet服務 07:37
- 8-9 spider middleware 詳解 15:25
- 8-10 scrapy的數據收集 13:44
- 8-11 scrapy信號詳解 13:05
- 8-12 scrapy擴展開發 13:16
第9章 scrapy-redis分布式爬蟲（實戰項目）
- 9-1 分布式爬蟲要點 08:39
- 9-2 redis基礎知識 - 1 20:31
- 9-3 redis基礎知識 - 2 15:58
- 9-4 scrapy-redis編寫分布式爬蟲代碼 21:06
- 9-5 scrapy源碼解析-connection.py、defaults.py- 11:05
- 9-6 scrapy-redis源碼剖析-dupefilter.py- 05:29
- 9-7 scrapy-redis源碼剖析- pipelines.py、 queue.py- 10:41
- 9-8 scrapy-redis源碼分析- scheduler.py、spider.py- 11:52
- 9-9 集成bloomfilter到scrapy-redis中 19:30
- 10-1 elasticsearch介紹 18:21
- 10-2 elasticsearch安裝 13:24
- 10-3 elasticsearch-head插件以及kibana的安裝 24:09
- 10-4 elasticsearch的基本概念 12:15
- 10-5 倒排索引 11:24
- 10-6 elasticsearch 基本的索引和文檔CRUD操作 18:44
- 10-7 elasticsearch的mget和bulk批量操作 12:36
- 10-8 elasticsearch的mapping映射管理 21:03
- 10-9 elasticsearch的簡單查詢 - 1 14:56
- 10-10 elasticsearch的簡單查詢 - 2 11:12
- 10-11 elasticsearch的bool組合查詢 22:58
- 10-12 scrapy寫入數據到elasticsearch中 - 1 14:16
- 10-13 scrapy寫入數據到elasticsearch中 - 2 11:15
- 11-1 es完成搜索建議-搜索建議字段保存 - 1 13:45
- 11-2 es完成搜索建議-搜索建議字段保存 - 2 13:34
- 11-3 django實現elasticsearch的搜索建議 - 1 19:57
- 11-4 django實現elasticsearch的搜索建議 - 2 18:15
- 11-5 django實現elasticsearch的搜索功能 -1 14:06
- 11-6 django實現elasticsearch的搜索功能 -2 13:14
- 11-7 django實現搜索結果分頁 09:12
- 11-8 搜索記錄、熱門搜索功能實現 - 1 14:34
- 11-9 搜索記錄、熱門搜索功能實現 - 2 14:04
- 13-1 課程總結 05:55
覺得好就點個推薦吧！