摘要：... 2
1 引言 ：... 2
1.1課題研究背景和研究現狀... 2
1.1.1課題背景和目的... 3
1.1.2研究現狀... 4
1.1.2.1語言... 4
1.1.2.2運行環境... 4
1.1.2.3后台爬蟲的三大問題... 4
1.2本課題的爬行策略... 5
1.3主要工作... 5
1.4開發工具及其開發環境... 5
2 基於 python 的網絡爬蟲的設計... 5
2.1爬蟲系統設計需求... 5
2.2 Python 語言... 6
2.3 與爬蟲相關的 python 模塊... 6
3 實驗設計... 7
3.1 scrapy 框架來進行爬取... 7
3.1.1 程序結構... 7
3.2 鏈接的構造... 8
3.3 網頁分析... 8
3.4 數據字段 items.py. 9
3.5 主要運行程序... 9
3.6保存數據。... 9
4 實驗結果：... 9
5 數據分析... 10
6 結語... 12
參考文獻... 12
有需要的給我留言即可