1、需求說明
需求:
爬取虎嗅網站的所有新聞,並保存到數據庫中。
http://www.huxiu.com
技術:
1、爬蟲
獲取服務器的資源(urllib)
解析html網頁(BeautifulSoup)
2、數據庫技術
數據庫 MySQLdb
業務邏輯的分析:
(1)、虎嗅網站的新聞,包括首頁和分頁信息(下一頁)
(2)、需要從首頁的資源和分頁的資源中獲取每個新聞的url連接
如何獲取url:
解析網站html文件,如果A標簽的href屬性包含 article字段,就表示這是一個新聞
(3)訪問新聞的url,解析出想要的字段
http://www.woaipu.com/shops/zuzhuan/61406
http://www.woaipu.com/shops/zuzhuan/61406