前言
對於一個net開發這爬蟲真真的以前沒有寫過。這段時間開始學習python爬蟲，今天周末無聊寫了一段代碼爬取上海租房圖片，其實很簡短就是利用爬蟲的第三方庫Requests與BeautifulSoup。python 版本：python3.6 ,IDE ：pycharm。其實就幾行代碼，但希望沒有開發基礎的人也能一下子看明白，所以大神請繞行。
第三方庫
首先安裝
我是用的pycharm所以另為的腳本安裝我這就不介紹了。
如上圖打開默認設置選擇Project Interprecter，雙擊pip或者點擊加號，搜索要安裝的第三方庫。其中如果建立的項目多記得Project Interprecter要選擇正確的安裝位置不然無法導入。
Requests庫
requests庫的官方定義：Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。其實他就是請求網絡獲取網頁數據的。
import requests header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} res=requests.get('http://sh.58.com/zufang/',headers=header) try: print(res.text); except ConnectionError: print('訪問被拒絕！！！')
結果如下：
其中Request Headers的參數如下：
#headers的一些屬性： #Accept:指定客戶端能夠接收的內容類型，內容類型的先后次序表示客戶都接收的先后次序 #Accept-Lanuage:指定HTTP客戶端瀏覽器用來展示返回信息優先選擇的語言 #Accept-Encoding指定客戶端瀏覽器可以支持的web服務器返回內容壓縮編碼類型。表示允許服務器在將輸出內容發送到客戶端以前進行壓縮，以節約帶寬。而這里設置的就是客戶端瀏覽器所能夠支持的返回壓縮格式。 #Accept-Charset:HTTP客戶端瀏覽器可以接受的字符編碼集 # User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求 # Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。 # application/xml ： 在 XML RPC，如 RESTful/SOAP 調用時使用 # application/json ： 在 JSON RPC 調用時使用 # application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用 # 在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務
BeautifulSoup庫
BeautifulSoup可以輕松的解析Requests庫請求的頁面，並把頁面源代碼解析為Soup文檔，一邊過濾提取數據。這是bs4.2的文檔。
Beautiful Soup支持Python標准庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認的解析器，其中lxml 據說是相對而言比較強大的我下面的暗示是python 標准庫的。
選擇器select
# 選擇所有div標簽 soup.select("div") # 選擇所有p標簽中的第三個標簽 soup.select("p:nth-of-type(3)") 相當於soup.select(p)[2] # 選擇div標簽下的所有img標簽 soup.select("div img") # 選擇div標簽下的直接a子標簽 soup.select("div > a") # 選擇id=link1后的所有兄弟節點標簽 soup.select("#link1 ~ .mybro") # 選擇id=link1后的下一個兄弟節點標簽 soup.select("#link1 + .mybro") # 選擇a標簽，其類屬性為className的標簽 soup.select("a .className") # 選擇a標簽，其id屬性為idName的標簽 soup.select("a #idName") # 選擇a標簽，其屬性中存在attrName的所有標簽 soup.select("a[attrName]") # 選擇a標簽，其屬性href=http://wangyanling.com的所有標簽 soup.select("a[href='http://wangyanling.com']") # 選擇a標簽，其href屬性以http開頭 soup.select('a[href^="http"]') # 選擇a標簽，其href屬性以lacie結尾 soup.select('a[href$="lacie"]') # 選擇a標簽，其href屬性包含.com soup.select('a[href*=".com"]') # 從html中排除某標簽，此時soup中不再有script標簽 [s.extract() for s in soup('script')] # 如果想排除多個呢 [s.extract() for s in soup(['script','fram']
BeautifulSoup庫需要學習的知識點，請參考bs4.2的文檔。在這不再過多敘述。
import requests from bs4 import BeautifulSoup header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} res=requests.get('http://cd.58.com/zufang/',headers=header) soup=BeautifulSoup(res.text,'html.parser') print(soup.prettify())
案例：爬取上海租房圖片
import requests import urllib.request import os import time from bs4 import BeautifulSoup header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'} url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分頁抓取 adminCout=6 for arurl in url: adminCout=adminCout+1 res=requests.get(arurl,headers=header) soup=BeautifulSoup(res.text,'html.parser') arryImg=soup.select('.img_list img') print(arryImg) count = 0; for img in arryImg: print(img['lazy_src']) _url = img['lazy_src'] pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 設置路徑和文件名 result = urllib.request.urlopen(_url) # 打開鏈接，和python2.x不同請注意了 data = result.read() # 否則開始下載到本地 with open(pathName, "wb") as code: code.write(data) code.close() count = count + 1 # 計數+1 print("正在下載第：", count) time.sleep(30)
只是實現功能，至於代碼結果如下：
結語：
對於python並非為了從net跳出來，學習python只是感興趣，但是通過這段時間的學習確實有些思想從net的思路中跳了出來，接下來一年的業余時間應該都會花在學習python上，還希望自己能堅持下去。這應該是2017年最后一篇文章，在這給大家拜個早年。