一、爬蟲基本原理
1、爬蟲是什么
#1、什么是互聯網？ 互聯網是由網絡設備（網線，路由器，交換機，防火牆等等）和一台台計算機連接而成，像一張網一樣。 #2、互聯網建立的目的？ 互聯網的核心價值在於數據的共享/傳遞：數據是存放於一台台計算機上的，而將計算機互聯到一起的目的就是為了能夠方便彼此之間的數據共享/傳遞，
否則你只能拿U盤去別人的計算機上拷貝數據了。 #3、什么是上網？爬蟲要做的是什么？ 我們所謂的上網便是由用戶端計算機發送請求給目標計算機，將目標計算機的數據下載到本地的過程。 #3.1 用戶獲取網絡數據的方式一般是： 瀏覽器提交請求->下載網頁代碼->解析/渲染成頁面。 #3.2 而爬蟲程序要做的就是： 模擬瀏覽器發送請求->下載網頁代碼->只提取有用的數據->存放於數據庫或文件中 #3.1與3.2的區別在於: 我們的爬蟲程序只提取網頁代碼中對我們有用的數據 #4、總結爬蟲#4.1 爬蟲的定義： 向網站發起請求，獲取資源后分析並提取有用數據的程序 #4.2 爬蟲的價值： 互聯網中最有價值的便是數據，比如天貓商城的商品信息，鏈家網的租房信息，雪球網的證券投資信息等等，這些數據都代表了各個行業的真金白銀，可以說，
誰掌握了行業內的第一手數據，誰就成了整個行業的主宰，如果把整個互聯網的數據比喻為一座寶藏，那我們的爬蟲課程就是來教大家如何來高效地挖掘這些寶藏，掌握了爬蟲技能，
你就成了所有互聯網信息公司幕后的老板，換言之，它們都在免費為你提供有價值的數據。
2、爬蟲的基本流程
#1、發起請求 使用http庫向目標站點發起請求，即發送一個Request Request包含：請求頭、請求體等 #2、獲取響應內容 如果服務器能正常響應，則會得到一個Response Response包含：html，json，圖片，視頻等 #3、解析內容 解析html數據：正則表達式，第三方解析庫如Beautifulsoup，pyquery等 解析json數據：json模塊 解析二進制數據:以b的方式寫入文件 #4、保存數據 數據庫 文件
3、請求與響應
#Request：用戶將自己的信息通過瀏覽器（socket client）發送給服務器（socket server） #Response：服務器接收請求，分析用戶發來的請求信息，然后返回數據（返回的數據中可能包含其他鏈接，如：圖片，js，css等） #ps：瀏覽器在接收Response后，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求然后接收Response后，只提取自己想要的數據。
4、requests模塊
引子：使用request模塊進行請求時需要注意4點：請求方式，請求url，請求頭和請求體。
1）基於GET請求
a、基本請求
import requests response=requests.get('http://dig.chouti.com/') print(response.text)
b、帶參數的GET請求->params
#在請求頭內將自己偽裝成瀏覽器，否則百度不會正常返回頁面內容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1', headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', }) print(response.text) #如果查詢關鍵詞是中文或者有其他特殊符號，則不得不進行url編碼 from urllib.parse import urlencode wd='egon老師' encode_res=urlencode({'k':wd},encoding='utf-8') keyword=encode_res.split('=')[1] print(keyword) # 然后拼接成url url='https://www.baidu.com/s?wd=%s&pn=1' %keyword response=requests.get(url, headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', }) res1=response.text
#上述操作可以用requests模塊的一個params參數搞定，本質還是調用urlencode from urllib.parse import urlencode wd='egon老師' pn=1 response=requests.get('https://www.baidu.com/s', params={ 'wd':wd, 'pn':pn }, headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', }) res2=response.text #驗證結果，打開a.html與b.html頁面內容一樣 with open('a.html','w',encoding='utf-8') as f: f.write(res1) with open('b.html', 'w', encoding='utf-8') as f: f.write(res2)
c、帶參數的GET請求->headers
#通常我們在發送請求時都需要帶上請求頭，請求頭是將自身偽裝成瀏覽器的關鍵，常見的有用的請求頭如下 Host Referer #大型網站通常都會根據該參數判斷請求的來源 User-Agent #客戶端 Cookie #Cookie信息雖然包含在請求頭里，但requests模塊有單獨的參數來處理他，headers={}內就不要放它了
#添加headers(瀏覽器會識別請求頭,不加可能會被拒絕訪問,比如訪問https://www.zhihu.com/explore) import requests response=requests.get('https://www.zhihu.com/explore') response.status_code #500 #加上headers headers={ 'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36', } respone=requests.get('https://www.zhihu.com/explore', headers=headers) print(respone.status_code) #200
d、帶參數的GET請求->cookies#登錄github，然后從瀏覽器中獲取cookies，以后就可以直接拿着cookie登錄了，無需輸入用戶名密碼
#示例數據，並無實際意義：用戶名:ming 郵箱123456789@qq.com 密碼ming@123 import requests
Cookies={ 'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',} response=requests.get('https://github.com/settings/emails', cookies=Cookies) #github對請求頭沒有什么限制，我們無需定制user-agent，對於其他網站可能還需要定制 print('123456789@qq.com' in response.text) #True
#可使用requests.session()來處理cookie
session=requests.session()
Cookies={ 'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',} response=requests.get('https://github.com/settings/emails') #此時不需要設置cookie
2）基於POST請求
a、介紹
#GET請求 HTTP默認的請求方法就是GET * 沒有請求體 * 數據必須在1K之內！ * GET請求數據會暴露在瀏覽器的地址欄中 GET請求常用的操作： 1. 在瀏覽器的地址欄中直接給出URL，那么就一定是GET請求 2. 點擊頁面上的超鏈接也一定是GET請求 3. 提交表單時，表單默認使用GET請求，但可以設置為POST #POST請求 (1). 數據不會出現在地址欄中 (2). 數據的大小沒有上限 (3). 有請求體 (4). 請求體中如果存在中文，會使用URL編碼！ #！！！requests.post()用法有一個獨有的data參數,用來存放請求體的數據，其余與requests.get()一致
b、發送POST請求，模擬瀏覽器的登錄行為，登錄Github
''' 一 目標站點分析 瀏覽器輸入https://github.com/login 然后輸入錯誤的賬號密碼，抓包 發現登錄行為是post提交到：https://github.com/session 發現請求頭包含cookie 發現請求體包含： commit:Sign in utf8:✓ authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ== login:egonlin password:123 二 流程分析 先GET：https://github.com/login拿到初始cookie與authenticity_token 然后POST：https://github.com/session， 帶上初始cookie，帶上請求體（authenticity_token，用戶名，密碼等） 最后拿到登錄狀態的cookie ps：如果密碼是密文形式，則可以先輸錯賬號，輸對密碼，然后到瀏覽器中拿到加密后的密碼，github的密碼是明文 ''' import requests import re #第一次請求 r1=requests.get('https://github.com/login') r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授權) authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #從頁面中拿到authenticity_token #第二次請求：帶着初始cookie和TOKEN發送POST請求給登錄頁面，帶上賬號密碼 data={ 'commit':'Sign in', 'utf8':'✓', 'authenticity_token':authenticity_token, 'login':'m807527595', 'password':'123456' } r2=requests.post('https://github.com/session', data=data, cookies=r1_cookie ) login_cookie=r2.cookies.get_dict() #第三次請求：以后的登錄，拿着login_cookie就可以,比如訪問一些個人配置 r3=requests.get('https://github.com/settings/emails', cookies=login_cookie) print('m807527595' in r3.text) #True
import requests import re session=requests.session() #第一次請求 r1=session.get('https://github.com/login') authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #從頁面中拿到authenticity_token #第二次請求 data={ 'commit':'Sign in', 'utf8':'✓', 'authenticity_token':authenticity_token, 'login':'m807527595', 'password':'123456' } r2=session.post('https://github.com/session', data=data, ) #第三次請求 r3=session.get('https://github.com/settings/emails') print('m807527595' in r3.text) #True requests.session()自動幫我們保存cookie信息
4、Response響應
import requests respone=requests.get('http://www.jianshu.com') # respone屬性 print(respone.text) # 獲取響應的頁面內容 print(respone.content) # 獲取二進制頁面內容 print(respone.status_code) # 獲取響應狀態碼 print(respone.headers) # 獲取來自服務器的與此響應關聯的標頭。 print(respone.cookies) # 獲取或設置與此響應關聯的 cookie。 print(respone.cookies.get_dict()) # 獲取字典形式的cookie print(respone.url) # 獲取響應的url地址 print(respone.history) # 通過這個方法可以查看這個響應頁面是從哪個url跳轉過來的 print(respone.encoding) # 獲取響應內容的編碼格式 #關閉：response.close() from contextlib import closing with closing(requests.get('xxx',stream=True)) as response: for line in response.iter_content(): pass