目錄
1. urllib.request的基本使用
所謂網頁抓取，就是把URL地址中指定的網絡資源從網絡流中抓取出來。在Python中有很多庫可以用來抓取網頁，我們先學習urllib.request。
Python模塊源代碼： C:\Users\haoch\Anaconda3\Lib
urllib.request源代碼:C:\Users\haoch\Anaconda3\Lib\urllib\request.py
1.1 urlopen
我們先來看源代碼
# data沒寫-> get請求，否則是Post請求
def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
*, cafile=None, capath=None, cadefault=False, context=None):
global _opener
if cafile or capath or cadefault:
import warnings
warnings.warn("cafile, cpath and cadefault are deprecated, use a "
"custom context instead.", DeprecationWarning, 2)
if context is not None:
raise ValueError(
"You can't pass both context and any of cafile, capath, and "
"cadefault"
)
if not _have_ssl:
raise ValueError('SSL support not available')
# 知識點1： 做SSL認證
context = ssl.create_default_context(ssl.Purpose.SERVER_AUTH,
cafile=cafile,
capath=capath)
# 知識點2： 通過HTTPS處理器創建處理器對象
https_handler = HTTPSHandler(context=context)
# 知識點3： 將處理器對象包進去
opener = build_opener(https_handler)
elif context:
https_handler = HTTPSHandler(context=context)
opener = build_opener(https_handler)
elif _opener is None:
_opener = opener = build_opener()
else:
opener = _opener
# 知識點4： 自定義的open方法
return opener.open(url, data, timeout)
1.2. 用urlopen來獲取網絡源代碼
# 導入urllib2 庫
import urllib.request
# 向指定的url發送請求，並返回服務器響應的類文件對象
response = urllib.request.urlopen("http://www.baidu.com/")
# 類文件對象支持 文件對象的操作方法，如read()方法讀取文件全部內容，返回字符串
html = response.read()
print(html)
實際上，如果我們在瀏覽器上打開百度主頁， 右鍵選擇“查看源代碼”，你會發現，跟我們剛才打印出來的是一模一樣。也就是說，上面的4行代碼就已經幫我們把百度的首頁的全部代碼爬了下來。
1.3. urllib.request.Request的使用
如果需要執行更復雜的操作，比如增加HTTP報頭，必須創建一個 Request 實例來作為urlopen()的參數；而需要訪問的url地址則作為 Request 實例的參數。
import urllib.request
# url 作為Request()方法的參數，構造並返回一個Request對象
request = urllib.request.Request("http://www.baidu.com")
# Request對象作為urlopen()方法的參數，發送給服務器並接收響應
response = urllib.request.urlopen(request)
html = response.read()
print html
不加user-agent-請求信息
GET http://www.baidu.com/ HTTP/1.1
Accept-Encoding: identity
Host: www.baidu.com
User-Agent: Python-urllib/3.7
Connection: close
2. User-Ageng的使用-模擬瀏覽器發送請求
上面的例子中有一個最大缺點是不能給請求添加head，不能更改User-Agent的默認值，那么urlopen中User-Agent的值是什么呢，讓我們來看源代碼
class OpenerDirector:
def __init__(self):
# __version__ = '%d.%d' % sys.version_info[:2]--->sys.version[:3] = 3.7
client_version = "Python-urllib/%s" % __version__
# client_version = Python-urllib 3.7
self.addheaders = [('User-agent', client_version)]
# self.handlers is retained only for backward compatibility
self.handlers = []
# manage the individual handlers
self.handle_open = {}
self.handle_error = {}
self.process_response = {}
self.process_request = {}
urllib2默認的 User-Agent:Python-urllib 3.7，被管理員看到后，容易被封IP，應該重構我們的User-Agent
2.1) 為什么要用User-Agent?
我們用一個合法的身份去請求別人網站，顯然人家就是歡迎的，所以我們就應該給我們的這個代碼加上一個身份，就是所謂的User-Agent頭。
- 瀏覽器 就是互聯網世界上公認被允許的身份，如果我們希望我們的爬蟲程序更像一個真實用戶，那我們第一步就是需要偽裝成一個被瀏覽器。用不同的瀏覽器在發送請求的時候，會有不同的 User-Agent 報頭。
- urllib.request默認的User-Agent頭為：Python-urllib/x.y （x和y 是Python 主.次 版本號，例如 Python-urllib/3.7）
2.2) 如何添加User-Agent信息到請求中去？
首先我們用抓包工具抓取請求，在其中獲取User-Agent的值
GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache
Upgrade-Insecure-Requests: 1
# User-Agent 最重要的東西，必須寫的東西
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36
# 獲取的數據類型
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
# 壓縮方式（一定不能寫的，麻煩）
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,en-CA;q=0.6
Cookie: BAIDUID=4F583A04A0193EBE0C9849C551B9305C:FG=1; BIDUPSID=4F583A04A0193EBE0C9849C551B9305C; PSTM=1545978093; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; __cfduid=d7aafabcd6ccc970c2d47e9e205fc3c851546334654; cflag=13%3A3; delPer=0; BD_HOME=0; H_PS_PSSID=1440_21082_28205_28132_27245_27509
x-hd-token: rent-your-own-vps
我們只需要復制User-Agent的值即可，代碼如下：
# IE 9.0 的 User-Agent，包含在 user_agent里
ua_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}
# url 連同 headers，一起構造Request請求，這個請求將附帶 IE9.0 瀏覽器的User-Agent
request = urllib.request.Request("http://www.baidu.com", headers = ua_headers)
# 向服務器發送這個請求
response = urllib.request.urlopen(request)
html = response.read()
html
加user-agent-請求信息
GET http://www.baidu.com/ HTTP/1.1
Accept-Encoding: identity
Host: www.baidu.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36
Connection: close
2.3) 添加更多的User-Ageng和Header的信息
- 添加一個特定的header
import urllib2
url = "http://www.itcast.cn"
#IE 9.0 的 User-Agent
user_agent = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
request = urllib2.Request(url, headers = user_agent)
#也可以通過調用Request.add_header() 添加/修改一個特定的header
request.add_header("Connection", "keep-alive")
# 也可以通過調用Request.get_header()來查看header信息
# request.get_header(header_name="Connection")
response = urllib2.urlopen(request)
print response.code #可以查看響應狀態碼
html = response.read()
print html
- 隨機添加/修改User-Agent
import urllib2
import random
url = "http://www.itcast.cn"
ua_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"
]
user_agent = random.choice(ua_list)
request = urllib2.Request(url)
#也可以通過調用Request.add_header() 添加/修改一個特定的header
request.add_header("User-Agent", user_agent)
# get_header()的字符串參數，第一個字母大寫，后面的全部小寫
request.get_header("User-agent")
response = urllib2.urlopen(request)
html = response.read()
print html
1.5. Response的其他用法
response.read() # 讀取爬取的內容
response.getcode() # 返回HTTP的響應碼， 200=OK
response.geturl() # 返回數據的是具體哪個URL， 防止重定向 'http://www.baidu.com'
response.info() # 返回服務器響應的抱頭信息