python urllib.request模塊

python的urllib模塊提供了一系列操作url的功能，可以讓我們通過url打開任意資源。其中比較常用的就是request模塊，本篇主要介紹requset模塊。

urllib子模塊

• urllib.request 打開或請求url

• urllib.error 捕獲處理請求時產生的異常

• urllib.parse 解析url

• urllib.robotparser 用於解析robots.txt文件

robots.txt是一種存放於網站根目錄下文本文件，用來告訴網絡爬蟲服務器上的那些文件可以被查看。又被成為robots協議，是一種約定俗成的協議。

request模塊

function request.urlopen()

urlopen方法用來打開資源url，常用帶參數形式urlopen(url,data=None)，url：資源url，data：攜帶的數據。

方法的返回值始終為一個對象，並可以調用相應的方法獲取返回的信息。其中對於http及https的url來說會返回一個http.client.HTTPResponse對象；

import urllib.request
# 我們用本地的一個簡單html文件來測試
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req)

1. read() 返回服務器返回的原始數據；

import urllib.request

url ='http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.read())

• 我們可以再調用decode()方法來解碼。

import urllib.request

url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.read().decode())

2.geturl() 返回獲取資源的url；

• 創建一個測試頁

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html' 

req = urllib.request.urlopen(url)

print(req.geturl())

• 前端重定向

我們在頁面中添加js腳本重定向頁面window.location.href='http://127.0.0.1:8848/chenjy/test2.html';，會發現訪問的時候會重定向到test2，但是geturl還是獲取的重定向前的

• 后端重定向

我們啟動一個項目並添加一個攔截器當訪問index.html的時候重定向到/ls/html/list.html頁面,geturl獲取的是重定向后的頁面

@Override
    	        public void handle(String target, HttpServletRequest request, HttpServletResponse response, boolean[] isHandled) {
    	            int index = target.lastIndexOf("index.html");
    	    	    if (index != -1){
        	        	HandlerKit.redirect("/ls/html/list.html",request,response,isHandled);
    	    	    }
    	            
    	        }

import urllib.request
url = 'http://localhost:8088/ls/index.html'

req = urllib.request.urlopen(url)

print(req.geturl())

3.info() 返回頁面的元信息；

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.info())

4.getcode() 返回頁面的狀態碼；

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.getcode())

class request.Request

url請求類 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

• url：請求url

• data：請求傳參；bytes字節流

• headers：請求頭

• origin_req_host：請求原始主機；不帶端口

• unverifiable：是否不可驗證；

• method ：請求方法；如GET、POST、PUT等

import urllib.request

# 模擬iphone5請求百度手機版頁面
url = 'https://www.baidu.com/'

user_agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
headers = {
    'User-Agent': user_agent
}

# 抓取page信息
req = urllib.request.Request(url, headers=headers,method='GET')
page = urllib.request.urlopen(req).read().decode('utf-8')

print(page)