爬蟲request庫規則與實例

本文轉載自查看原文 2018-02-04 23:46 1220 Python

Request庫的7個主要方法：

requests.request(method,url,**kwargs)

method:請求方式，對應get/put/post等7種；

r = requests.request('GET',url,**kwargs)

r = requests.request('HEAD',url,**kwargs)

......

url:擬獲取頁面的url鏈接；
**kwargs:控制訪問的參數，共13個；均為可選項

params : 字典或字節序列，作為參數增加到url中；
data : 字典、字節序列或文件對象，作為Request的內容
json : JSON格式的數據，作為Request的內容；
headers ：字典，HTTP定制頭；
cookies ：字典或CookieJar、Request中的cookie；
auth：元組，支持HTTP認證功能；
files : 字典類型，傳輸文件；
timeout ：設定超時時間，秒為單位；
proxies : 字典類型，設定訪問代理服務器，可以增加登錄認證；
allow_redirects : True/False，默認為True，重定向開關；
stream: True/False，默認為True，獲取內容立即下載開關；
verify : True/False，默認為True，認證SSL證書開關；
cert : 本地SSL證書路徑；

requests.get(url,params = None,**kwargs)

requests.head(url,**kwargs)

requests.post(url,data = None,params = None,**kwargs)

requests.put(url,data = None,**kwargs)

requests.patch(url,data = None,**kwargs)

requests.delete(url,**kwargs)

requests.get(url,params = None,**kwargs)

url : 擬獲取頁面的url鏈接；

params ：url中的額外參數，字典或字節流格式，可選；

**kwargs ：12個控制訪問的參數；

r = requests.get(url)

Response對象包含爬蟲返回的內容。

Response對象的屬性：

理解Request庫的異常：

r.raise_for_status() 如果不是200，產生異常 requests.HTTPError

HTTP(Hypertext Transfer Protocol)協議：超文本傳輸協議。

HTTP是一個基於“請求與響應”模式的、無狀態的應用層協議；

HTTP協議采用URL作為定位網絡資源的標識，URL格式如下：

http://host:[port][path]

host : 合法的Internet主機域名或IP地址；

port : 端口號，缺省端口為80；

path : 請求資源的路徑。

HTTP協議對資源的操作：

通過URL和命令管理資源，操作無獨立狀態，網絡通道及服務器成為了黑盒子。

理解PATCH和PUT的區別：

假設URL位置有一組數據UserID、UserName等20個字段。

需求：用戶修改了UserName，其他不變。

采用PATCH，僅向URL提交UserName的局部更新請求；

采用PUT，必須將所有20個字段一並提交到URL，未提交字段被刪除。

PATCH最主要的好處：節省網絡帶寬。

HTTP協議與Requests庫：

實例1：京東商品頁面的爬取。

網址：http://item.jd.com/2967929.html

>>> import requests
>>> r = requests.get("http://item.jd.com/2967929.html")
>>> r.status_code
200
>>> r.encoding
'gbk'
>>> r.text[:1000]
'<!DOCTYPE HTML>\n<html lang="zh-CN">\n<head>\n   <!-- shouji -->\n   <meta http-equiv="Content-Type" content="text/html; charset=gbk" />\n   <title>【華為榮耀8】【新年貨】榮耀8 4GB+64GB 全網通4G手機 魅海藍【行情 報價 價格 評測】-京東</title>\n   <meta name="keywords" content="HUAWEI榮耀8,華為榮耀8,華為榮耀8報價,HUAWEI榮耀8報價"/>\n   <meta name="description" content="【華為榮耀8】京東JD.COM提供華為榮耀8正品行貨，並包括HUAWEI榮耀8網購指南，以及華為榮耀8圖片、榮耀8參數、榮耀8評論、榮耀8心得、榮耀8技巧等信息，網購華為榮耀8上京東,放心又輕松" />\n   <meta name="format-detection" content="telephone=no">\n   <meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/2967929.html">\n   <meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/2967929.html">\n   <meta http-equiv="X-UA-Compatible" content="IE=Edge">\n   <link rel="canonical" href="//item.jd.com/2967929.html"/>\n       <link rel="dns-prefetch" href="//misc.360buyimg.com"/>\n   <link rel="dns-prefetch" href="//static.360buyimg.com"/>\n   <link rel="dns-prefetch" href="//img10.360buyimg.com"/>\n   <link rel'

全代碼：


#jd code.py
import requests
url = "http://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失敗")

運行結果：

限制是否能爬蟲的兩種方式：robots協議、判斷http的頭是否為瀏覽器；

實例2：亞馬遜商品頁面的爬取。

網址:http://www.amazon.cn/gp/product/B01M8L5Z3Y


>>> import requests  #引入庫
>>> r = requests.get("http://www.amazon.cn/gp/product/B01M8L5Z3Y")
>>> r.status_code  #讀取返回狀態
200
>>> r.encoding   #查看編碼
'UTF-8'
>>> r.request.headers #讀取http的頭
{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
>>> kv = {'user-agent':'Mozilla/5.0'} #構造鍵值對，模擬瀏覽器；
  #'Mozilla/5.0'是很標准的瀏覽器的身份標識字段
>>> url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
>>> r = requests.get(url,headers = {'user-agent':'Mozilla/5.0'}) 
  #模擬瀏覽器訪問網址
>>> r.status_code
200
>>> r.request.headers  #驗證結果，頭部被修改
{'user-agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
>>> r.text[:1000]
'\n\n\n\n\n\n\n\n \n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n   \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n   \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n   \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n   <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo">\n   <head>\n<script type="text/javascript">var ue_t0=ue_t0||+new Date();</script>\n<script type="text/javascript">\n\nvar ue_hob=+new Date();\nvar ue_id=\'66XSFDDTW64FMKQK42YQ\',\nue_csm = window,\nue_err_chan = \'jserr-rw\',\nue = {};\n(function(d){var e=d.ue=d.ue||{},f=Date.now||function(){return+new Date};e.d=function(b){return f()-(b?0:d.ue_t0)};e.stub=function(b,a){if(!b[a]){var c=[];b[a]=function(){c.push([c.slice.call(arguments),e.d(),d.ue_id])};b[a].replay=function(b){for(var a;a=c.shift();)b(a[0],a[1],a[2])};b[a].isStub=1}};e.exec=function(b,a){return function(){if(1==window.ueinit)try{return b.apply(this,arguments)}catch(c){ueLogError(c,{attribution:a||"undefined",logLevel:"WARN"})}}}})(ue_csm);\n\nue.stub(ue,"log");ue.stub(ue,"onunload");ue.stub(ue,"onflush");\n\n(function(d,e){function h(f,b){if(!(a.ec>a.mxe)&&f){a.ter.pu'

全代碼：


#amazon code.py
import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv = {'user-agent':'Mozilla/5.0'}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000 : 2000])
except:
    print("爬取失敗")

實例3：百度網頁爬取。


>>> import requests
>>> kv = {'wd':'Python'}
>>> r = requests.get("http://www.baidu.com/s",params = kv)
>>> r.status_code
200
>>> r.request.url
'http://www.baidu.com/s?wd=Python'
>>> len(r.text)
312484

全代碼：


#baidu code.py
import requests
keyword = "python"
try:
    kv = {'wd':'Python'}
    r = requests.get("http://www.baidu.com/s",params = kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失敗")

實例4：360瀏覽器網頁爬取。


>>> import requests
>>> kv = {'q':'Python'}
>>> r = requests.get("http://www.so.com/s",params = kv)
>>> r.status_code
200
>>> r.request.url
'https://www.so.com/s?q=Python'
>>> len(r.text)
275843

全代碼：


#360 code.py
import requests
keyword = "python"
try:
    kv = {'q':'Python'}
    r = requests.get("http://www.so.com/s",params = kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失敗")

實例5：網絡圖片的爬取和存儲。

圖片地址：http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg

代碼:


#picture code.py
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
#root = "C:/Users/E5-573G/Desktop/2018寒假/python/爬蟲/圖"   #正常運行，不會出錯。絕對路徑用/
#root = "C:\Users\E5-573G\Desktop\2018寒假\Python\爬蟲\圖"   出現Unicode Error 錯誤，\轉義的放式
root = r"C:\Users\E5-573G\Desktop\2018寒假\Python\爬蟲\圖"   #正常運行，不會出錯。r\不需要轉義
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失敗")

利用爬蟲在淘寶網上查找“python web”向相關的商品：


#Crow TaobaoPrice.py
import requests
import re
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
     
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price , title])
    except:
        print("")
 
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序號", "價格", "商品名稱"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
         
def main():
    goods = 'python web'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
     
main()

運行結果：

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 爬蟲：獲取頁面 -- request庫的使用爬蟲實例爬蟲實例：餓了么爬蟲 python爬蟲之request and BeautifulSoup 爬蟲初識和request使用爬蟲與Python：（三）基本庫的使用——3.網絡請求庫之request使用介紹 python實例：xpath爬蟲實例 python實戰——網絡爬蟲之request request-html 簡單爬蟲爬蟲入門實例