lxml模塊(應用xpath技術)

本文轉載自查看原文 2018-11-17 18:09 718 python/ 數據分析

一、lxml介紹

　　第三方庫lxml是第一款表現出高性能特征的python xml庫，天生支持Xpath1.0、XSLT1.0、定制元素類，甚至python風格的數據綁定接口。lxml是通過Cpython實現的，構建在兩個C庫上（libxml2和libxslt），為執行解析、序列化、轉換等核心任務提供了主要動力，是爬蟲處理網頁數據的一件利器。
　　lxml對xml和html都有很好的支持，分別使用 lxml.etree 和 lxml.html 兩個模塊。

1、安裝第三方lxml模塊

# 通過pip直接下載安裝
pip install lxml

# 通過git克隆源碼進行下載安裝
git clone https://github.com/lxml/lxml.git   lxml

2、lxml.html和lxml.etree模塊

　　lxml.html&lxml.etree這兩個模塊是最常用的HTML文檔和XML文檔解析模塊。
　　HTML(HyperText Markup Language)超文本標記語言。
　　XML(Extensible Markup Language)可擴展標記語言。

3、lxml官方文檔

　　lxml

二、Xpath語法

1、選取節點

　　Xpath使用路徑表達式在XML文檔中選取節點。節點是通過沿着路徑或者step來選取的。常用的路徑表達式如下：

表達式	描述
nodename	選取此節點的所有子節點
/	從根節點選取
//	從匹配選擇的當前節點選擇文檔的節點，而不考慮它們的位置
.	選取當前節點
..	選取當前節點的父節點
@	選取屬性

　　下面為一些路徑表達式及表達式結果：

路徑表達式	結果
bookstore	選取 bookstore 元素的所有子節點
/bookstore	選取根元素 bookstore。注釋：假如路徑起始於正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！
bookstore/book	選取屬於 bookstore 的子元素的所有 book 元素
//book	選取所有 book 子元素，而不管它們在文檔中的位置。
bookstore//book	選擇屬於 bookstore 元素的后代的所有 book 元素，而不管它們位於 bookstore 之下的什么位置。
//@lang	選取名為 lang 的所有屬性。

2、謂語（Predicates）

　　謂語用來查找某個特定的節點或者包含某個指定的值的節點。謂語被嵌在方括號中。
　　下面為一些帶有謂語的路徑表達式，及表達式結果：

路徑表達式	結果
/bookstore/book[1]	選取屬於 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()]	選取屬於 bookstore 子元素的最后一個 book 元素。
/bookstore/book[last()-1]	選取屬於 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()❤️]	選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang=’eng’]	選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。
/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。
/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。

3、選取未知節點

　　XPath通配符可用來選取未知的XML元素。

通配符	描述
*	匹配任何元素節點
@*	匹配任何屬性節點
node()	匹配任何類型的節點

　　下面為一些帶有通配符的路徑表達式，及表達式結果：

路徑表達式	結果
/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取文檔中的所有元素。

4、選取若干路徑

　　通過在路徑表達式中使用“|”運算符，您可以選取若干個路徑。
下面為一些帶有"|"運算符的路徑表達式，及表達式結果：

路徑表達式	結果
//book/title	//book/price
//title	//price
/bookstore/book/title	//price

5、Xpath運算符

　　下面列出了可用再XPath表達式中運算符：

運算符	描述	實例	返回值
		計算兩個節點集	//book
+	加法	6 + 4	10
–	減法	6 – 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等於	price=9.80	如果 price 是 9.80，則返回 true。如果 price 是 9.90，則返回 false。
!=	不等於	price!=9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。
<	小於	price<9.80	如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。
<=	小於或等於	price<=9.80	如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。
>	大於	price>9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。
>=	大於或等於	price>=9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.70，則返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，則返回 true。如果 price 是 9.50，則返回 false。
and	與	price>9.00 and price<9.90	如果 price 是 9.80，則返回 true。如果 price 是 8.50，則返回 false。
mod	計算除法的余數	5 mod 2	1

6、參考文檔

scrapy xpath文檔

三、爬蟲中運用XPath

1、XPath在爬蟲中的使用流程

下載：pip install lxml
導包：from lxml import etree
創建etree對象進行指定數據的解析
- 本地：

etree=etree.parse('本地文件路徑')
etree.xpath('xpath表達式')

- 網絡：

etree=etree.HTML('網絡請求到的頁面數據')
etree.xpath('xpath表達式')

2、常用的Xpath表達式

屬性定位：
    #找到class屬性值為song的div標簽
    //div[@class="song"] 
層級&索引定位：
    #找到class屬性值為tang的div的直系子標簽ul下的第二個子標簽li下的直系子標簽a
    //div[@class="tang"]/ul/li[2]/a
邏輯運算：
    #找到href屬性值為空且class屬性值為du的a標簽
    //a[@href="" and @class="du"]
模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本：
    # /表示獲取某個標簽下的文本內容
    # //表示獲取某個標簽下的文本內容和所有子標簽下的文本內容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取屬性：
    //div[@class="tang"]//li[2]/a/@href

3、使用示例

　　創建本地html文件來測試Xpath數據解析。

（1）test.html

<html lang="en">
<head>
	<meta charset="UTF-8" />
	<title>測試bs4</title>
</head>
<body>
	<div>
		<p>百里守約</p>
	</div>
	<div class="song">
		<p>李清照</p>
		<p>王安石</p>
		<p>蘇軾</p>
		<p>柳宗元</p>
		<a href="http://www.song.com/" title="趙匡胤" target="_self">
			<span>this is span</span>
		宋朝是最強大的王朝，不是軍隊的強大，而是經濟很強大，國民都很有錢</a>
		<a href="" class="du">總為浮雲能蔽日,長安不見使人愁</a>
		<img src="http://www.baidu.com/meinv.jpg" alt="" />
	</div>
	<div class="tang">
		<ul>
			<li><a href="http://www.baidu.com" title="qing">清明時節雨紛紛,路上行人欲斷魂,借問酒家何處有,牧童遙指杏花村</a></li>
			<li><a href="http://www.163.com" title="qin">秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山</a></li>
			<li><a href="http://www.126.com" alt="qi">岐王宅里尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君</a></li>
			<li><a href="http://www.sina.com" class="du">杜甫</a></li>
			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>
			<li><b>杜小月</b></li>
			<li><i>度蜜月</i></li>
			<li><a href="http://www.haha.com" id="feng">鳳凰台上鳳凰游,鳳去台空江自流,吳宮花草埋幽徑,晉代衣冠成古丘</a></li>
		</ul>
	</div>
</body>
</html>

（2）爬蟲腳本文件test.py

from lxml import etree

# 創建etree對象進行制定數據解析
tree = etree.parse('./test.html')    # 解析本地文件

# 屬性定位：根據指定的屬性定位到指定的節點標簽
# tree.xpath('//div[@class="song"]')
"""
[<Element div at 0x10dbead88>]
"""

# 層級&索引定位
# tree.xpath('//div[@class="tang"]/ul/li[2]/a')  # 定位到第二個li中的a標簽
"""
[<Element a at 0x10e30ab48>]
"""

# 邏輯定位  //a:整個源碼下的a標簽   
# [@href="" and @class="du"] href為空，class屬性為du
# tree.xpath('//a[@href="" and @class="du"]')
"""
[<Element a at 0x10e2a8e88>]
"""

# 模糊匹配
# tree.xpath('//div[contains(@class, "ng")]')
# tree.xpath('//div[starts-with(@class, "ta")]')
"""
[<Element div at 0x10dbea548>, <Element div at 0x10e392348>]
[<Element div at 0x10dabd688>]
"""

# 取文本
# /text()獲取當前標簽中直系存儲的文本數據
# tree.xpath('//div[@class="song"]/p[1]/text()')    # song的div下的第一個p子標簽
# 輸出：['李清照']

# //text()獲取tang這個div標簽下所有子標簽中存儲的文本數據
# tree.xpath('//div[@class="tang"]//text()')
"""
['\n\t\t',
 '\n\t\t\t',
 '清明時節雨紛紛,路上行人欲斷魂,借問酒家何處有,牧童遙指杏花村',
 '\n\t\t\t',
 '秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山',
 '\n\t\t\t',
 '岐王宅里尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君',
 '\n\t\t\t',
 '杜甫',
 '\n\t\t\t',
 '杜牧',
 '\n\t\t\t',
 '杜小月',
 '\n\t\t\t',
 '度蜜月',
 '\n\t\t\t',
 '鳳凰台上鳳凰游,鳳去台空江自流,吳宮花草埋幽徑,晉代衣冠成古丘',
 '\n\t\t',
 '\n\t']
"""

# 取屬性
tree.xpath('//div[@class="tang"]//li[2]/a/@href')  # 指定a標簽對應的href的值
"""
['http://www.163.com']
"""

四、XPath插件

　　xpath插件的作用：可以直接將xpath表達式作用於瀏覽器的網頁當中。

1、chrome安裝xpath插件

（1）更多工具-》擴展程序-》開啟右上角開發者模式

（2）將xpath插件拖動到谷歌瀏覽器拓展程序（更多工具）中，安裝成功

2、插件使用

　　開啟和關閉xpath插件的快捷鍵：Ctrl-Shift-X (or Control-Shift-X on OS X), or click the XPath Helper button in the toolbar, to open the XPath Helper console。
　　以糗事百科為例使用插件：

　　右邊方框輸出的是xpath表達式輸出的結果，這里輸出的是div對應的數據值。
　　使用完再次點擊Control-Shift-X來關閉xpath插件。未來在程序中設計好xpath表達式之后，一定要用xpath插件做一下表達式的驗證。

五、xpath項目演練

　　需求：使用xpath對段子網中的段子內容和標題進行解析，持久化存儲。
　　段子網地址

1、先用xpath插件驗證xpath表達式

　　可用如下xpath表達式獲取所有的li標簽，段子內容和標題都被包含在li標簽中。

2、爬蟲代碼實現

import requests
from lxml import etree

# 1.指定url
url = 'https://ishuo.cn/joke'

# 2.發起請求
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

# 3.獲取頁面內容
page_text = response.text

# 4.數據解析
tree = etree.HTML(page_text)
# 獲取所有的li標簽（已經經過了xpath插件驗證）
li_list = tree.xpath('//div[@id="list"]/ul/li')
# print(li_list)  
'''
[<Element li at 0x10e32c248>, <Element li at 0x10e30ae88>,...,<Element li at 0x10ef5bfc8>]
# 注意：Element類型的對象可以繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析
'''
fp = open('./duanzi.txt', 'w', encoding='utf-8')  # 一次打開多次寫入
for li in li_list:
    content = li.xpath('./div[@class="content"]/text()')[0]  # 調用text()函數取得段子內容
    title = li.xpath('./div[@class="info"]/a/text()')[0]   # 獲得a標簽文本內容
    
    # 5.持久化
    fp.write(title + ":" + content + "\n\n")  # 段子換行分隔
    print("一條數據寫入成功")

（1）li標簽內部結構

<li class="list_li xh-highlight">
    <div class="content">有位非常漂亮的女同事，有天起晚了沒有時間化妝便急忙沖到公司。結果那天她被記曠工了……吃驚]</div>
    <div class="info">
        <span class="right tags">...</span>
        <a href="/subject/5898">這個笑話好內涵，你懂了沒？</a>
        04月29日0個評論 0人喜歡
    </div>
</li>

（2）Element類型對象

　　Element類型的對象可以繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析。
　　只要是通過xpath表達式解析出來的標簽類型的對象，對象類型一定是element類型。

tree = etree.HTML(page_text)
# 獲取所有的li標簽（已經經過了xpath插件驗證）
li_list = tree.xpath('//div[@id="list"]/ul/li')
# print(li_list)  
"""
[<Element li at 0x10e32c248>, <Element li at 0x10e30ae88>,...,<Element li at 0x10ef5bfc8>]
# 注意：Element類型的對象可以繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析
"""

for li in li_list:
    content = li.xpath('./div[@class="content"]/text()')[0]  # 調用text()函數取得段子內容
    title = li.xpath('./div[@class="info"]/a/text()')[0]   # 獲得a標簽文本內容——標題

（3）duanzi.txt文件寫入效果

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 XPath語法和lxml模塊(詳解) XPath語法和lxml模塊（數據提取） [XPath] XPath 與 lxml （二）XPath 語法 python之lxml(xpath) xpath語法、lxml模塊、beautifulsoup4、正則表達式和re模塊 Xpath語法與lxml庫的用法爬蟲之lxml - etree - xpath的使用 Python 通過lxml遍歷html xpath Python 之lxml解析模塊 Python解析庫lxml與xpath用法總結