xpath插件安裝：
注意：提前安裝xpath插件
（1）打開chrome瀏覽器
（2）點擊右上角小圓點
（3）更多工具
（4）擴展程序
（5）拖拽xpath插件到擴展程序中
（6）如果crx文件失效，需要將后綴修改zip
（7）再次拖拽
（8）關閉瀏覽器重新打開
（9）ctrl + shift + x
（10）出現小黑框
1.安裝lxml庫
pip install lxml ‐i https://pypi.douban.com/simple
2.導入lxml.etree
from lxml import etree
3.etree.parse() 解析本地文件
html_tree = etree.parse('XX.html')
4.etree.HTML() 服務器響應文件
html_tree = etree.HTML(response.read().decode('utf‐8')
5.html_tree.xpath(xpath路徑)
<!--解析.html -->
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"/> <!-- xpath解析嚴格遵守html規范（標簽、單標簽要完整）--> <title>Title</title> </head> <body> <ul> <li id="l1" class="c1">北京</li> <li id="l2">上海</li> <li id="c3">深圳</li> <li id="c4">武漢</li> </ul> <!-- <ul>--> <!-- <li>大連</li>--> <!-- <li>錦州</li>--> <!-- <li>沈陽</li>--> <!-- </ul>--> </body> </html>
# _*_ coding : utf-8 _*_ # @Time : 2021/11/2 17:50 # @Author : 秋泊醬 from lxml import etree # xpath解析 # （1）本地文件 etree.parse # （2）服務器響應的數據 response.read().decode('utf-8') ***** etree.HTML() # xpath解析本地文件 tree = etree.parse('解析_xpath的基本使用.html') # tree.xpath('xpath路徑') # 查找ul下面的li # li_list = tree.xpath('//body/ul/li') # 查找所有有id的屬性的li標簽 # text()獲取標簽中的內容 # li_list = tree.xpath('//ul/li[@id]/text()') # 找到id為l1的li標簽 注意引號的問題 # li_list = tree.xpath('//ul/li[@id="l1"]/text()') # 查找到id為l1的li標簽的class的屬性值 # li = tree.xpath('//ul/li[@id="l1"]/@class') # 查詢id中包含l的li標簽 # li_list = tree.xpath('//ul/li[contains(@id,"l")]/text()') # 查詢id的值以l開頭的li標簽 # li_list = tree.xpath('//ul/li[starts-with(@id,"c")]/text()') # 查詢id為l1和class為c1的 # li_list = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()') li_list = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()') # 判斷列表的長度 print(li_list) print(len(li_list))
xpath基本語法：
1.路徑查詢
//：查找所有子孫節點，不考慮層級關系
/ ：找直接子節點
2.謂詞查詢
//div[@id]
//div[@id="maincontent"]
3.屬性查詢
//@class
4.模糊查詢
//div[contains(@id, "he")]
//div[starts‐with(@id, "he")]
5.內容查詢
//div/h1/text()
6.邏輯運算
//div[@id="head" and @class="s_down"]
//title | //price