本文參考：https://www.runoob.com/xpath/xpath-tutorial.html
分析標准xml文檔可以使用SAX，DOM方法，但是針對Html文檔例如網站源文件，因為格式不是完全標准的xml文檔，使用的SAX和DOM方法經常在導入的時候報格式錯誤。分析html文檔可以使用XPath
本文通過示例來分析XPath簡單應用
XPath簡介
XPath是一門在XML文檔中查找信息的語言。
在學習前應該具備的知識
在您繼續學習之前，應該對下面的知識有基本的了解：
- HTML / XHTML
- XML / XML Namespaces
什么是XPath
- XPath使用路徑表達式在XML文檔中進行導航
- XPath包含一個標准函數庫
- XPath是XSLT中的主要元素
- XPtah是一個W3C標准
XPath節點
節點
在XPath中，有七種類型的節點：元素，屬性，文檔，命名空間，注釋以及文檔（跟）節點。XML文檔是被作為節點樹來對待的。樹的跟被稱為文檔節點或者根節點。
請看下面這個XML文檔：
<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
<book>
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
上面的XML文檔中的節點例子
<bookstore> (文檔節點) <author>J K. Rowling</author> (元素節點) lang="en" (屬性節點)
基本值
是無父或無子的節點
基本值的例子
J K. Rowling "en"
項目（item）
項目是基本值或者節點
節點關系
父（Parent）
每個元素以及屬性都有一個父
在下面的列子中，book 元素是 title、author、year 以及 price 元素的父：
<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>
子（Children）
元素節點可有零個、一個或多個子。
在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：
<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>
同胞（Sibling）
擁有相同的父的節點
在下面的例子中，title、author、year 以及 price 元素都是同胞：
<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>
先輩（Ancestor）
某節點的父、父的父，等等。
在下面的例子中，title 元素的先輩是 book 元素和 bookstore 元素：
<bookstore> <book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> </bookstore>
后代（Descendant）
某個節點的子，子的子，等等。
在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：
<bookstore> <book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> </bookstore>
XML實例文檔
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> <price>39.95</price> </book> </bookstore>
選取節點
XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿着路徑或者 step 來選取的。 下面列出了最有用的路徑表達式：
| 表達式 | 描述 |
|---|---|
| nodename | 選取此節點的所有子節點。 |
| / | 從根節點選取（取子節點）。 |
| // | 從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置（取子孫節點）。 |
| . | 選取當前節點。 |
| .. | 選取當前節點的父節點。 |
| @ | 選取屬性。 |
在下面的表格中，我們已列出了一些路徑表達式以及表達式的結果：
| ookstore | 選取 bookstore 元素的所有子節點。 |
| /bookstore | 選取根元素 bookstore。 注釋：假如路徑起始於正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！ |
| bookstore/book | 選取屬於 bookstore 的子元素的所有 book 元素。 |
| //book | 選取所有 book 子元素，而不管它們在文檔中的位置。 |
| bookstore//book | 選擇屬於 bookstore 元素的后代的所有 book 元素，而不管它們位於 bookstore 之下的什么位置。 |
| //@lang | 選取名為 lang 的所有屬性。 |
謂語（Predicates）
謂語用來查找某個特定的節點或者包含某個指定的值的節點。
謂語被嵌在方括號中。
在下面的表格中，我們列出了帶有謂語的一些路徑表達式，以及表達式的結果：
| 路徑表達式 | 結果 |
|---|---|
| /bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬於 bookstore 子元素的最后一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position()<3] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
| //title[@lang='eng'] | 選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
| /bookstore/book[price>35.00]//title | 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
選取未知節點
XPath 通配符可用來選取未知的 XML 元素。
| 通配符 | 描述 |
|---|---|
| * | 匹配任何元素節點。 |
| @* | 匹配任何屬性節點。 |
| node() | 匹配任何類型的節點。 |
在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：
| 路徑表達式 | 結果 |
|---|---|
| /bookstore/* | 選取 bookstore 元素的所有子元素。 |
| //* | 選取文檔中的所有元素。 |
| //title[@*] | 選取所有帶有屬性的 title 元素。 |
選取若干路徑
通過在路徑表達式中使用"|"運算符，您可以選取若干個路徑。
在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：
| 路徑表達式 | 結果 |
|---|---|
| //book/title | //book/price | 選取 book 元素的所有 title 和 price 元素。 |
| //title | //price | 選取文檔中的所有 title 和 price 元素。 |
| /bookstore/book/title | //price | 選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。 |
XPath運算符
下面列出了可用在 XPath 表達式中的運算符：
| 運算符 | 描述 | 實例 | 返回值 |
|---|---|---|---|
| | | 計算兩個節點集 | //book | //cd | 返回所有擁有 book 和 cd 元素的節點集 |
| + | 加法 | 6 + 4 | 10 |
| - | 減法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等於 | price=9.80 | 如果 price 是 9.80，則返回 true。 如果 price 是 9.90，則返回 false。 |
| != | 不等於 | price!=9.80 | 如果 price 是 9.90，則返回 true。 如果 price 是 9.80，則返回 false。 |
| < | 小於 | price<9.80 | 如果 price 是 9.00，則返回 true。 如果 price 是 9.90，則返回 false。 |
| <= | 小於或等於 | price<=9.80 | 如果 price 是 9.00，則返回 true。 如果 price 是 9.90，則返回 false。 |
| > | 大於 | price>9.80 | 如果 price 是 9.90，則返回 true。 如果 price 是 9.80，則返回 false。 |
| >= | 大於或等於 | price>=9.80 | 如果 price 是 9.90，則返回 true。 如果 price 是 9.70，則返回 false。 |
| or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，則返回 true。 如果 price 是 9.50，則返回 false。 |
| and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80，則返回 true。 如果 price 是 8.50，則返回 false。 |
| mod | 計算除法的余數 | 5 mod 2 | 1 |
XPath實例
下面通過一個實例來演示XPath的用法，把演示xml作為一個字符串放到一個python文檔里面
books.xml
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book category="COOKING"> <title lang="en">Everyday Italian</title> <author>Giada De Laurentiis</author> <year>2005</year> <price>30.00</price> </book> <book category="CHILDREN"> <title lang="en">Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> <book category="WEB"> <title lang="en">XQuery Kick Start</title> <author>James McGovern</author> <author>Per Bothner</author> <author>Kurt Cagle</author> <author>James Linn</author> <author>Vaidyanathan Nagarajan</author> <year>2003</year> <price>49.99</price> </book> <book category="WEB"> <title lang="en">Learning XML</title> <author>Erik T. Ray</author> <year>2003</year> <price>39.95</price> </book> </bookstore>
選取所有title
use_xpath.py
books = '''
<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
<book category="COOKING">
<title lang="en">Everyday Italian</title>
<author>Giada De Laurentiis</author>
<year>2005</year>
<price>30.00</price>
</book>
<book category="CHILDREN">
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
<book category="WEB">
<title lang="en">XQuery Kick Start</title>
<author>James McGovern</author>
<author>Per Bothner</author>
<author>Kurt Cagle</author>
<author>James Linn</author>
<author>Vaidyanathan Nagarajan</author>
<year>2003</year>
<price>49.99</price>
</book>
<book category="WEB">
<title lang="en">Learning XML</title>
<author>Erik T. Ray</author>
<year>2003</year>
<price>39.95</price>
</book>
</bookstore>
'''
from lxml import etree
html = etree.HTML(books)
# 選取所有title
all_title = html.xpath('//bookstore/book/title')
print(all_title)
注意：本次把xml文檔作為字符串導入到python文件，多行文檔使用''' ''' 且符號'''需要單獨占一行不能和文檔在同一行
以下語句導入模塊並且把文檔轉換成xpath可以分析的lxml.etree._Element對象
from lxml import etree html = etree.HTML(books)
代碼解析
html.xpath('//bookstore/book/title')
/ #第一個/代碼從根目錄開始查找
/bookstore/book/title # 查找所有title節點
輸出如下，返回一個list分別為本次查到的4個title節點，也是一個lxml.etree._Element對象，如果沒有匹配到則返回空list
[<Element title at 0x2893c8b5308>, <Element title at 0x2893c8b5548>, <Element title at 0x2893c8b5588>, <Element title at 0x2893c8b55c8>]
選取第一個book的title
first_book_title = html.xpath('//bookstore/book[1]/title')
print(first_book_title)
代碼解析
//bookstore/book[1]/title book[1] # 代表在bookstore下找到的第一個book title # 在第一個book下繼續查找所有title本次只有1個
返回list只有一個元素
[<Element title at 0x14290f15308>]
本次找的的是下面這個title
選取所有價格
# 獲取所有book的price值即書的價格
price_all_text = html.xpath('//bookstore/book/price/text()')
print(price_all_text)
代碼解析
html.xpath('//bookstore/book/price/text()')
//bookstore/book/price # 從根目錄下找到所有price
text() # 找對應的price內部的值
輸出如下，返回一個list值為幾本書的價格
['30.00', '29.99', '49.99', '39.95']
即以下幾個值
找書的種類
# 找所有書的種類
book_category = html.xpath('//bookstore/book/@category')
print(book_category)
代碼解析
//bookstore/book/@category @category # @關鍵字用於選取屬性
即找一下對應屬性
以上分析xml為一個標准xml，如果是使用xpath分析html源碼原理也是一樣的，把獲取到的html網頁源碼使用etree.HTML(html)轉換成xpath可以分析的lxml.etree._Element對象然后再使用xpath分析即可。