Python爬蟲 XPath 選擇器詳解

轉載：https://www.runoob.com/xpath/xpath-syntax.html

XPath 語法

---

XPath 使用路徑表達式來選取 XML 文檔中的節點或節點集。節點是通過沿着路徑 (path) 或者步 (steps) 來選取的。

---

XML 實例文檔

我們將在下面的例子中使用這個 XML 文檔。

實例

<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> <price>39.95</price> </book> </bookstore>

 

---

選取節點

XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿着路徑或者 step 來選取的。 下面列出了最有用的路徑表達式：

表達式	描述
nodename	選取此節點的所有子節點。
/	從根節點選取。
//	從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。
.	選取當前節點。
..	選取當前節點的父節點。
@	選取屬性。

在下面的表格中，我們已列出了一些路徑表達式以及表達式的結果：

路徑表達式	結果
bookstore	選取 bookstore 元素的所有子節點。
/bookstore	選取根元素 bookstore。 注釋：假如路徑起始於正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！
bookstore/book	選取屬於 bookstore 的子元素的所有 book 元素。
//book	選取所有 book 子元素，而不管它們在文檔中的位置。
bookstore//book	選擇屬於 bookstore 元素的后代的所有 book 元素，而不管它們位於 bookstore 之下的什么位置。
//@lang	選取名為 lang 的所有屬性。

 

---

謂語（Predicates）

謂語用來查找某個特定的節點或者包含某個指定的值的節點。

謂語被嵌在方括號中。

在下面的表格中，我們列出了帶有謂語的一些路徑表達式，以及表達式的結果：

路徑表達式	結果
/bookstore/book[1]	選取屬於 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()]	選取屬於 bookstore 子元素的最后一個 book 元素。
/bookstore/book[last()-1]	選取屬於 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()<3]	選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang='eng']	選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。
/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。
/bookstore/book[price>35.00]//title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。

 

---

選取未知節點

XPath 通配符可用來選取未知的 XML 元素。

通配符	描述
*	匹配任何元素節點。
@*	匹配任何屬性節點。
node()	匹配任何類型的節點。

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	結果
/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取所有帶有屬性的 title 元素。

 

---

選取若干路徑

通過在路徑表達式中使用"|"運算符，您可以選取若干個路徑。

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

 

路徑表達式	結果
//book/title | //book/price	選取 book 元素的所有 title 和 price 元素。
//title | //price	選取文檔中的所有 title 和 price 元素。
/bookstore/book/title | //price	選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

 

 

我們將在下面的例子中使用此 XML 文檔：

<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="en">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="en">Learning XML</title> <price>39.95</price> </book> </bookstore>

 

---

XPath 軸（Axes）

軸可定義相對於當前節點的節點集。

 

軸名稱	結果
ancestor	選取當前節點的所有先輩（父、祖父等）。
ancestor-or-self	選取當前節點的所有先輩（父、祖父等）以及當前節點本身。
attribute	選取當前節點的所有屬性。
child	選取當前節點的所有子元素。
descendant	選取當前節點的所有后代元素（子、孫等）。
descendant-or-self	選取當前節點的所有后代元素（子、孫等）以及當前節點本身。
following	選取文檔中當前節點的結束標簽之后的所有節點。
following-sibling	選取當前節點之后的所有兄弟節點
namespace	選取當前節點的所有命名空間節點。
parent	選取當前節點的父節點。
preceding	選取文檔中當前節點的開始標簽之前的所有節點。
preceding-sibling	選取當前節點之前的所有同級節點。
self	選取當前節點。

 

 

 

XPath 運算符

下面列出了可用在 XPath 表達式中的運算符：

運算符	描述	實例	返回值
|	計算兩個節點集	//book | //cd	返回所有擁有 book 和 cd 元素的節點集
+	加法	6 + 4	10
-	減法	6 - 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等於	price=9.80	如果 price 是 9.80，則返回 true。 如果 price 是 9.90，則返回 false。
!=	不等於	price!=9.80	如果 price 是 9.90，則返回 true。 如果 price 是 9.80，則返回 false。
<	小於	price<9.80	如果 price 是 9.00，則返回 true。 如果 price 是 9.90，則返回 false。
<=	小於或等於	price<=9.80	如果 price 是 9.00，則返回 true。 如果 price 是 9.90，則返回 false。
>	大於	price>9.80	如果 price 是 9.90，則返回 true。 如果 price 是 9.80，則返回 false。
>=	大於或等於	price>=9.80	如果 price 是 9.90，則返回 true。 如果 price 是 9.70，則返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，則返回 true。 如果 price 是 9.50，則返回 false。
and	與	price>9.00 and price<9.90	如果 price 是 9.80，則返回 true。 如果 price 是 8.50，則返回 false。
mod	計算除法的余數	5 mod 2	1

 

 

 

XML實例文檔

我們將在下面的例子中使用這個 XML 文檔：

"books.xml":

<?xml version="1.0" encoding="UTF-8"?>

<bookstore>

<book category="COOKING">
  <title lang="en">Everyday Italian</title>
  <author>Giada De Laurentiis</author>
  <year>2005</year>
  <price>30.00</price>
</book>

<book category="CHILDREN">
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

<book category="WEB">
  <title lang="en">XQuery Kick Start</title>
  <author>James McGovern</author>
  <author>Per Bothner</author>
  <author>Kurt Cagle</author>
  <author>James Linn</author>
  <author>Vaidyanathan Nagarajan</author>
  <year>2003</year>
  <price>49.99</price>
</book>

<book category="WEB">
  <title lang="en">Learning XML</title>
  <author>Erik T. Ray</author>
  <year>2003</year>
  <price>39.95</price>
</book>

</bookstore>

 

---

加載 XML 文檔

所有現代瀏覽器都支持使用 XMLHttpRequest 來加載 XML 文檔的方法。

針對大多數現代瀏覽器的代碼：

var xmlhttp=new XMLHttpRequest()

針對古老的微軟瀏覽器（IE 5 和 6）的代碼：

var xmlhttp=new ActiveXObject("Microsoft.XMLHTTP")

 

---

選取節點

不幸的是，Internet Explorer 和其他處理 XPath 的方式不同。

在我們的例子中，包含適用於大多數主流瀏覽器的代碼。

Internet Explorer 使用 selectNodes() 方法從 XML 文檔中的選取節點：

xmlDoc.selectNodes( xpath);

Firefox、Chrome、Opera 以及 Safari 使用 evaluate() 方法從 XML 文檔中選取節點：

xmlDoc.evaluate( xpath, xmlDoc, null, XPathResult.ANY_TYPE,null);

 

---

選取所有 title

下面的例子選取所有 title 節點：

實例

/bookstore/book/title

嘗試一下 »

 

---

選取第一個 book 的 title

下面的例子選取 bookstore 元素下面的第一個 book 節點的 title：

實例

/bookstore/book[1]/title

這里有一個問題。上面的例子在 IE 和其他瀏覽器中輸出不同的結果。

IE5 以及更高版本將 [0] 視為第一個節點，而根據 W3C 的標准，應該是 [1]。

一種解決方法！

為了解決 IE5+ 中 [0] 和 [1] 的問題，可以為 XPath 設置語言選擇（SelectionLanguage）。

下面的例子選取 bookstore 元素下面的第一個 book 節點的 title：

實例

xml.setProperty("SelectionLanguage","XPath");
xml.selectNodes("/bookstore/book[1]/title");

 

---

選取所有價格

下面的例子選取 price 節點中的所有文本：

實例

/bookstore/book/price/text()

 

---

選取價格高於 35 的 price 節點

下面的例子選取價格高於 35 的所有 price 節點：

實例

/bookstore/book[price>35]/price