xpath速度比較快，是爬蟲在網頁定位中的較優選擇，但是很多網頁前端代碼混亂難以定位，而學習定位也較為不易（主要是全面的教程較少）
試驗環境：Python環境，lxml.etree
試驗所使用的html代碼
<!DOCTYPE html>
<html>
<head>
<title>xpath test</title>
</head>
<body>
<div price="99.8">
<div>
<ul>
<li>時間</li>
<li>地點</li>
<li>任務</li>
</ul>
</div>
<div id='testid' data-h="first">
<h2>這里是個小標題</h2>
<ol>
<li data="one">1</li>
<li data="two">2</li>
<li data="three">3</li>
</ol>
<ul>
<li code="84">84</li>
<li code="104">104</li>
<li code="223">223</li>
</ul>
</div>
<div>
<h3>這里是H3的內容
<a href="http://www.baidu.com">百度一下</a>
<ul>
<li>test1</li>
<li>test2</li>
</ul>
</h3>
</div>
<div id="go">
<ul>
<li>1</li>
<li>2</li>
<li>3</li>
<li>4</li>
<li>5</li>
<li>6</li>
<li>7</li>
<li>8</li>
<li>9</li>
<li>10</li>
</ul>
</div>
</div>
</body>
</html>
匹配某節點下的所有.//
//獲取文檔中所有匹配的節點，.獲取當前節點，有的時候我們需要獲取當前節點下的所有節點，.//一定要結合.使用//，否則都會獲取整個文檔的匹配結果.
匹配包含某屬性的所有的屬性值//@lang
print tree.xpath('//@code') #匹配所有帶有code屬性的屬性值
>>['84', '104', '223']
選取若干路徑|
這個符號用於在一個xpath中寫多個表達式用，用|分開，每個表達式互不干擾
print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()')
#多個匹配條件
>>[u'\u8fd9\u91cc\u662f\u4e2a\u5c0f\u6807\u9898', '1', '2', '3']
Axes（軸）
- child：選取當前節點的所有子元素
>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子節點定位
>>['84', '104', '223']
>>print tree.xpath('//div[@id="testid"]/child::*') #child::*當前節點的所有子元素
>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]
>>#定位某節點下為ol的子節點下的所有節點
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()')
>>['1', '2', '3']
- attribute：選取當前節點的所有屬性
>>print tree.xpath('//div/attribute::id') #attribute定位id屬性值
>>['testid', 'go']
>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位當前節點的所有屬性
>>['testid', 'first']
- ancestor：父輩元素 / ancestor-or-self：父輩元素及當前元素
>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父輩div元素的price屬性
>>['99.8']
>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父輩div元素
>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父輩及當前節點div元素
>>[<Element div at 0x23fc108>]
>>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]
-
descendant：后代 / descendant-or-self：后代及當前節點本身
使用方法同上 -
following :選取文檔中當前節點的結束標簽之后的所有節點
定位testid之后不包含id屬性的div標簽下所有的li中第一個li的text屬性
>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()')
>>['test1']
- namespace：選取當前節點的所有命名空間節點
>>print tree.xpath('//div[@id="testid"]/namespace::*') #選取命名空間節點
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]
- parent：選取當前節點的父節點
>>#選取data值為one的父節點的子節點中最后一個節點的值
>>print tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()')
>>['3']
>>#注意這里的用法，parent::父節點的名字
- preceding：選取文檔中當前節點的開始標簽之前的所有節點
>>#記住是標簽開始之前，同級前節點及其子節點
>>print tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0]
>>時間
>>#下面這兩條可以看到其順序是靠近testid節點的優先
>>print tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0]
>>任務
>>時間
- preceding-sibling：選取當前節點之前的所有同級節點
>>#記住只能是同級節點
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::li') #這里返回的就是空的了
>>地點
>>[]
- self：選取當前節點
>>#選取帶id屬性值的div中包含data-h屬性的標簽的所有屬性值
>>print tree.xpath('//div[@id]/self::div[@data-h]/attribute::*')
>>['testid', 'first']
- 組合拳
定位id值為testid下的ol下的li屬性值data為two的父元素ol的兄弟前節點h2的text值
>>print tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0]
>>這里是個小標題
position定位
>>print tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0]
>>2
div里邊包含一個ul標簽，ul標簽內包含 7 個li標簽，如果想獲取其中的第2-6個：
//*[@id='nav']/ul/li[position()>1 and position()<7]
條件
>>定位所有h2標簽中text值為`這里是個小標題`
>>print tree.xpath(u'//h2[text()="這里是個小標題"]/text()')[0]
>>這里是個小標題
//選擇A/B/C的最后一個E子元素
xpath="/A/B/C/E[last()]" ;
//選擇沒有屬性的B元素
xpath="//B[not(@*)]";
//選擇不包含class屬性的節點
xpath=".//span[not(@class)]";
//選擇不包含class和id屬性的節點
xpath=".//span[not(@class) and not(@id)]";
//選擇含有屬性name且其值(在用normalize-space函數去掉前后空格后)為’b’的B元素
xpath="//B[normalize-space(@name)=‘b’]";
//選擇含有2個B子元素的元素
xpath="//*[count(B)=2]";
//選擇所有名稱為p標簽或h2標簽的元素
//*[name()="p" or name()="h2"]
//選擇所有名稱為p標簽 and h2標簽的元素
//*[name()="p" and name()="h2"]
//選擇所有名稱以"W"起始的元素
xpath="//*[starts-with(name(),‘W’)]";
//選擇所有名稱包含"W"的元素
xpath="//*[contains(name(),‘W’)]";
//選擇不包含class="expire"的span
xpath=".//span[not(contains(@class,'expire'))]";
//選擇包含class="expire"的span
xpath=".//span[contains(@class,'expire')]";
//選擇名字長度為2(大於、小於)的元素;
xpath="//*[string-length(name()) = 2]";
xpath="//*[string-length(name()) < 2]";
xpath="//*[string-length(name()) > 1]";
//選擇偶數位置的B元素
xpath="//B[position() mod 2 = 0 ]";
div運算符做浮點除法運算,
mod運算符做求余運算,
floor函數返回不大於參數的最大整數(趨近於正無窮),
ceiling返回不小於參數的最小整數(趨近於負無窮) */
xpath="//E[ position() = floor(last() div 2 + 0.5) or position() = ceiling(last() div 2 + 0.5) ]";
//可以忽略空白，尋找屬性name=‘b’ or name=’ b '的元素
xpath="//@name[‘b’]";
//不忽略空白，完全匹配,尋找屬性name='b’的元素
xpath="//@name[.=‘b’]";
匹配一個有id屬性，並且id屬性是以”id_prefix_”開頭的超鏈接元素：a[id^=‘id_prefix_’]
匹配一個有id屬性，並且id屬性是以”_id_sufix”結尾的超鏈接元素：a[id$=’_id_sufix’]
匹配一個有id屬性，並且id屬性中包含”id_pattern”字符的超鏈接元素：a[id*=‘id_pattern’]
函數
- count：統計
>>print tree.xpath('count(//li[@data])') #節點統計
>>3.0
- concat：字符串連接
>>print tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())')
>>13
- string：解析當前節點下的字符
>>#string只能解析匹配到的第一個節點下的值，也就是作用於list時只匹配第一個
>>print tree.xpath('string(//li)')
>>時間
- local-name：解析節點名稱
>>print tree.xpath('local-name(//*[@id="testid"])') #local-name解析節點名稱
>>div
- contains(string1,string2)：如果 string1 包含 string2，則返回 true，否則返回 false
>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0] #使用字符內容來輔助定位
>>百度一下
>>一記組合拳
>>#匹配帶有href屬性的a標簽的先輩節點中的div，其兄弟節點中前一個div節點下ul下li中text屬性包含“務”字的節點的值
>>print tree.xpath(u'//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"務")]/text()')[0]
>>任務
注意：兄弟節點后一個節點可以使用：following-sibling
xpath匹配父標簽下的最后一個標簽（相同父標簽下子標簽個數不一致的情況）
有時候，相同的父節點下面的標簽個數不一致，一個父節點下面是兩個標簽，另一個父節點下面是三個標簽。
但是我們又想要把只有兩個標簽的父節點也記為三個子節點，並且把它最后一個節點的值記為None。可通過偽造的第三個標簽和第二個標簽比較，判斷是不是應該為None。
如果子節點的標簽也不一致，可以如下方式，這種情況比較少見:
//div[contains(@class, 'tv')]/child::node()[last()]
not：布爾值（否）
>>print tree.xpath('count(//li[not(@data)])') #不包含data屬性的li標簽統計
>>18.0
string-length：返回指定字符串的長度
>>#string-length函數+local-name函數定位節點名長度小於2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0]
>>百度一下
組合拳2
>>#contains函數+local-name函數定位節點名包含di的元素
>>print tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]')
>>[<Element div at 0x225e108>, <Element div at 0x225e0c8>]
or：多條件匹配
>>print tree.xpath('//li[@data="one" or @code="84"]/text()') #or匹配多個條件
>>['1', '84']
>>#也可使用|
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') #|匹配多個條件
>>['1', '84']
組合拳3：floor + div除法 + ceiling
>>#position定位+last+div除法，選取中間兩個
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()')
>>['5', '6']
組合拳4隔行定位：position+mod取余
>>#position+取余運算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()')
starts-with：以。。開始
>>#starts-with定位屬性值以8開頭的li元素
>>print tree.xpath('//li[starts-with(@code,"8")]/text()')[0]
>>84
數值比較
<：小於
>>#所有li的code屬性小於200的節點
>>print tree.xpath('//li[@code<200]/text()')
>>['84', '104']
div：對某兩個節點的屬性值做除法
>>print tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code')
>>2.65476190476
組合拳4：根據節點下的某一節點數量定位
>>#選取所有ul下li節點數大於5的ul節點
>>print tree.xpath('//ul[count(li)>5]/li/text()')
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']
將對象還原為字符串
>>> s = tree.xpath('//*[@id="testid"]')[0] #使用xpath定位一個節點
>>> s
<Element div at 0x2b6ffc8>
>>> s2 = etree.tostring(s) #還原這個對象為html字符串
>>> s2
'<div id="testid">\n\t\t<h2>ÕâÀïÊǸöС±êÌâ</h2>\n\t\t<ol>\n\t\t\t<li data="one">1</li>\n\t\t\t<li data="two">2</li>\n\t\t\t<li data="three">3</li>\n\t\t</ol>\n\t\t<ul>\n\t\t\t<li code="84">84</li>\n\t\t\t<li code="104">104</li>\n\t\t\t<li code="223">223</li>\n\t\t</ul>\n\t</div>\n\t'
選取一個屬性中的多個值
舉例：<div class="mp-city-list-container mp-privince-city" mp-role="provinceCityList">
選擇這個div的方案網上有說用and的，但是似乎只能針對不同的屬性的單個值
本次使用contains
>>.xpath('div[contains(@class,"mp-city-list-container mp-privince-city")]')
>>當然也可以直接選取其屬性的第二個值
>>.xpath('div[contains(@class,"mp-privince-city")]')
>>重點是class需要添加一個@符號
本次驗證否定了網上的and，使用了contains,驗證環境在scrapy的response.xpath下
說明一點，xpath雖快，但是使用時盡量使用簡潔高效的方式，
本文旨在定位那些較難的地方使用，刻意追求晦澀難懂的技巧會影響其效率，並不可取。
參考：https://blog.csdn.net/xc_zhou/article/details/80951874
https://www.jianshu.com/p/1575db75670f
https://blog.csdn.net/DaxiaLeeSuper/article/details/79347838
https://blog.csdn.net/legendary_Dragon/article/details/84790953
https://blog.csdn.net/weixin_33929309/article/details/92413514