有人會問re和xpath是什么關系？如果你了解js與jquery，那么這個就很好理解了。
# -*- coding:utf-8 -*- from lxml import etree html = """ <!DOCTYPE html> <html> <head lang="en"> <title>我的文檔</title> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> </head> <body> <div id="cctv"> <div class="content"> <ul id="ul"> <li>NO.1</li> <li>NO.2</li> <li>NO.3</li> </ul> <ul id="ul2"> <li><span class="ctv">one</span></li> <li><span class="ctv">two</span></li> </ul> </div> <div id="url"> <a href="http://www.jd.com" title="jd">jd</a> <a href="http://www.360buy.com" title="360buy">360buy</a> </div> </div> </body> </html> """ selector = etree.HTML(html) # ########### example 1 ############ # 這里使用id屬性來定位哪個div和ul被匹配 使用text()獲取文本內容 # 這里注意要層層匹配 # content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul"]/li/text()') # content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul2"]/li/span[@class="ctv"]/text()') content = selector.xpath('//a/@href') for i in content: print(i) print(u"************ 華麗分割符1 ************") # ########### example 2 ############ # 使用絕對路徑定位a標簽的title con = selector.xpath('/html/body/div/a/@title') # 使用相對路徑定位 兩者效果是一樣的 con = selector.xpath('//a/@title') print(len(con)) print(con[0], con[1]) print(u"************ 華麗分割符2 ************") # ########### example 3 ############ # starts-with 解決標簽屬性值以相同字符串開頭的情況 con2 = selector.xpath('//span[starts-with(@class,"c")]/text()') # 這里使用starts-with方法提取div的id標簽屬性值開頭為a的div標簽 for i in con2: print(i) print(u"************ 華麗分割符3 ************") # string(.) 標簽套標簽 html2 = ''' <div id="a"> left <span id="b"> right <ul> up <li>down</li> </ul> east </span> west </div> ''' # 下面是沒有用string方法的輸出 selector2 = etree.HTML(html2) con3 = selector2.xpath('//div[@id="a"]/text()') for i in con3: print(i) print(u"************ 華麗分割符4 ************") # 下面使用string方法的輸出 data = selector2.xpath('//div[@id="a"]') # info = data[0].xpath('string(.)').extract()[0] info = data[0].xpath('string(.)') con4 = info.replace('\n', '').replace(' ', '') for i in con4: # python 輸出結果默認是\n，換行，將結尾替換掉即可實現不換行。 print(i, end='') print("\r") print(u"************ 華麗分割符5 ************") # ########### example 4 ############ html3 = """ <div>hello <p>H</p> </div> <div>hehe</div> """ selector3 = etree.HTML(html3) # 使用text()的方法來判別是哪個div標簽 con5 = selector3.xpath('//div[text()="hehe"]/text()') print(con5[0]) print(u"************ 華麗分割符6 ************") # ########### example 5 ############ html4 = """ <div id="utv">hello <p>H</p> <p>J</p> <p>I</p> </div> <div>hehe</div> """ selector4 = etree.HTML(html4) # 在XPath中可以使用多重過濾方法尋找標簽，例如ul[3][@id=”a”] 這里使用【3】來尋找第三個ul標簽 並且它的id屬性值為a con6 = selector4.xpath('//div/p[position()>=2]/text()') for i in con6: print(i) print(u"************ 華麗分割符7 ************")