package nekohtml; import java.io.IOException; import javax.xml.transform.TransformerException; import org.apache.xpath.XPathAPI; import org.cyberneko.html.parsers.DOMParser; import org.w3c.dom.Document; import org.w3c.dom.NodeList; import org.xml.sax.SAXException; public class NekoHtmlAndXPath { // 通過url,將相應的html解析為DOM文檔 public static Document getDocument(String url) { DOMParser parser = new DOMParser(); try { parser.parse(url); } catch (SAXException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } Document doc = parser.getDocument(); return doc; } // 通過XPath定位具體的節點 public static NodeList getExactNode(Document doc, String xp) { NodeList list = null; try { list = XPathAPI.selectNodeList(doc, xp); } catch (TransformerException e) { e.printStackTrace(); } return list; } public static void main(String[] args) { String baidu = "http://www.baidu.com/"; String bPath = "//HTML//BODY//DIV[2]//P//MAP//AREA"; String yyt = "http://www.yinyuetai.com/mv/all?page=1"; String yPath = "/HTML/BODY/DIV[6]/DIV/DIV[2]/DIV[2]/DIV[3]/UL/LI/DIV[2]/H3/A"; // 將指定的頁面解析為DOM文檔 Document doc = getDocument(yyt); // 根據xpath獲得指定的節點 NodeList list = getExactNode(doc, yPath); System.out.println("符合條件的結點個數為:" + list.getLength()); for (int i = 0; i < list.getLength(); i++) { System.out.println("獲取的節點屬性為:" + list.item(i).getAttributes().getNamedItem("title")); } } }
用到的jar包:xalan.jar;xercesImpl.jar;nekohtml.jar。
獲取標簽的XPath用到了firebug,有的時候需要做一些轉換,因為firebug把html轉換成了標准的DOM,所以會有極個別的xpath有點小問題。比如說可能會加上tbody標簽,稍作改動即可。