開源項目Html Agility Pack實現快速解析Html

這是個很好的的東西，以前做Html解析都是在用htmlparser，用的雖然順手，但解析速度較慢，碰巧今天找到了這個，就拿過來試，一切出乎意料，非常爽，推薦給各位使用。

下面是一些簡單的使用技巧，希望對大家有用，我個人也是個學習過程。

 

Why Html Agility Pack? (以下簡稱HAP)

.Net下解析HTML文件有很多種選擇，包括微軟自己也提供MSHTML用於manipulate HTML文件。但是，經過我一段時間的搜索，Html Agility Pack浮出水面：它是Stackoverflow網站上推薦最多的C# HTML解析器。HAP開源，易用，解析速度快。

How to use HAP?

1. 下載http://htmlagilitypack.codeplex.com/

2. 解壓

3. 在Visual Studio Solution里，右擊project -> add reference -> 選擇解壓文件夾里的HTMLAgilityPack.dll -> 確定

4. 代碼頭部加入 using HtmlAgilityPack;

Done!

 

HtmlWeb webClient = new HtmlWeb();
HtmlDocument doc = webClient.Load("http://xxx");

HtmlNodeCollection hrefList = doc.DocumentNode.SelectNodes(".//a[@href]");

if (hrefList != null)
{
     foreach (HtmlNode href in hrefList)
     {
        HtmlAttribute att = href.Attributes["href"];
        doSomething(att.Value);

     }

}

 

 

Q: 如何根據ID選擇HTML結點？

A: 利用@id='xxx', e.g.,

 

HtmlNode bugSum = doc.DocumentNode.SelectSingleNode("//h2[@id='summary']");

 

 

Q: 如何得到結點的文字內容或Html內容？

 

node.InnerText.Trim()
node.InnerHtml
node.OuterHtml

 

Q: 如何在html樹結構下查找結點？

A: 比如從根節點查找id=container的div下的第一個table:

 

HtmlNode table = doc.DocumentNode.SelectSingleNode("//div[@id='container']/table[1]");

 

 

注意路徑里"//"表示從根節點開始查找，兩個斜杠‘//’表示查找所有childnodes；一個斜杠'/'表示只查找第一層的childnodes（即不查找grandchild）；點斜杠"./"表示從當前結點而不是根結點開始查找。接上一行代碼，比如要查找table所有直接子結點的tr:

HtmlNodeCollection tr = table.SelectNodes("./tr");

 

Q: 如何得到結點的ID？

A： 很簡單： node.ID

Q: 如果一段html存在字符串里，是否可以用Html Agility Pack進行處理？

A：可以，先將字符串load進來，之后的處理方法一樣：

<pre name="code" class="csharp">//load the original html
string html = "some html stuff"
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(@html);

 

Q: 我對load進來的html進行了一些處理，比如改變了一些結點內容，刪除了一些結點什么的，為什么結果卻沒有變化？

A: 也許你忘記save你對html的改變了，假設html存在字符串中：

//load the original html
string html = "some html stuff"
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(@html);

//make some changes
doSomething();

//save the change
var sb = new StringBuilder();
using (var writer = new StringWriter(sb))
{
    doc.Save(writer);
}

 

Q: 如何去掉外層的html tag只留下內容？

A: 用remove方法。假設結點<a href=xxx>ABCD</a>，你想留下ABCD而不要<a></a>，那你需要先得到這個Html結點，假設叫link:

link.ParentNode.RemoveChild(link,true);

 

參數true表示留下grandchild，在這里即內容ABCD; false表示將此結點連同其grandchilds一起刪除。

規則有很多，網上提供了源代碼，可以研究一下，還有源代碼有亂碼問題，是字符集的問題，只需要寫一個方法來自動判斷就可以解決了