去年写过一篇文章《解析HTML最好的类还是微软自己的》，回复中有朋友提到可以使用HtmlAgilityPack来进行HTML的解析。当时只是匆匆的测试了一下，发现HtmlAgilityPack得到的InnerText中有很多的不干净的script、样式内容，就断定“不是很满意，解析DiscuzNT！论坛的帖子页面的时候有问题，没法正确得到Body.InnerText的内容，有很多残留html、js代码夹杂在其中，解析的不是很好。”
如鹏网内部有一个工具是我开发的，其中的HTML解析部分就是我使用MSHTML完成的，但是今天发现这个软件一个Bug，是MSHTML的HTMLDocumentClass在多线程并发时候有时候会造成死锁。MSHTML是工作在UI线程中的（如果不把DesignMode设置为On，则HTML中的javascript会被执行就是证明），并不是一个干净的、独立的HTML解析组件，因此出现这样的问题很难调试。因此决定还是换用向HtmlAgilityPack实现。
那么如何解决HtmlAgilityPack得到的InnerText中有残留的script、样式的问题呢，在google上搜索“HtmlAgilityPack script innerText”找到了stackoverflow上的这篇文章《C#: HtmlAgilityPack extract inner text》
代码如下：
foreach(var script in doc.DocumentNode.Descendants("script").ToArray())
script.Remove();
foreach(var style in doc.DocumentNode.Descendants("style").ToArray())
style.Remove();
string innerText = doc.DocumentNode.InnerText;
原来这样简单呀，就是把所有的script、style标签从dom树中去掉（为了解决迭代器在工作时不能从集合中Remove元素的问题，使用ToArray()转换为数组再遍历）。
这样操作发现还是有残留的script：
<!--[if IE]>
<script language="JavaScript"> var objmain = document.getElementById("main"); function updatesize(){ var bodyw = window.document.body.offsetWidth; var w=(bodyw<=790?"790px":"100%"); objmain.style.width=w; } updatesize(); window.onresize = updatesize; </script>
<![endif]-->
仔细一看原来是带条件注释的script，因此用下面的方法去掉所有的注释节点：
代码如下：
foreach(var script in doc.DocumentNode.Descendants("script").ToArray())
script.Remove();
foreach(var style in doc.DocumentNode.Descendants("style").ToArray())
style.Remove();
foreach (var comment in doc.DocumentNode.SelectNodes("//comment()").ToArray())
comment.Remove();//新增的代码
string innerText = doc.DocumentNode.InnerText;
解释：HtmlAgilityPack是使用XPath语法，"//comment()"在XPath中表示“所有注释节点”，关于XPath的详细用法请参考XPath的资料。
其他可能有用的技术点：
1、获取网页title：doc.DocumentNode.SelectSingleNode("//title").InnerText;
解释：XPath中“//title”表示所有title节点。SelectSingleNode用于获取满足条件的唯一的节点。
2、获取所有的超链接：doc.DocumentNode.Descendants("a")
3、获取name为kw的input，也就是相当于getElementsByName()：
var kwBox = doc.DocumentNode.SelectSingleNode("//input[@name='kw']");
解释："//input[@name='kw']"也是XPath的语法，表示：name属性等于kw的input标签。
经过这次使用HtmlAgilityPack得出结论：还是HtmlAgilityPack强大！！！再见MSHTML！
如鹏网.Net培训班正在报名，有网络的地方就可以参加如鹏网的学习，学完就能高薪就业，点击此处了解
三年前只要懂“三层架构”就可以说“精通分层架构”；现在则需要懂IOC（AutoFac等）、CodeFirst、lambda、DTO等才值钱；
三年前只要会SQLServer就可以说自己“精通数据库开发”；现在则需还需要掌握MySQL等开源数据库才能说是“.Net开源”时代的程序员；
三年前只要会进行用户上传内容的安全性处理即可；现在则需要熟悉云存储、CDN等才能在云计算时代游刃有余；
三年前只要掌握Lucene.Net就会说自己“熟悉站内搜索引擎开发”；现在大家都用ElasticSearch了，你还用Lucene.Net就太老土了；
三年前发邮件还是用SmtpClient；现在做大型网站发邮件必须用云邮件引擎；
三年前缓存就是Context.Cache；现在则是Redis、Memcached的天下；
如鹏网再次引领.Net社区技术潮流！点击此处了解如鹏网.Net最新课程