ScrapySharp是一個幫助我們快速實現網頁數據采集的庫,它主要提供了如下兩個功能
-
從Url獲取Html數據
-
提供CSS選擇器的方式解析Html節點
安裝:
ScrapySharp可以直接從Nuget上下載,直接從Package Console里面輸入如下命令即可:
PM> Install-Package ScrapySharp
Html下載
首先我們來看看它的Html下載功能,它是通過ScrapingBrowser類來實現的:
var browser = new ScrapingBrowser();
var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));
這個只是一個簡單的示例,實際上ScrapingBrowser的功能還是非常全面的,常見的功能如:Charset探測,AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表單提交等都支持得非常好,用它來獲取網頁比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基於大名鼎鼎的HtmlAgilityPack來實現的,它主要提供了兩個擴展函數CssSelect和CssSelect:
static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);
相比HtmlAgilityPack提供的層級式解析和Xpath方式的解析比起來,CSS選擇器的更為簡單快捷,這里以解析博客園的首頁標題為例,首先用開發者工具定位標題,可以看到其HTML結構的方式如下:
解析的代碼如下:
var doc = new HtmlDocument();
doc.LoadHtml(html);
var docNode = doc.DocumentNode;
var nodes = docNode.CssSelect(".titlelnk");
foreach (var htmlNode in nodes)
{
Console.WriteLine(htmlNode.InnerText);
}
其中關鍵代碼只有docNode.CssSelect(".titlelnk")一句,非常簡潔。另外,由於CSS方式比較靈活,如下方式也能獲取到標題
var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");
最后,列舉一下常用的CSS查詢,以方便后續的使用:
html.CssSelect("div"); //all div elements
html.CssSelect("div.content"); //all div elements with css class 'content'
html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass
html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content'
html.CssSelect("input[type = text].login"); // textbox with css class login
更多的CSS選擇器使用方法可以參看W3的網頁:CSS 選擇器參考手冊
