一、獲取數據
想弄一個數據庫，由於需要一些人名，所以就去百度一下，然后發現了360圖書館中有很多人名
然后就像去復制一下，發現復制不了，需要登陸
此時f12查看源碼是可以復制的，不過就算可以復制想要插入數據也是很麻煩的。既然復制走不通，於是我抱着探索知識的精神，打開了Visual Studio
首先我們需要先拿到整個頁面的數據，此時的話可以使用WebClient對象來獲取數據(HttpWebRequest方式稍微有點麻煩)，然后使用byte數組來接受一下返回值
public static void GetData(String address) { WebClient wc = new WebClient(); byte[] htmlData = wc.DownloadData(address); }
此時需要將htmlData對象解碼為String對象，然后我們在網站中f12看一下解碼方式
可以看到charset=utf-8，說明需要用utf-8來解碼，然后使用Encoding對象來解碼
string html = Encoding.UTF8.GetString(htmlData);
我們輸出一下html有沒有值
static void Main(string[] args) { //將地址復制過來 GetData("http://www.360doc.com/content/18/1010/13/642066_793541226.shtml"); Console.ReadKey(); } public static void GetData(String address) { WebClient wc = new WebClient(); //地址由調用時傳入 byte[] htmlData = wc.DownloadData(address); string html = Encoding.UTF8.GetString(htmlData); Console.WriteLine(html); }
輸出：
二、Regex匹配
接下來就是匹配的問題了，首先看一下html文檔的結構
就是說只需要匹配到所有的p標簽，然后拿到其中的內容就行了
第一種想到的就是使用正則表達式匹配：
public static void GetData(String address) { WebClient wc = new WebClient(); //地址由調用時傳入 byte[] htmlData = wc.DownloadData(address); string html = Encoding.UTF8.GetString(htmlData); //使用正則表達式匹配 <p或P>非空字符至少100個<P或p> Regex reg = new Regex("<[pP]>\\S{100,}</[Pp]>"); //接受所有匹配到的項 MatchCollection result = reg.Matches(html); //循環輸出 foreach (Match item in result) { Console.WriteLine(item.Value); } }
調用不變，啟動：
匹配到是匹配到了，但是我們把<p></p>標簽也匹配出來了，所以把正則表達式改進一下，使用組匹配，將p標簽中的內容單獨匹配出來（當然也可以截取字符串）。也就是說在寫正則表達式時，將想要單獨匹配出來的數據用括號"(想要單獨匹配出來的數據)"括起來，來看一下怎么寫：
Regex reg = new Regex("<[pP]>(\\S{100,})</[Pp]>");
然后如果想要拿數據的話，需要使用Match對象的Groups屬性通過索引來獲取匹配到的組：
public static void GetData(String address) { WebClient wc = new WebClient(); //地址由調用時傳入 byte[] htmlData = wc.DownloadData(address); string html = Encoding.UTF8.GetString(htmlData); //使用正則表達式組匹配 <p或P>(非空字符至少100個)<P或p> Regex reg = new Regex("<[pP]>(\\S{100,})</[Pp]>"); //接受所有匹配到的項 MatchCollection result = reg.Matches(html); //循環輸出 foreach (Match item in result) { //0的話是整體匹配到的字符串對象 //1就是第一個匹配到的組(\\S{100,) Console.WriteLine(item.Groups[1]); } }
輸出結果：
這次p標簽就沒有被匹配進入組中（如果通過item.Groups[0]拿到的回是和上面匹配到一樣的數據，會帶p標簽）
匹配到了之后就可以使用item.Groups[1].Split('、')來將字符串分割為String數組，然后循環寫入數據庫，或者進行其他操作。
三、HTML解析器NSoup
雖然正則表達式也可以匹配，但是如果對正則表達式比較陌生的話，可能就不是友好了。如果有方法可以像用js操作html元素一樣，用C#操作html字符串，就非常棒了。NSoup就是可以做到解析html字符串，變成可操作的對象。
首先使用前先在管理NuGet程序包中添加：NSoup，直接就可以搜索到，添加完成之后接下來就看一下如何使用
使用NSoupClient.Parse(放入html代碼：<html>....</html>)創建一個聲明Docuemnt文檔對象：
//聲明Document對象 Document doc = NSoupClient.Parse(html);
第二種就是使用Document doc = NSoupClient.Connect(放入url) .Get()/.Post()，然后他就會自動獲取url地址的html代碼，並且根據html代碼加載一個Document對象
//通過url自動加載Document對象 Document doc = NSoupClient.Connect(address).Get();
當然還有其他方式獲取，然后我們看一下如何使用Document對象
//通過id獲取元素 //獲取id為form的元素 Element form = doc.GetElementById("form"); //通過標簽名獲取元素 //獲取所有的p標簽 Elements p = doc.GetElementsByTag("p"); //通過類樣式獲取元素 //獲取類樣式為btn的元素 Elements c = doc.GetElementsByClass("btn"); //通過屬性獲取 //獲取包含style屬性的元素 Elements attr = doc.GetElementsByAttribute("style");
也可以自己組合一些其他的嵌套操作，例如：
獲取id為artContent下的所有p標簽
//使用鏈式編程 //獲取id為artContent下的所有p標簽 Elements ps = doc.GetElementById("artContent").GetElementsByTag("p"); //等同於 //Element artContent = doc.GetElementById("artContent"); //Elements ps = artContent.GetElementsByTag("p");
元素方法的使用：
//Elements是Element元素的集合 多了個s //Element對象的方法 Element id = doc.GetElementById("id"); //獲取或設置id元素的文本 id.Text(); //獲取或設置id元素的html代碼 id.Html(); //獲取或設置id元素的value值 id.Val();
都是像js操作html元素一樣的方法，而且方法的名字也很人性，基本上一看就會知道方法是什么意思，方法也太多了就不一一講了。
然后我們來使用NSoup獲取所有的名字，來試一下就會發現很簡單了：
方式一：
public static void GetData(String address) { WebClient wc = new WebClient(); byte[] htmlData = wc.DownloadData(address); string html = Encoding.UTF8.GetString(htmlData); Document doc = NSoupClient.Parse(html); //先獲取id為artContent的元素，再獲取所有的p標簽 Elements p = doc.GetElementById("artContent").GetElementsByTag("p"); foreach (Element item in p) { Console.WriteLine(item.Text()); } }
方式二：
public static void GetData(String address) { //直接通過url來獲取Document對象 Document doc = NSoupClient.Connect(address).Get(); //先獲取id為artContent的元素，再獲取所有的p標簽 Elements p = doc.GetElementById("artContent").GetElementsByTag("p"); foreach (Element item in p) { Console.WriteLine(item.Text()); } }
運行結果都是一樣的
總結：效率的話不太了解就不做評價了，就簡單說一下優缺點：使用正則表達式的話，需要對正則表達式有一定的熟悉，然后匹配數據的話也是很方便的，但是修改、添加、刪除的話就不是太方便了；使用HTMl解析器（HtmlAgilityPack、NSoup）的話操作起來明顯更方便一些，如果對js有一定的基礎，html解析器根本不需要大學習就可以熟練使用，然后對元素進行修改、添加、刪除、獲取都是非常方便的，不過如果對於未知的html結構就不是太友好了，例如：如果獲取頁面上所有的http://www.baidu.com這類的地址的話，使用正則就會更好一些。
