鑒於我在要完成的asp.net MVC 3 仿照博客園企業系統要用到測試數據，我自己輸入太累，所以我就抓取了博客園的部分列表數據，還請dudu不要見怪。
在抓取博客園數據的時候采用了正則表達式，所以有不熟悉正則表達式的朋友可以參考相關資料，其實很容易掌握，就是在具體的實例中會花些時間。
現在我就來把我抓取博客園數據的過程敘述一下，如果有朋友有更好的意見，歡迎提出來。
要使用正則表達式抓取數據，首先就要創建一個正則表達式進行匹配，我推薦使用regulator，這個正則表達式工具，我們可以先使用這個工具把我們要使用的正則表達式拼接出來，然后在程序中使用。
我發現博客園的首頁列表可以通過http://www.cnblogs.com/p1,p2...這種方式來直接訪問，這樣我們就可以直接通過url獲取數據，而不用模擬數據點擊事件來虛擬的點擊下一頁的那個按鈕獲取數據，更加方便。因為我的目的就是抓取一些數據，所以就簡單點。
1.首先就是要寫對應的sql Helper類，相信這是很多程序員都會掌握的，無非就是增刪改查的操作。在創建好了sqlhelper類之后，我們就可以開始進行抓取數據的邏輯處理。
2.創建BlogRegexController
1 public class BlogRegexController : Controller 2 { 3 4 public void ExecuteRegex() 5 { 6 string strBaseUrl = "http://www.cnblogs.com/p"; //定義博客園可以訪問的列表數據的基地址 7 for (int i = 1; i <= 200; i++)//因為博客園首頁列表最大只有200頁，所以我們這個循環就執行200次 8 { 9 string strUrl = strBaseUrl + i.ToString(); 10 BlogRege blogRegex = new BlogRege(); //定義的具體的Regex類 抓取博客園地址 11 string result = blogRegex.SendUrl(strUrl); 12 blogRegex.AnalysisHtml(result); 13 14 Response.Write("獲取成功"); 15 } 16 } 17 18 19 // 20 // GET: /BlogRegex/ 21 22 public ActionResult Index() 23 { 24 ExecuteRegex(); 25 return View(); 26 } 27 28 }
在controller中的ExecuteRegex()方法就是執行抓取博客園列表數據的功臣。
3.首先就是其中定義的BlogRege類，他負責抓取博客園列表數據並將其插入到數據庫中
1 public class BlogRege 2 { //負責把數據插入到數據庫中 使用到的是sqlhelper類 3 public void Insert(string title, string content,string linkurl, int categoryID = 1) 4 { 5 SqlHelper helper = new SqlHelper(); 6 helper.Insert(title, content, categoryID,linkurl); 7 } 8 9 /// <summary> 10 /// 通過Url地址獲取具體網頁內容 發起一個請求獲得html內容 11 /// </summary> 12 /// <param name="strUrl"></param> 13 /// <returns></returns> 14 public string SendUrl(string strUrl) 15 { 16 try 17 { 18 WebRequest webRequest = WebRequest.Create(strUrl); 19 WebResponse webResponse = webRequest.GetResponse(); 20 StreamReader reader = new StreamReader(webResponse.GetResponseStream()); 21 string result = reader.ReadToEnd(); 22 return result; 23 } 24 catch (Exception ex) 25 { 26 throw ex; 27 } 28 } 29 30 /// <summary> 31 /// 分析Html 解析出里面具體的數據 32 /// </summary> 33 /// <param name="htmlContent"></param> 34 public void AnalysisHtml(string htmlContent) 35 {//這個就是我在regulator正則表達式工具中拼接獲取到的正則表達式 還有一點請注意就是轉義字符的問題 36 string strPattern = "<div\\s*class=\"post_item\">\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*<div\\s*class=\"post_item_body\">\\s*<h3><a\\s*class=\"titlelnk\"\\s*href=\"(?<href>.*)\"\\s*target=\"_blank\">(?<title>.*)</a>.*\\s*<p\\s*class=\"post_item_summary\">\\s*(?<content>.*)\\s*</p>"; 37 38 Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant); 39 if (regex.IsMatch(htmlContent)) 40 { 41 MatchCollection matchCollection = regex.Matches(htmlContent); 42 foreach (Match match in matchCollection) 43 { 44 string title = match.Groups[2].Value;//獲取到的是列表數據的標題 45 string content = match.Groups[3].Value;//獲取到的是內容 46 string linkurl=match.Groups[1].Value;//獲取到的是鏈接到的地址 47 Insert(title, content,linkurl);//執行插入到數據庫的操作 48 } 49 50 51 } 52 53 } 58 }
4.通過上面的代碼我們可以很輕松的從博客園中獲取我們用來測試的數據，方便快捷，而且真實，比我們手動輸入的速度要快很多。
正則表達式其實不應該算是一種語言，只能算是一種語法，因為任何的語言包括C#，javascript等語言都對正則表達式有很好的支持，只是他們的使用語法稍有不同，其實只要我們可以正確的拼接出正則表達式，那么我們抓取任何網站的內容都可以很輕松的做到。前一段我試着抓取了淘寶的數據，一共抓取了有幾百萬條，我想應該還有很多沒有抓取到，不得不佩服淘寶，數據量太大。
回到我們使用的C#語言上，其實對正則表達式也有着非常好的支持，Regex就是用來對正則表達式進行操作的類，所有的對正則表達式的操作都在這個類中。
如果你對正則表達式還不是太熟悉，網上有一篇正則表達式30分鍾入門教程，大家可以參考一下，寫的很不錯。再加上使用一個正則表達式工具，相信可以抓取到任何你想的內容。
在拼接正則表達式的時候，可能會花費很長時間，畢竟要分析html結構，從中抓取內容。希望大家可以沉住氣，因為只要正則表達式拼接正確，那么一定可以抓取正確的內容。
為了避免大家說只說不做，那么我就把我抓取的博客園首頁內容秀一下，因為博客園首頁數據會有更新，所以大家可以看到這些數據都是在博客園中順序存在的。
博客園每頁列表是20條，一共200頁，所以一共是4000條。數據抓取正確。
我以前說過，只是會代碼的程序員不一定是合格程序員，程序員應該盡可能的減少自己的工作量，因為我們都是高智商的人。所以我們應該積極的學習各種對我們的工作有幫助的框架或者是方法，比如IOC、Entity Framework或Nhibernate框架來減輕我們開發維護代碼的負擔，畢竟我們聽到需求要更改的反映，一般都是憤怒，然后大罵，最后才是修改。有些框架能夠幫助我們，給我們維護代碼帶來好心情，何樂而不為呢。
我最后說一句，因為我要開發一個簡單的仿照博客園的網站（MVC3），所以會用到各種技術准備，我提前寫出來把這些要用到的內容整理一下，為以后的開發加速。
下一次，我准備整理一下在MVC中使用文本編輯器KindEditor的方法，希望大家如果有好的意見或者資料可以提供一下，讓我也增加一些見識。謝謝各位
索引：
| Asp.net MVC 使用Autofac的簡單使用 IOC (2012-12-12 13:16) | ||||||
| Asp.net MVC 仿照博客園的簡單網站首頁 列表設計 (2012-12-11 22:21) | ||||||
| 為什么要從Web form過渡到MVC中 (2012-12-09 22:4) | ||||||
| Asp.net MVC3 企業網站系統高仿博客園 首頁左側列表頁面 實現效果 (2012-12-08 19:11) | ||||||
| Asp.net MVC 3 開發企業網站系統仿照博客園部分功能--總體設計 (2012-12-05 23:41) | ||||||
| Asp.net MVC 3 開發簡單的企業系統開篇--數據庫 (2012-12-03 21:03) | ||||||
| Asp.net MVC 3 開發一個簡單的企業網站系統 |