使用HtmlAgilityPack實現簡單的博客園主頁內容抓取（2014-03-31）

---

 

一、時間：

　　2014-03-31  18:08:32，又到了下班的時間了，忙了一天，也累了，中午都沒吃飯。。。。。

---

 

二、事件：

　　win8剛出來那會，有個想法，想做一個第三方的博客園軟件應用，奈何技術太渣，瑣事良多，只能不了了之，最近想自己做個網站，於是就想抓取園子里面的內容，因為每天看博客都會讓我成長，學到很多！

---

 

三、實現方法：

　　本來想自己存取網頁，利用正則解析頁面，奈何到解析標題時各種問題，而且自己想想也知道效率不是很高，於是就有了使用HtmlAgilityPack（下載地址：http://htmlagilitypack.codeplex.com/，開源的dll，很不錯！）來實現網頁解析，也可以用微軟自己的mshtml，相對而言HtmlAgilityPack更好，於是就用了！

 

---

 

 

四、代碼簡單實現：

using System;
using System.Collections;
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using HtmlAgilityPack;
namespace 測試
{
    class Program
    {
        static void Main(string[] args)
        {
            ////指定請求
            //HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://www.cnblogs.com/#p2");

            ////得到返回
            //HttpWebResponse response = (HttpWebResponse)request.GetResponse();

            ////得到流
            //Stream recStream = response.GetResponseStream();

            ////編碼方式
            //Encoding gb2312 = Encoding.UTF8;

            ////指定轉換為gb2312編碼
            //StreamReader sr = new StreamReader(recStream, gb2312);

            ////以字符串方式得到網頁內容
            //String content = sr.ReadToEnd();

            WebClient wc = new WebClient();
            wc.BaseAddress = "http://www.cnblogs.com/sitehome/p/2";
            wc.Encoding = Encoding.UTF8;
            HtmlDocument doc = new HtmlDocument();
            string html = wc.DownloadString("http://www.cnblogs.com/sitehome/p/2");
            doc.LoadHtml(html);
            string listNode = "/html/body/div[1]/div[4]/div[6]";
            string[] title = new string[20];
            string[] digest = new string[20];
            string[] time = new string[20];
            string[] uriList = new string[20];
            string str;
            HtmlNode node;
            for(int i=0;i<20;i++)
            {
                str = listNode + "/div[" + (i+1) + "]/div[2]/h3[1]";
                node = doc.DocumentNode.SelectSingleNode(str);
                title[i]=node.InnerText;
                str = listNode + "/div[" + (i+1) + "]/div[2]/p[1]";
                node = doc.DocumentNode.SelectSingleNode(str);
                digest[i] = node.InnerText;
                str = listNode + "/div[" + (i+1) + "]/div[2]/div[1]";
                node = doc.DocumentNode.SelectSingleNode(str);
                Regex r = new Regex("\\s20\\d\\d-\\d\\d-\\d\\d\\s\\d\\d:\\d\\d");
                Match m = r.Match(node.InnerText);
                time[i] = m.ToString();

                str = listNode + "/div[" + (i + 1) + "]/div[2]/h3[1]/a[1]";
                node = doc.DocumentNode.SelectSingleNode(str);
                uriList[i] = node.Attributes["href"].Value;
            }
            foreach(string str2 in title)
            {
                Console.WriteLine(str2);
            }
            foreach (string str2 in uriList)
            {
                Console.WriteLine(str2);
            }
            foreach (string str2 in time)
            {
                Console.WriteLine(str2);
            }
            Console.ReadKey();         
        }

 

---

 

五、結果：

 

 

---

 

六、簡單說明：

　　　　　前20行博客主題

　　　　　中間20行博客地址

　　　　　后面20行時間

 

---

 

七、注意：

        1. http://www.cnblogs.com/sitehome/p/2 ：主頁第二頁，前面使用http://www.cnblogs.com/#p2一直不行，看了源碼部分的js才明白，

　　　2.本人技術有限，不喜勿噴，但是歡迎提意見交流，

　　   3.本人新建一群：交友&&知識學習&&職業交流，希望：互幫互助，互相學習。。。。閑人勿進，有意請冒泡一下！