玩玩小爬蟲——入門

     前段時間做一個產品，盈利方式也就是賣數據給用戶，用wpf包裝一下，當然數據提供方是由公司定向爬蟲采集的，雖然在實際工作

中沒有接觸這一塊，不過私下可以玩一玩，研究研究。

    既然要抓取網頁的內容，肯定我們會有一個startUrl，通過這個startUrl就可以用廣度優先的方式遍歷整個站點，就如我們學習數據結

構中圖的遍歷一樣。

既然有“請求網頁”和“解析網頁”兩部分，在代碼實現上，我們得需要有兩個集合，分別是Todo和Visited集合，為了簡單起見，我們

從單機版爬蟲說起，說起爬蟲，就必然逃避不了海量數據，既然是海量數據，那么性能問題不容忽視，在Todo和Visited集合的甄別

上，我們選擇用Queue和HashSet，畢竟HashSet在定位查找方面只需常量的時間，下面我們用活動圖來闡述一下。

在廣度優先的時候，我們需要注意兩個問題：

①：有的時候網頁是相對地址，我們需要轉化為絕對地址。

②：剔除外鏈。

看看其中我們一個部門的官網，廣度遍歷一下，看看有多少鏈接，當然是剔除外鏈的。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.IO;
using System.Text.RegularExpressions;

namespace ConsoleApplication1
{
    public class Program
    {
        static void Main(string[] args)
        {
            var crawler = new Crawler("http://www.weishangye.com/");

            crawler.DownLoad();

            //show 一下我們爬到的鏈接
            foreach (var item in Crawler.visited)
            {
                Console.WriteLine(item);
            }
        }
    }

    public class Crawler
    {
        //基地址
        public static Uri baseUri;
        public static string baseHost = string.Empty;

        /// <summary>
        /// 工作隊列
        /// </summary>
        public static Queue<string> todo = new Queue<string>();

        //已訪問的隊列
        public static HashSet<string> visited = new HashSet<string>();

        public Crawler(string url)
        {
            baseUri = new Uri(url);

            //基域
            baseHost = baseUri.Host.Substring(baseUri.Host.IndexOf('.'));

            //抓取首地址入隊
            todo.Enqueue(url);
        }

        public void DownLoad()
        {
            while (todo.Count > 0)
            {
                var currentUrl = todo.Dequeue();

                //當前url標記為已訪問過
                visited.Add(currentUrl);

                var request = WebRequest.Create(currentUrl) as HttpWebRequest;

                var response = request.GetResponse() as HttpWebResponse;

                var sr = new StreamReader(response.GetResponseStream());

                //提取url，將未訪問的放入todo表中
                RefineUrl(sr.ReadToEnd());
            }
        }

        /// <summary>
        /// 提取Url
        /// </summary>
        /// <param name="html"></param>
        public void RefineUrl(string html)
        {
            Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");

            MatchCollection mc = reg.Matches(html);

            foreach (Match m in mc)
            {
                var url = m.Groups["url"].Value;

                if (url == "#")
                    continue;

                //相對路徑轉換為絕對路徑
                Uri uri = new Uri(baseUri, url);

                //剔除外網鏈接(獲取頂級域名)
                if (!uri.Host.EndsWith(baseHost))
                    continue;

                if (!visited.Contains(uri.ToString()))
                {
                    todo.Enqueue(uri.ToString());
                }
            }
        }
    }
}

 

當然還有很多優化的地方，既然是開篇也就這樣了，快速入門才是第一位。