用C#實現網絡爬蟲（二）

 

上一篇《用C#實現網絡爬蟲（一）》我們實現了網絡通信的部分，接下來繼續討論爬蟲的實現

 

3. 保存頁面文件

這一部分可簡單可復雜，如果只要簡單地把HTML代碼全部保存下來的話，直接存文件就行了。

private void SaveContents(string html, string url)
{
    if (string.IsNullOrEmpty(html)) //判斷html字符串是否有效
    {
        return;
    }
    string path = string.Format("{0}\\{1}.txt", _path, _index++); //生成文件名

    try
    {
        using (StreamWriter fs = new StreamWriter(path))
        {
            fs.Write(html); //寫文件
        }
    }
    catch (IOException ioe)
    {
        MessageBox.Show("SaveContents IO" + ioe.Message + " path=" + path);
    }

    if (ContentsSaved != null)
    {
        _ui.Dispatcher.Invoke(ContentsSaved, path, url); //調用保存文件事件
    }
}

第23行這里又出現了一個事件，是保存文件之后觸發的，客戶程序可以之前進行注冊。

public delegate void ContentsSavedHandler(string path, string url);

/// <summary>
/// 文件被保存到本地后觸發
/// </summary>
public event ContentsSavedHandler ContentsSaved = null;

 

4. 提取頁面鏈接

提取鏈接用正則表達式就能搞定了，不懂的可以上網搜。

下面的字符串就能匹配到頁面中的鏈接

http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?

詳細見代碼

private string[] GetLinks(string html)
{
    const string pattern = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";
    Regex r = new Regex(pattern, RegexOptions.IgnoreCase); //新建正則模式
    MatchCollection m = r.Matches(html); //獲得匹配結果
    string[] links = new string[m.Count]; 

    for (int i = 0; i < m.Count; i++)
    {
        links[i] = m[i].ToString(); //提取出結果
    }
    return links;
}

5. 鏈接的過濾

不是所有的鏈接我們都需要下載，所以通過過濾，去掉我們不需要的鏈接

這些鏈接一般有：

• 已經下載的鏈接
• 深度過大的鏈接
• 其他的不需要的資源，如圖片、CSS等

//判斷鏈接是否已經下載或者已經處於未下載集合中
private bool UrlExists(string url) 
{
    bool result = _urlsUnload.ContainsKey(url);
    result |= _urlsLoaded.ContainsKey(url);
    return result;
}

private bool UrlAvailable(string url)
{
    if (UrlExists(url))
    {
        return false; //已經存在
    }
    if (url.Contains(".jpg") || url.Contains(".gif")
        || url.Contains(".png") || url.Contains(".css")
        || url.Contains(".js"))
    {
        return false; //去掉一些圖片之類的資源
    }
    return true;
}

private void AddUrls(string[] urls, int depth)
{
    if (depth >= _maxDepth)
    {
        return; //深度過大
    }
    foreach (string url in urls)
    {
        string cleanUrl = url.Trim(); //去掉前后空格
        cleanUrl = cleanUrl.TrimEnd('/'); //統一去掉最后面的'/'
        if (UrlAvailable(cleanUrl))
        {
            if (cleanUrl.Contains(_baseUrl))
            {
                _urlsUnload.Add(cleanUrl, depth); //是內鏈，直接加入未下載集合
            }
            else
            {
                // 外鏈處理
            }
        }
    }
}

 第34行的_baseUrl是爬取的基地址，如http://news.sina.com.cn/，將會保存為news.sina.com.cn，當一個URL包含此字符串時，說明是該基地址下的鏈接；否則為外鏈。

 

_baseUrl的處理如下，_rootUrl是第一個要下載的URL

/// <summary>
/// 下載根Url
/// </summary>
public string RootUrl
{
    get
    {
        return _rootUrl;
    }
    set
    {
        if (!value.Contains("http://"))
        {
            _rootUrl = "http://" + value;
        }
        else
        {
            _rootUrl = value;
        }
        _baseUrl = _rootUrl.Replace("www.", ""); //全站的話去掉www
        _baseUrl = _baseUrl.Replace("http://", ""); //去掉協議名
        _baseUrl = _baseUrl.TrimEnd('/'); //去掉末尾的'/'
    }
}

至此，基本的爬蟲功能實現就介紹完了。

最后附上源代碼和DEMO程序，爬蟲的源代碼在Spider.cs中，DEMO是一個WPF的程序，Test里是一個控制台的單線程版版本。

PageExtractor.zip

 

在下一期中，我們將介紹一些提取出網頁中有效信息的方法，敬請期待。。。