記一次網站收錄數和排名的實現

一、前言

      偶然一次在vs2012默認的項目文件夾里發現了以前自己做的一個關於SEO的類庫，主要是用來查詢某個網址的收錄次數還有網站的排行數，后來重構了下，今天拿出來寫篇文章，說說自己是如何思考的並完成的。

 

 

二、問題描述

      首先需要考慮的是能夠支持哪些搜索引擎的查詢，首先是百度，然后是必應、搜狗、搜搜、360。本來想支持Google但是一想不對，根本不好訪問的，所以暫時不算在內。而我們實際要做的就是根據一個網址能夠檢索出這個網址的在各個搜索引擎的收錄次數以及在不同關鍵詞下的網址排行，這里出入的只有網址還有若干的關鍵詞，而輸出則是該網址在不同搜索引擎下的收錄次數以及在各個關鍵詞下的排行數。

      但是這里有個問題，就是排行數，如果檢索的網址在前100還好，如果排名很后面，那么問題就來了，那樣會讓用戶等待很長時間才能看到結果，但是用戶可能只想知道排行前100的具體排名，而那些超過的則只要顯示100以后就可以了，而這些就需要我們前期考慮好，這樣后面的程序才好做。

 

 

三、解決思路

      相信很多人都能夠想到，就是利用WebClient將將需要的頁面下載下來，然后用正則從中獲取我們感興趣的部分，然后利用程序去處理。而關鍵難度就是在這個正則的編寫，首先我們先從簡單的開始。

 

 

四、收錄次數

      首先是網站的收錄次數，我們可以在百度中輸入site:www.cnblogs.com/然后我們就可以看到如下的頁面：

      而我們所需要的收錄次數就是 5,280,000 這段數字，我們接着查看頁面元素：

      接着我們再觀察其他的搜索引擎可以發現都是類似的，所以我們的思路這個時候應該就得出了，最后就是如何組織網址，這部分我們看地址欄?wd=site%3Awww.cnblogs.com%2F這段就知道怎么寫了。

 

      稍等這個時候我們可能心急一個一個實現，這樣后面我們就沒法集中的調用，同時也會影響以后的新增，所以我們要規定一個要實現收錄數功能的抽象類，這樣就能夠在不知曉具體實現的情況統一使用，並且還能夠在以后輕松的新增新的搜索引擎，而這種方式屬於策略模式（Stategry），下面我們來慢慢分析出這個抽象類的具體內容。

 

      首先每個實現這個抽象類的具體類都應該是對應某個搜索引擎，那么就需要有一個基本網址，同時還要留下占位符，比如根據上面百度的這個我們就得出這樣一個字符串

http://www.baidu.com/s?wd=site%3A{0}

      其中{0}就是為真正需要檢索網址的占位符，獲取下載頁面的路徑是所有具體類都需要的所以我們直接將實現放在抽象類中，比如下面的代碼：

       /// <summary>
        /// 服務提供者
        /// </summary>
        protected String SearchProvider { get; set; }

        /// <summary>
        /// 需要檢索的網址
        /// </summary>
        protected String SiteUrl { get; set; }

        /// <summary>
        /// 搜索服務提供網址
        /// </summary>
        protected String BaseUrl { get; set; }

        /// <summary>
        /// 后頁面網址
        /// </summary>
        /// <param name="site">需要查詢的網址</param>
        /// <returns>拼接后的網址</returns>
        protected String GetDownUrl(string site)
        {
            return string.Format(BaseUrl, HttpUtility.UrlEncode(site));
        }

      其中SiteUrl和SearchProvider是用來保存檢索網址和搜索引擎名稱。

 

      上面我們說了將會利用WebClient來下載頁面，所以初始化WebClient的工作也在抽象類中完成，盡可能的減少重復代碼，而為了防止阻塞當前線程所以我們采用了Async方法。

具體代碼如下所示：

        /// <summary>
        /// 查詢在該搜索引擎中的收錄次數
        /// </summary>
        /// <param name="siteurl">網站URL</param>
        public void SearchIncludeCount(string siteurl)
        {
            SiteUrl = siteurl;
            WebClient client = new WebClient();
            client.Encoding = Encoding.UTF8;
            client.DownloadStringCompleted += DownloadStringCompleted;
            client.DownloadStringAsync(new Uri(GetDownUrl(siteurl)));
        }

        /// <summary>
        /// 檢索收錄次數的具體實現
        /// 子類必須要實現該方法
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        protected abstract void DownloadStringCompleted(object sender, DownloadStringCompletedEventArgs e);

      當WebClient完成下載后將會回調DownloadStringCompleted方法，而這個方法的是抽象方法也就意味着具體類必須要實現這個方法。

 

      雖然我們內部的實現是異步的但是對於其他開發者調用這個方法還是同步的，所以我們就需要借助委托因此我們還要新建一個委托類型：

        /// <summary>
        /// 當完成一個網站的收錄查詢后回調
        /// </summary>
        public Action<SiteIncludeCountResult> OnComplatedOneSite { get; set; }

 

 

      其中SiteIncludeCountResult的結構如下所示：

    /// <summary>
    /// 用於網站收錄中委托的參數
    /// </summary>
    public class SiteIncludeCountResult
    {
        /// <summary>
        /// 收錄次數
        /// </summary>
        public long IncludeCount { get; set; }

        /// <summary>
        /// 搜索引擎類型
        /// </summary>
        public String SearchType { get; set; }

        /// <summary>
        /// 網站URL
        /// </summary>
        public String SiteUrl { get; set; }
}

最后還有一個方法用於DownloadStringCompleted完成后回調OnComplatedOneSite委托：
        /// <summary>
        /// 完成處理后調用該方法將結果返回
        /// </summary>
        /// <param name="result">網址的收錄數結果</param>
        protected void SetCompleted(SiteIncludeCountResult result)
        {
            if (OnComplatedOneSite != null)
                OnComplatedOneSite(result);
        }

 

 

      這樣我們需要的抽象類就完成了，下面我們就可以開始實現第一個了，通過上面的截圖我們可以發現要匹配這段字符串的正則表達式很簡單：

百度為您找到相關結果約([\w,]+?)個

      最后再將獲取的字符串去掉逗號就可以強制轉換了，這樣結果就出來了，具體實現就像下面這樣：

    /// <summary>
    /// 百度網站收錄次數查詢
    /// </summary>
    public class BaiDuSiteIncludeCount : SiteIncludeCountBase
    {
        public BaiDuSiteIncludeCount()
        {
            BaseUrl = "http://www.baidu.com/s?wd=site%3A{0}";
            SearchProvider = "百度";
        }

        protected override void DownloadStringCompleted(object sender, DownloadStringCompletedEventArgs e)
        {
            var result = new SiteIncludeCountResult();
            result.SiteUrl = SiteUrl;
            result.SearchType = SearchProvider;
            result.IncludeCount = 0;
            Regex reg = new Regex(@"百度為您找到相關結果約([\w,]+?)個", RegexOptions.IgnoreCase | RegexOptions.Singleline);
            var matchs = reg.Matches(e.Result);
            if (matchs.Count > 0)
            {
                string count = matchs[0].Groups[1].Value.Replace(",", "");
                result.IncludeCount = long.Parse(count);
            }
            SetCompleted(result);
        }
}

      以此類推，其他的都是按照這種就可以了，有興趣的可以下載我的源碼查看。

 

 

五、關鍵詞排名

      我們按照之前的思路，還是要先規定一個抽象類，但是其結構跟上面的抽象類很相似，所以筆者這里直接給出具體的代碼：

    /// <summary>
    /// 實現關鍵詞查詢必須繼承該類
    /// </summary>
    public abstract class KeyWordsSeoBase
    {
        protected String BaseUrl { get; set; }

        protected String SearchProvider { get; set; }

        protected String GetDownUrl(string keyword, string site, long current)
        {
            return String.Format(BaseUrl, HttpUtility.UrlEncode(keyword), current);
        }

        protected void SetCompleted(KeyWordsSeoResult result)
        {
            if (OnComplatedOneKeyWord != null)
            {
                OnComplatedOneKeyWord(result);
            }
        }

        /// <summary>
        /// 完成一個關鍵詞的查詢后回調該委托
        /// </summary>
        public Action<KeyWordsSeoResult> OnComplatedOneKeyWord { get; set; }

        /// <summary>
        /// 查詢指定關鍵詞和網站在該搜索引擎中的排行
        /// 子類需要重寫該方法
        /// </summary>
        /// <param name="keywords">關鍵詞</param>
        /// <param name="site">網站URL</param>
        public abstract void SearchRanking(IEnumerable<string> keywords, string site,long count);
}

      最大的區別在於具體的實現全部集中在SearchRanking中，通過keywords參數可以看出我們會支持多個關鍵詞的查詢，最后不同的就是下載路徑的組織，因為涉及到翻頁所以多了一個參數。

 

      其中KeyWordsSeoResult的結構如下所示：

    /// <summary>
    /// 用於關鍵詞排行查詢的委托參數
    /// </summary>
    public class KeyWordsSeoResult
    {
        /// <summary>
        /// 搜索引擎類型
        /// </summary>
        public String SearchType { get; set; }

        /// <summary>
        /// 關鍵詞
        /// </summary>
        public String KeyWord { get; set; }

        /// <summary>
        /// 排行
        /// </summary>
        public long Ranking { get; set; }
    }

 

 

      廢話不多說，我們來看百度的搜索結果頁：

      以上是筆者在百度中搜索程序員的排名第九個的html結構，或許你會覺得很簡單只要獲取div的id以及網址就可以了，但是很多搜索引擎的路徑並不是直接的路徑，而是會先鏈到百度然后重定向的，如果非要匹配我們就需要多做一件事就是訪問這個路徑得到真實的路徑，那樣就會加大這中間的等待時間，所以筆者采用的是直接截取上圖中的<span class=”g”>后面的內容，這樣就避免了一次請求。（不知道當初筆者怎么想的，實現的時候並沒有采用id那個值而是在內部遞增，估計這個id的序號在翻頁后會出現問題吧），最后亮出我們神聖的正則表達式：

<span\s+class=""(?:g|c-showurl)"">([^/&]*)

 

 

      以為這樣就大公告成了？錯了，在某些結果里面百度會給這個網址加上b標簽，而筆者則采用全部趕盡殺絕的方式，利用正則全部刪掉（反正又不看頁面，只要拿到我想要的就OK了），實現的時候我們可不能直接實現多個關鍵詞的判明，應該是實現一個關鍵詞的，然后循環調用即可了，下面是筆者的單個關鍵詞的實現：

        protected KeyWordsSeoResult SearchFunc(string key, string siteurl, long total)
        {
            var result = new KeyWordsSeoResult();
            result.KeyWord = key;
            result.Ranking = total + 1;
            var reg = new Regex(@"<span\s+class=""(?:g|c-showurl)"">([^/&]*)", RegexOptions.IgnoreCase | RegexOptions.Singleline);
            var replace = new Regex("</?b>", RegexOptions.IgnoreCase | RegexOptions.Singleline);
            var client = new WebClient();
            long current = 0;
            long pos = 0;
            for (; ; )
            {
                String url = GetDownUrl(key, siteurl, current);
                String downstr = client.DownloadString(url);
                downstr = replace.Replace(downstr, "");
                var matchs = reg.Matches(downstr);
                foreach (Match match in matchs)
                {
                    pos++;
                    string suburl = match.Groups[1].Value;
                    try
                    {
                        if (suburl.ToLower() == siteurl.ToLower())
                        {
                            result.Ranking = pos;
                            return result;
                        }
                    }
                    catch
                    {
                        continue;
                    }
                }
                current += 10;
                if (current > total)
                {
                    current -= 10;
                    if (current >= total)
                    {
                        break;
                    }
                    current = total;
                }
            }
            return result;
        }

 

 

      注意for循環的結束部分，這里是用來處理分頁的，以翻到下一頁繼續檢索。其他的大體部分都跟筆者說的一樣，下載頁面->正則匹配->根據匹配結果判斷。剩下的就是SearchRanking的實現，就是循環關鍵詞，只是這里筆者為每個搜索引擎新建線程來實現，當然這不怎么好，所以讀者可以改用更好的方式來做：

        public override void SearchRanking(IEnumerable<string> keywords, string site, long count)
        {
            new Thread(() =>
            {
                foreach (string key in keywords)
                {
                    KeyWordsSeoResult result = SearchFunc(key, site, count);
                    result.SearchType = SearchProvider;
                    SetCompleted(result);
                }
            }).Start();
        }

 

 

 

六、統一管理

      有了這些我們就可以寫出一個簡潔的類來負責管理，筆者這里直接給出代碼：

    /// <summary>
    /// 查詢網站的收錄次數以及排行
    /// </summary>
    public class RankingAndIncludeSeo
    {
        /// <summary>
        /// 關鍵詞列表
        /// </summary>
        public IList<KeyWordsSeoBase> KeyWordsSeoList { get; private set; }
        
        /// <summary>
        /// 收錄次數列表
        /// </summary>
        public IList<SiteIncludeCountBase> SiteIncludeCountList { get; private set; }

        public RankingAndIncludeSeo()
        {
            KeyWordsSeoList = new List<KeyWordsSeoBase>();
            SiteIncludeCountList = new List<SiteIncludeCountBase>();
        }

        /// <summary>
        /// 當完成一個關鍵詞的查詢后回調該委托
        /// </summary>
        public Action<KeyWordsSeoResult> OnComplatedAnyKeyWordsSearch { get; set; }

        /// <summary>
        /// 當完成一個網站的收錄次數查詢后回調該委托
        /// </summary>
        public Action<SiteIncludeCountResult> OnComplatedAnySiteIncludeSearch { get; set; }

        /// <summary>
        /// 查詢網址的排行
        /// </summary>
        /// <param name="keywords">關鍵詞組</param>
        /// <param name="siteurl">查詢的網址</param>
        /// <param name="count">最大限制排行數</param>
        public void SearchKeyWordsRanking(IEnumerable<string> keywords, string siteurl, long count = 100)
        {
            if (keywords == null)
                throw new ArgumentNullException("keywords", "必須存在關鍵詞");
            if (siteurl == null)
                throw new ArgumentNullException("siteurl", "必須存在網站URL");
            foreach (KeyWordsSeoBase kwsb in KeyWordsSeoList)
            {
                kwsb.OnComplatedOneKeyWord = kwsb.OnComplatedOneKeyWord ?? OnComplatedAnyKeyWordsSearch;
                kwsb.SearchRanking(keywords, siteurl, count);
            }
        }

        /// <summary>
        /// 查詢網址的收錄次數
        /// </summary>
        /// <param name="siteurl">查詢的網址</param>
        public void SearchSiteIncludeCount(string siteurl)
        {
            if (siteurl == null)
                throw new ArgumentNullException("siteurl", "必須指定網站");
            foreach (SiteIncludeCountBase sicb in SiteIncludeCountList)
            {
                sicb.OnComplatedOneSite = sicb.OnComplatedOneSite ?? OnComplatedAnySiteIncludeSearch;
                sicb.SearchIncludeCount(siteurl);
            }
        }
}

      RankingAndIncludeSeo中提供了公共的委托，如果單個搜索引擎沒有提供委托那么就采用這個公共的，如果已經指定了單獨的委托就不會被賦值了，而其他開發者調用的時候只要向KeyWordsSeoList和SiteIncludeCountList中添加已經實現的類就可以了，方面其他開發者開發出自己的實現並加入其中。

 

 

七、小節

      這篇隨筆總的來說並不是講述什么高端技術的，僅僅只是提供一種大致的思路以及結構上的設計，如果讀者需要應用於實際開發中，最好加以驗證，筆者並不能保證關鍵詞的排名沒有任何誤差，因為搜索的結果會由於任何因素發生改變。

 

^.^我是源碼下載