玩玩小爬蟲——抓取動態頁面

 

       在ajax橫行的年代，很多網頁的內容都是動態加載的，而我們的小爬蟲抓取的僅僅是web服務器返回給我們的html，這其中就

跳過了js加載的部分，也就是說爬蟲抓取的網頁是殘缺的，不完整的，下面可以看下博客園首頁

從首頁加載中我們看到，在頁面呈現后，還會有5個ajax異步請求，在默認的情況下，爬蟲是抓取不到這些ajax生成的內容的，

這時候要想獲取就必須調用瀏覽器的內核引擎來下載這些動態頁面，目前內核引擎三足鼎立。

Trident： 也就是IE內核，WebBrowser就是基於該內核，但是加載性內比較差。

Gecko： FF的內核，性能相對Trident較好。

WebKit: Safari和Chrome的內核，性能你懂的，在真實場景中還是以它為主。

好了，為了簡單方便，這里使用WebBrowser來玩一把，使用WebBrowser我們要注意以下幾點：

第一：因為WebBrowser在System.Windows.Forms 中，屬於winform控件，所以我們要設置STAThread標記。

第二：winform是事件驅動的，而Console並不會去響事件，所有事件在windows的消息隊列中等待執行，為了不讓程序假死，

         我們需要調用DoEvents方法轉讓控制權，讓操作系統執行其他的事件。

第三：WebBrowser中的內容，我們需要用DomDocument來查看，而不是DocumentText。

判斷一個動態網頁是否加載完畢，一般常會有兩種方法：

①：設定一個最大值，因為每當異步加載一個js，都會觸發一個Navigating和DocumentCompleted事件，所以我們需要在此

       處記錄一下count值即可。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.IO;

namespace ConsoleApplication2
{
    public class Program
    {
        static int hitCount = 0;

        [STAThread]
        static void Main(string[] args)
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.Navigating += (sender, e) =>
            {
                hitCount++;
            };

            browser.DocumentCompleted += (sender, e) =>
            {
                hitCount++;
            };

            browser.Navigate(url);

            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            while (hitCount < 16)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            //寫入文件
            using (StreamWriter sw = new StreamWriter(Environment.CurrentDirectory + "//1.html"))
            {
                sw.WriteLine(gethtml);
            }

            Console.WriteLine("html 文件 已經生成！");

            Console.Read();
        }
    }
}

然后，我們打開生成好的1.html，看看js加載的內容是不是有了。

②： 當然除了通過判斷最大值確定是否已經加載完成，我們還可以通過設定一個Timer來判斷，比如3s，4s，5s后來查看

      WEBbrowser 是否加載完畢。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.IO;

namespace ConsoleApplication2
{
    public class Program
    {
        [STAThread]
        static void Main(string[] args)
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.Navigate(url);

            //先要等待加載完畢
            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            System.Timers.Timer timer = new System.Timers.Timer();

            var isComplete = false;

            timer.Elapsed += new System.Timers.ElapsedEventHandler((sender, e) =>
            {
                //加載完畢
                isComplete = true;

                timer.Stop();
            });

            timer.Interval = 1000 * 5;

            timer.Start();

            //繼續等待 5s，等待js加載完
            while (!isComplete)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            //寫入文件
            using (StreamWriter sw = new StreamWriter(Environment.CurrentDirectory + "//1.html"))
            {
                sw.WriteLine(gethtml);
            }

            Console.WriteLine("html 文件 已經生成！");

            Console.Read();
        }
    }
}

當然，效果依舊，就不截圖了，從上面的兩種寫法來看，我們的WebBrowser都是放在主線程中，下面我們來看看如何放在工作線程上，

很簡單，只要將該工作線程設定為STA模式即可。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;

namespace ConsoleApplication2
{
    public class Program
    {
        static int hitCount = 0;

        //[STAThread]
        static void Main(string[] args)
        {
            Thread thread = new Thread(new ThreadStart(() =>
            {
                Init();
                System.Windows.Forms.Application.Run();
            }));

            //將該工作線程設定為STA模式
            thread.SetApartmentState(ApartmentState.STA);

            thread.Start();

            Console.Read();
        }

        static void Init()
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(browser_DocumentCompleted);

            browser.Navigating += new WebBrowserNavigatingEventHandler(browser_Navigating);

            browser.Navigate(url);

            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            while (hitCount < 16)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            Console.WriteLine(gethtml);
        }

        static void browser_Navigating(object sender, WebBrowserNavigatingEventArgs e)
        {
            hitCount++;
        }

        static void browser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            hitCount++;
        }
    }
}