12篇學通C#網絡編程——第三篇 HTTP應用編程（下）

 

    第三篇來的好晚啊，上一篇說了如何向服務器推送信息，這一篇我們看看如何"快好准"的從服務器下拉信息。

    網絡上有很多大資源文件，比如供人下載的zip包，電影（你懂的），那么我們如何快速的進行下載，大家第一反應肯定就是多線程下載，

那么這些東西是如何做的呢？首先我們可以從“QQ的中轉站里面拉一個rar下來“。

然后用fiddler監視一下，我們會發現一個有趣的現象：

第一：7.62*1024*1024≈7990914  千真萬確是此文件

第二：我明明是一個http鏈接，tmd的怎么變成n多個了？有意思。

好，我們繼續往下看，看看這些鏈接都做了些什么？

最終，我們發現http協議中有一個Conent—Range字段，能夠把我們的文件總大小進行切分，然后並行下載，最后再進行合並，大概我們知道

了什么原理，那么，我們強大的C#類庫提供了AddRange來獲取Http中資源的指定范圍。

 

既然進行了切分，那么首先一定要知道文件的ContentLength是多少，如果對http協議比較熟悉的話，當發送一個頭信息過去，服務器返回的

頭信息中會包含很多東西，此時我們就知道要下載資源的大概情況，這個就有點“兵馬未動，糧草先行“的感覺。

            var request = (HttpWebRequest)HttpWebRequest.Create(url);

            request.Method = "Head";

            request.Timeout = 3000;

            var response = (HttpWebResponse)request.GetResponse();

            var code = response.StatusCode;

            if (code != HttpStatusCode.OK)
            {
                Console.WriteLine("下載資源無效！");
                return;
            }

            var total = response.ContentLength;

 

這里有個決策，到底是以下載量來決定線程數，還是以線程數來決定下載量，由於我們的下載取決於當前的網速，所以在這種場合下更好的方案是

采用后者，這幾天在閃存里面兩次看到蒼老師，肅然起敬，所以決定在不用線程和線程的情況下，看看下載倉老師的速度如何。

圖片大小(217.27KB)

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.Threading;
using System.Threading.Tasks;
using System.IO;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Drawing;


namespace ConsoleApplication1
{
    public class Program
    {
        public static CountdownEvent cde = new CountdownEvent(0);

        //每個線程下載的字節數，方便最后合並
        public static ConcurrentDictionary<long, byte[]> dic = new ConcurrentDictionary<long, byte[]>();

        //請求文件
        public static string url = "http://www.pncity.net/bbs/data/attachment/forum/201107/30/1901108yyd8gnrs2isadrr.jpg";

        static void Main(string[] args)
        {
            for (int i = 0; i < 1; i++)
            {
                Console.WriteLine("\n****************************\n第{0}次比較\n****************************", (i + 1));

                //不用線程
                //RunSingle();

                //使用多線程
                RunMultiTask();
            }

            Console.Read();
        }

        static void RunMultiTask()
        {
            Stopwatch watch = Stopwatch.StartNew();

            //開5個線程
            int threadCount = 5;

            long start = 0;

            long end = 0;

            var total = GetSourceHead();

            if (total == 0)
                return;

            var pageSize = (int)Math.Ceiling((Double)total / threadCount);

            cde.Reset(threadCount);

            Task[] tasks = new Task[threadCount];

            for (int i = 0; i < threadCount; i++)
            {
                start = i * pageSize;

                end = (i + 1) * pageSize - 1;

                if (end > total)
                    end = total;

                var obj = start + "|" + end;

                tasks[i] = Task.Factory.StartNew(j => new DownFile().DownTaskMulti(obj), obj);
            }

            Task.WaitAll(tasks);

            var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

            FileStream fs = new FileStream(targetFile, FileMode.Create);

            var result = dic.Keys.OrderBy(i => i).ToList();

            foreach (var item in result)
            {
                fs.Write(dic[item], 0, dic[item].Length);
            }

            fs.Close();

            watch.Stop();

            Console.WriteLine("多線程：下載耗費時間:{0}", watch.Elapsed);
        }

        static void RunSingle()
        {
            Stopwatch watch = Stopwatch.StartNew();

            if (GetSourceHead() == 0)
                return;

            var request = (HttpWebRequest)HttpWebRequest.Create(url);

            var response = (HttpWebResponse)request.GetResponse();

            var stream = response.GetResponseStream();

            var outStream = new MemoryStream();

            var bytes = new byte[10240];

            int count = 0;

            while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
            {
                outStream.Write(bytes, 0, count);
            }

            var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

            FileStream fs = new FileStream(targetFile, FileMode.Create);

            fs.Write(outStream.ToArray(), 0, (int)outStream.Length);

            outStream.Close();

            response.Close();

            fs.Close();

            watch.Stop();

            Console.WriteLine("不用線程：下載耗費時間:{0}", watch.Elapsed);
        }

        //獲取頭信息
        public static long GetSourceHead()
        {
            var request = (HttpWebRequest)HttpWebRequest.Create(url);

            request.Method = "Head";
            request.Timeout = 3000;

            var response = (HttpWebResponse)request.GetResponse();

            var code = response.StatusCode;

            if (code != HttpStatusCode.OK)
            {
                Console.WriteLine("下載的資源無效！");
                return 0;
            }

            var total = response.ContentLength;

            Console.WriteLine("當前資源大小為:" + total);

            response.Close();

            return total;
        }
    }

    public class DownFile
    {
        // 多線程下載
        public void DownTaskMulti(object obj)
        {
            var single = obj.ToString().Split('|');

            long start = Convert.ToInt64(single.FirstOrDefault());

            long end = Convert.ToInt64(single.LastOrDefault());

            var request = (HttpWebRequest)HttpWebRequest.Create(Program.url);

            request.AddRange(start, end);

            var response = (HttpWebResponse)request.GetResponse();

            var stream = response.GetResponseStream();

            var outStream = new MemoryStream();

            var bytes = new byte[10240];

            int count = 0;

            while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
            {
                outStream.Write(bytes, 0, count);
            }

            outStream.Close();

            response.Close();

            Program.dic.TryAdd(start, outStream.ToArray());

            Program.cde.Signal();
        }
    }
}

 

 

      在下面的圖中可以看出，我們的資源被分成了n段，在217.27KB的情況下，多線程加速還不是很明顯，我們可以試試更大的文件，這里我就

在本地放一個133M的rar文件。

        //請求文件
        public static string url = "http://localhost:56933/1.rar";

現在看一下效果是非常明顯的。