[轉]用C#如何實現大文件的斷點上傳

最近做在做一個項目，涉及到文件上傳的問題。 以前也做過文件上傳。但都是些小文件，不超過2m。 這次要求上傳1g以上的東西。 沒辦法找來資料研究了一下。 基於web的文件上傳可以使用ftp和http兩種協議，用ftp的話雖然傳輸穩定，但安全性是個嚴重的問題，所以沒有考慮。 剩下只有http。 在http中有3種方式，put、webdav、rfc1867，前2種方法不適合大文件上傳，在這里也不說了。  

確定使用rfc1867格式處理之后開始分析流行的上傳組件。看了n多代碼之后發現，目前無組件程序和一些com組件都是使用request.binaryread方法。一次性得到上傳的數據，然后分析處理。這就是為什么上傳大文件很慢的原因了，iis超時不說，就算1g文件上去了，分析處理也得一陣子。 之后我把注意力放在國外商業組件上，比較流行的有power-web，aspupload,activefile,abcupload,aspsmartupload,sa-fileup。其中比較優秀的是aspupload和sa-file，他們號稱可以處理2g的文件(sa-file ee版甚至沒有文件大小的限制)，而且效率也是非常棒，難道編程語言的效率差這么多?(我的編程環境是vb6)  查了一些資料,覺得他們都是直接操作文件流。這樣就不受文件大小的制約。 真是個好方法。 

但老外的東西也不是絕對完美，aspupload處理大文件后,內存占用情況驚人。1g左右都是稀松平常。我用的是3.0.0.3版。至於sa-file雖然是好東西但是破解難尋(郁悶死..) 失望之際，發現2款上傳組件，lion.web.uploadmodule和aspnetupload，都是.net的，估計也是操作文件流。但是上傳速度和cpu占用率都不如老外的商業組件。 

做了個測試，lan內傳1g的文件。aspupload上傳速度平均是4.4m/s，cpu占用10-15，內存占用700m。sa-file也差不多這樣。而aspnetupload最快也只有1.5m/s，平均是700k/s，cpu占用15-39，測試環境:piii800,256m內存,100m lan。我想aspnetupload速度慢是可能因為一邊接收文件，一邊寫硬盤。資源占用低的代價就是降低傳輸速度。 但也不得不佩服老外的程序，cpu占用如此之低.....這樣2個.net的組件也被pass. 

稍帶2個問題就是上傳進度和斷點續傳。 
顯示上傳進度比較簡單，主要是查詢用戶上傳的狀態，用script顯示到瀏覽器中，至於無刷新顯示就要看腳本語言運用的熟練程度了。 
斷點續傳，http方式是實現不了的，因為瀏覽器每次上傳文件都是從頭開始，沒有range標簽。實現的方法只能用activex。 


研究之后決定寫個cgi來處理文件上傳。 這樣可以不走iis以免程序出錯影響網站訪問。小弟比較菜只能用vb6做，完成之后發現win cgi的效率簡直就是差的不能再差。索性寫個file server，專門處理文件的上傳。但是現在遇到一個2個問題。 

一、用winsock控件接收到的文本有亂碼 不知道是程序轉換時的錯誤還是winsock本身垃圾，so 換了powertcp的winsock tool，情況有所好轉 亂碼沒那么多了.........准備換vb.net，直接操作socket，程序還沒做，不知道用.net接收會不會亂碼。再有就哭了。 

二、這個問題就比較初級了....接收到的文件流不能還原成文件..寒一個， 


最后就是如何高效處理文件流, 我想來想去也就只有2種方法，一是都放在內存里，然后一起處理， 二是一邊接收一邊寫文件。 但這2種方法都不盡如人意思

在了解HTTP斷點續傳的原理之前，讓我們先來了解一下HTTP協議，HTTP協議是一種基於tcp的簡單協議，分為請求和回復兩種。請求協議是由客戶機(瀏覽器)向服務器（WEB SERVER）提交請求時發送報文的協議。回復協議是由服務器(web server)，向客戶機(瀏覽器)回復報文時的協議。請求和回復協議都由頭和體組成。頭和體之間以一行空行為分隔。
以下是一個請求報文與相應的回復報文的例子：

GET /image/index_r4_c1.jpg HTTP/1.1
Accept: */*
Referer: http://192.168.3.120:8080
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705)
Host: 192.168.3.120:8080
Connection: Keep-Alive


HTTP/1.1 200 OK
Server: Microsoft-IIS/5.0
Date: Tue, 24 Jun 2003 05:39:40 GMT
Content-Type: image/jpeg
Accept-Ranges: bytes
Last-Modified: Thu, 23 May 2002 03:05:40 GMT
ETag: "bec48eb862c21:934"
Content-Length: 2827

….

 

　　下面我們就來說說"斷點續傳"，顧名思義，斷點續傳就是在上一次下載時斷開的位置開始繼續下載。
在HTTP協議中，可以在請求報文頭中加入Range段，來表示客戶機希望從何處繼續下載。

　　比如說從第1024字節開始下載，請求報文如下：

 

GET /image/index_r4_c1.jpg HTTP/1.1
Accept: */*
Referer: http://192.168.3.120:8080
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705)
Host: 192.168.3.120:8080
Range:bytes=1024-
Connection: Keep-Alive

.NET中的相關類

　　明白了上面的原理，那么，我們來看看.NET FRAMEWORK中為我們提供了哪些類可以來做這些事。

　　完成HTTP請求

System.Net.HttpWebRequest

　　HttpWebRequest 類對 WebRequest 中定義的屬性和方法提供支持，也對使用戶能夠直接與使用 HTTP 的服務器交互的附加屬性和方法提供支持。

　　HttpWebRequest 將發送到 Internet 資源的公共 HTTP 標頭值公開為屬性，由方法或系統設置。下表包含完整列表。可以將 Headers 屬性中的其他標頭設置為名稱/值對。但是注意，某些公共標頭被視為受限制的，它們或者直接由 API公開，或者受到系統保護，不能被更改。Range也屬於被保護之列，不過，.NET為開發者提供了更方便的操作，就是 AddRange方法，向請求添加從請求數據的開始處或結束處的特定范圍的字節范圍標頭

　　完成文件訪問

System.IO.FileStream

　　FileStream 對象支持使用Seek方法對文件進行隨機訪問, Seek 允許將讀取/寫入位置移動到文件中的任意位置。這是通過字節偏移參考點參數完成的。字節偏移量是相對於查找參考點而言的，該參考點可以是基礎文件的開始、當前位置或結尾，分別由SeekOrigin類的三個屬性表示。

　　代碼實現

　　了解了.NET提供的相關的類，那么，我們就可以方便的實現了。

　　代碼如下：

static void Main(string[] args)
{

string StrFileName="c://aa.zip"; //根據實際情況設置
string StrUrl="http://www.xxxx.cn/xxxxx.zip"; //根據實際情況設置

//打開上次下載的文件或新建文件
long lStartPos =0;
System.IO.FileStream fs;
if (System.IO.File.Exists(StrFileName))
{
fs= System.IO.File.OpenWrite(StrFileName);
lStartPos=fs.Length;
fs.Seek(lStartPos,System.IO.SeekOrigin.Current); //移動文件流中的當前指針
}
else
{
fs = new System.IO.FileStream(StrFileName,System.IO.FileMode.Create);
lStartPos =0;
}

//打開網絡連接
try
{
System.Net.HttpWebRequest request =(System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(StrUrl);
if ( lStartPos>0)
request.AddRange((int)lStartPos); //設置Range值

//向服務器請求，獲得服務器回應數據流
System.IO.Stream ns= request.GetResponse().GetResponseStream();

byte[] nbytes = new byte[512];
int nReadSize=0;
nReadSize=ns.Read(nbytes,0,512);
while( nReadSize >0)
{
fs.Write(nbytes,0,nReadSize);
nReadSize=ns.Read(nbytes,0,512);
}
fs.Close();
ns.Close();
Console.WriteLine("下載完成");
}
catch(Exception ex)
{
fs.Close();
Console.WriteLine("下載過程中出現錯誤:"+ex.ToString());
}
}