用百度webuploader分片上傳大文件


  一般在做文件上傳的時候,都是通過客戶端把要上傳的文件上傳到服務器,此時上傳的文件都在服務器內存,如果上傳的是視頻等大文件,那么服務器內存就很緊張,而且一般我們都是用flash或者html5做異步上傳,如果文件比較大的話,即便是客戶端顯示文件已經上傳了100%,還是會有一個比較長時間的等待,而且當前頁面對服務器的請求也會被阻塞。

  正常情況下,一般都是在長傳完成后,在服務器直接保存。

  

1  public void ProcessRequest(HttpContext context)
2         {
3             context.Response.ContentType = "text/plain";
4             //保存文件
5             context.Request.Files[0].SaveAs(context.Server.MapPath("~/1/" + context.Request.Files[0].FileName));
6             context.Response.Write("Hello World");
7         }

  最近項目中用百度開源的上傳組件webuploader,官方介紹webuploader支持分片上傳。具體webuploader的使用方法見官網http://fex.baidu.com/webuploader/。

var uploader = WebUploader.create({
            auto: true,
            swf:'/webuploader/Uploader.swf',
            // 文件接收服務端。
            server: '/Uploader.ashx',
            // 內部根據當前運行是創建,可能是input元素,也可能是flash.
            pick: '#filePicker',
            chunked: true,//開啟分片上傳
            threads: 1,//上傳並發數
            //由於Http的無狀態特征,在往服務器發送數據過程傳遞一個進入當前頁面是生成的GUID作為標示
            formData: {guid:"<%=Guid.NewGuid().ToString()%>"}
        });

  webuploader的分片上傳是把文件分成若干份,然后向你定義的文件接收端post數據,如果上傳的文件大於分片的尺寸,就會進行分片,然后會在post的數據中添加兩個form元素chunk和chunks,前者標示當前分片在上傳分片中的順序(從0開始),后者代表總分片數。

  選擇一個文件后分了7個分片,所以對Uploader.ashx進行了7次post數據的過程。

  

  每次請求中的form元素chunk和chunks以及為了標示是同一個文件的分片的GUID

  

  在服務器端接收到數據后,就可以根據這些參數進行處理了。

  1、按按GUID創建一個臨時文件

  2、把收到的分片數據追加到對應GUID的文件中。

  3、根據上傳的文件名重命名臨時文件

  4、如果沒有分片直接保存

  

public void ProcessRequest(HttpContext context)
        {
            context.Response.ContentType = "text/plain";
            //如果進行了分片
            if (context.Request.Form.AllKeys.Any(m => m == "chunk"))
            {
                //取得chunk和chunks
                int chunk =Convert.ToInt32(context.Request.Form["chunk"]);
                int chunks = Convert.ToInt32(context.Request.Form["chunks"]);

              
                //根據GUID創建用該GUID命名的臨時文件
                string path = context.Server.MapPath("~/1/" + context.Request["guid"]);
                FileStream addFile = new FileStream(path, FileMode.Append, FileAccess.Write);
                BinaryWriter AddWriter = new BinaryWriter(addFile);
                //獲得上傳的分片數據流
                HttpPostedFile file = context.Request.Files[0];
                Stream stream = file.InputStream;

                BinaryReader TempReader = new BinaryReader(stream);
                //將上傳的分片追加到臨時文件末尾
                AddWriter.Write(TempReader.ReadBytes((int)stream.Length));
                //關閉BinaryReader文件閱讀器
                TempReader.Close();
                stream.Close();
                AddWriter.Close();
                addFile.Close();

                TempReader.Dispose();
                stream.Dispose();
                AddWriter.Dispose();
                addFile.Dispose();
                //如果是最后一個分片,則重命名臨時文件為上傳的文件名
                if (chunk == (chunks - 1))
                {
                    FileInfo fileinfo = new FileInfo(path);
                    fileinfo.MoveTo(context.Server.MapPath("~/1/" + context.Request.Files[0].FileName));
                }
            }
            else//沒有分片直接保存
            {
                context.Request.Files[0].SaveAs(context.Server.MapPath("~/1/" + context.Request.Files[0].FileName ));
            }
            context.Response.Write("ok");
        }

  還存在一些問題沒解決,雖然暫時滿足需求

  1、如果上傳並發超過1個的時候,就會出現一個分片上傳服務器還沒處理結束,第二個分片同時就到了,那樣就會出現文件被占用的錯誤。

  2、如果加鎖的辦法解決第一個問題,那加鎖了就肯定會影響效率(同時只有一個進程能訪問保存文件那段代碼)。

  3、文件的順序問題,有個可能是第二個分片先到,然后第一個才到,那么就不能一次追加流到臨時文件了,只能創建多個臨時文件,待所有分片上傳完成后,拼接成一個文件。

  只是個Demo,希望有人幫助解決下存在的問題。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM