Winform中導出Excel數據量百萬級的處理辦法-導出為csv文件

場景

Winform中通過NPOI導出Excel的三種方式(HSSFWorkbook，XSSFWorkbook，SXSSFWorkbook)附代碼下載：

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/106423452

在上面介紹的第三種方式中通過SXSSFWorkbook就是應對數據量特別大的情況下，

但是SXSSFWorkbook的方式雖然對內存占用較小，不對導致內存溢出，但是其導出的時間會特別長。

而且還會在你的C盤目錄下生成一些臨時文件，占用你的C盤空間。

具體實現方式參照上面的博客。

但是比較好的方面就是它導出的是正常的xlsx的后綴的excel文件，即能包含多個sheet頁。

如果要是對多sheet頁沒有要求，可將大數據量分批次生成csv文件的格式，每個csv文件100萬條記錄

注：

博客主頁：
https://blog.csdn.net/badao_liumang_qizhi
關注公眾號
霸道的程序猿
獲取編程相關電子書、教程推送與免費下載。

實現

首先新建一個Winform程序，然后新建一個頁面，並且拖拽一個按鈕。

為了能構建導出的數據，首先新建一個對象類

    public class DataItem
    {

        public int Age { get; set; }


        public string Name { get; set; }


        public string Address { get; set; }

        public int Sex { get; set; }

        public DateTime Birth { get; set; }

    }

然后進入此頁面的代碼中，先構建一部分導出的數據。

        //數據
        List<DataItem> ItemList = new List<DataItem>() 
        { 
            new DataItem() {Name = "霸道",Age = 24,Address = "中國",Sex = 1,Birth = DateTime.Now},
            new DataItem() {Name = "流氓",Age = 25,Address = "北京",Sex = 0,Birth = DateTime.Now},
            new DataItem() {Name = "氣質",Age = 26,Address = "上海",Sex = 0,Birth = DateTime.Now},
            new DataItem() {Name = "程序猿",Age = 27,Address = "青島",Sex = 1,Birth = DateTime.Now},
        };

 

然后在按鈕的點擊事件中

private void button6_Click(object sender, EventArgs e)
        {
            try
            {
                //要導出的csv文件的存放位置
                string fullPath = System.IO.Path.Combine(@"D:\", "badao.csv");
                FileInfo fi = new FileInfo(fullPath);
                if (!fi.Directory.Exists)
                {
                    fi.Directory.Create();
                }
                FileStream fs = new FileStream(fullPath, System.IO.FileMode.Create, System.IO.FileAccess.Write);
                StreamWriter sw = new StreamWriter(fs, System.Text.Encoding.UTF8);
                StringBuilder data = new StringBuilder();

                //寫出列名稱-第一行
                data.Append("姓名,年齡,地址,性別,生日");
                //換行
                sw.WriteLine(data);

                //構建大數據量
                List<DataItem> bigData = new List<DataItem>();
                for (int i = 0; i < 1000000; i++)
                {
                    DataItem item = new DataItem();
                    item.Name = "霸道" + i;
                    item.Age = i;
                    item.Address = "青島" + i;
                    item.Sex = i;
                    item.Birth = DateTime.Now;
                    bigData.Add(item);

                }

                //新建一個計時器
                System.Diagnostics.Stopwatch timer = new System.Diagnostics.Stopwatch();
                //啟動計時器
                timer.Start();

                //寫出各行數據
                foreach (DataItem item in bigData)
                {

                    data = new StringBuilder();

                    data.Append(item.Name);
                    data.Append(",");
                    data.Append(item.Age);
                    data.Append(",");
                    data.Append(item.Address);
                    data.Append(",");
                    data.Append(item.Sex);
                    data.Append(",");
                    data.Append(item.Birth);
                    data.Append(",");
                    //換行
                    sw.WriteLine(data);

                }
                //關閉
                sw.Close();
                fs.Close();
                //結束計時
                timer.Stop();
                MessageBox.Show("導出成功,花費秒數："+(timer.ElapsedMilliseconds)/1000);
            }
            catch (Exception ex)
            {
                Console.Write(ex);
                MessageBox.Show("導出失敗:"+ex);
            }
            
        }

 

為了增加測試導出大數據量的時間，所以首先構建了一個1000000萬條記錄，然后循環一行一行的追加，

添加一個計時，看看花費了多少時間

 

 

 

此文件的后綴名為csv可以使用Excel打開