C# 讀取 Excel（大文件）

ASP.NET下C#讀取Excel文件，有好幾種方法，我了解到的有：Microsoft.Office.Interop.Excel.dll 、 Microsoft.Jet.OLEDB 、NPOI，其中NPOI應該是用的比較多的吧，我個人來說比較傾向使用NPOI，很方便。不過今天我的一個小伙伴突然微信我，說她現在的公司需要解析一個上百兆的Excel文件，使用NPOI會有內存溢出的問題，即使根據需求將文件大小控制在最小50M以內還是不行，問我有什么辦法能解決這個問題。

這個問題雖然我沒做深入的了解，但是按照經驗來看很可能是NPOI的瓶頸，或者說是她用的這個版本NPOI版本的瓶頸。

那么這個問題怎么解決呢？上菜！

DocumentFormat.OpenXmlSDK

對，沒錯！就是他，微軟提供的一個讀取Excel的類庫

1、通過NuGet搜索 DocumentFormat.OpenXml

我下載的是第二個，至於為啥是第二個，因為小.... 而且對.NetFramework版本沒有依賴

2、解析Excel

        /// <summary>
        /// 獲取Excel指定工作表數據
        /// </summary>
        /// <param name="filePath">Excel所在路徑</param>
        /// <param name="sheetName">工作表名</param>
        /// <returns></returns>
        public static void GetExcelVlaue(string filePath, string sheetName)
        {
            //打開文件
            SpreadsheetDocument document = SpreadsheetDocument.Open(filePath, false);
            WorkbookPart workbook = document.WorkbookPart;
            IEnumerable<Sheet> sheets = document.WorkbookPart.Workbook.Descendants<Sheet>().Where(s => s.Name == sheetName);//此處改成讀取第一個sheet頁面即可
            if (sheets.Count() == 0)
            {
                //sheet空判斷
            }
            WorksheetPart worksheetPart = (WorksheetPart)document.WorkbookPart.GetPartById(sheets.First().Id);
            Worksheet worksheet = worksheetPart.Worksheet;
            IEnumerable<Row> rows = worksheet.Descendants<Row>();
            foreach (Row row in rows)//獲取行的值
            {
                foreach (Cell cell in row)
                {
                    string columnValue = GetValue(cell, workbook.SharedStringTablePart);
                }
            }
        }

 /// <summary>
        /// 獲取單元格信息  這也是官方獲取值的方法
        /// </summary>
        /// <param name="cell"></param>
        /// <param name="stringTablePart">stringTablePart就是WorkbookPart.SharedStringTablePart，它存儲了所有以SharedStringTable方式存儲數據的子元素。</param>
        /// <returns></returns>
        public static string GetValue(Cell cell, SharedStringTablePart stringTablePart)
        {
            if (cell.ChildElements.Count == 0)
                return null;
            //get cell value
            String value = cell.CellValue.InnerText;
            //Look up real value from shared string table
            if ((cell.DataType != null) && (cell.DataType == CellValues.SharedString))
                value = stringTablePart.SharedStringTable
                    .ChildElements[Int32.Parse(value)]
                    .InnerText;
            return value;
        }

 

親測可用，沒毛病！
400M左右的文件測試三次，數據量在50W條左右，耗時平均在00:01:10左右。
100M左右的文件測試一次，數據量在100W條左右，耗時00:03:47左右。

 

   public void Read()
        {
            DataTable dt = new DataTable();
            Stopwatch watch = new Stopwatch();
            watch.Start();
            using (SpreadsheetDocument spreadSheetDocument = SpreadsheetDocument.Open(@"C:\Users\Administrator\Desktop\大數據.xlsx", false))
            {
                WorkbookPart workbookPart = spreadSheetDocument.WorkbookPart;
                IEnumerable<Sheet> sheets = spreadSheetDocument.WorkbookPart.Workbook.GetFirstChild<Sheets>().Elements<Sheet>();
                string relationshipId = sheets.First().Id.Value = sheets.First(x => x.Name == "Sheet1").Id.Value;
                WorksheetPart worksheetPart = (WorksheetPart)spreadSheetDocument.WorkbookPart.GetPartById(relationshipId);
                Worksheet workSheet = worksheetPart.Worksheet;
                SheetData sheetData = workSheet.GetFirstChild<SheetData>();
                Row[] rows = sheetData.Descendants<Row>().ToArray();

                int count = rows.Count();
                string time1 = watch.Elapsed.ToString();
                log.Error("excel解析完成，數據條數：" + count + "，耗時：" + time1);

                watch.Restart();
                // 設置表頭DataTable
                foreach (Cell cell in rows.ElementAt(0))
                {
                    dt.Columns.Add((string)GetCellValue(spreadSheetDocument, cell));
                }

                // 添加內容
                for (int rowIndex = 1; rowIndex < rows.Count(); rowIndex++)
                {
                    DataRow tempRow = dt.NewRow();

                    for (int i = 0; i < rows[rowIndex].Descendants<Cell>().Count(); i++)
                    {
                        tempRow[i] = GetCellValue(spreadSheetDocument, rows[rowIndex].Descendants<Cell>().ElementAt(i));
                    }
                    dt.Rows.Add(tempRow);
                }

                string time2 = watch.Elapsed.ToString();
                log.Error("data生成結束，耗時：" + time2);
            }
        }

 

 public static string GetCellValue(SpreadsheetDocument document, Cell cell)
        {
            SharedStringTablePart stringTablePart = document.WorkbookPart.SharedStringTablePart;
            string value = cell.CellValue.InnerXml;

            if (cell.DataType != null && (cell.DataType.Value == CellValues.SharedString || cell.DataType.Value == CellValues.String || cell.DataType.Value == CellValues.Number))
            {
                return stringTablePart.SharedStringTable.ChildElements[Int32.Parse(value)].InnerText;
            }
            else //浮點數和日期對應的cell.DataType都為NULL
            {
                // DateTime.FromOADate((double.Parse(value)); 如果確定是日期就可以直接用過該方法轉換為日期對象，可是無法確定DataType==NULL的時候這個CELL 數據到底是浮點型還是日期.(日期被自動轉換為浮點
                return value;
            }
        }

 

 

 

 

 

 

 

感謝：

https://www.cnblogs.com/longshanshan/p/7156036.html