c#分頁讀取GB文本文件

應用場景：

a.我在做BI開發測試的時候，有可能面對source文件數GB的情況，如果使用一般的文本編輯器，則會卡死，或要等很久才能顯示出來。

b.有時候，我們使用ascii(01)或ascii(02)作為行或列的分隔符，這樣的臨時文件用於導數據到DB,如果文件導入過程中有錯誤，需要查看文件 的時候，普通的編輯器不支持換行，則會很恐怖。

為解決這兩個需求，我使用c#完成了一個簡單的winform的應用程序。

功能列表：

1.根據配置的行數，寫測試文件，指定行終止符，列分隔符暫時沒有使用上。

2根據指定的行終止符，和pagesize,分頁讀取文件內容，而且可以在text和byte間轉換。

 Sourcecode:

主要的代碼如下，使用了一個迭代器：

private IEnumerator<string> ReadLines(string filename)

{

/*

string line;

using (TextReader reader = File.OpenText(filename))

{

while ((line = reader.ReadLine()) != null)

yield return line;

}

*/

StringBuilder sb = new StringBuilder();

using (FileStream fs = File.OpenRead(filename))

{

int b = 0;

while ((b=fs.ReadByte())!=-1)

{

//textbox3 store the row terminator

if (b.ToString() == textBox3.Text.Trim())

{

yield return sb.ToString();

sb.Clear();

}

else

sb.Append(UnicodeEncoding.ASCII.GetString(new byte[] { byte.Parse(b.ToString()) }));

}

}

}

 

   

   

示例截圖：

我測試了一次，生成了1個億的數據行，在系統中顯示占用6GB的空間，

我嘗試讀寫，無卡頓情況。

可以進一步更新：

根據列行分隔符顯示到gridview中，這樣更清晰。

可以從后往前讀文件。