基於《美國當代英語語料庫COCA詞頻20000》提取的純單詞文件

最近在背單詞，為了能提高效率，找到一個比較有名的《美國當代英語語料庫COCA詞頻20000 》

來源應該是：http://www.wordfrequency.info/，當然是收費的。

免費的可以在這里下載pdf文件：http://vdisk.weibo.com/s/ctvvyfhPYLfj

由於是pdf文件，且包含大量其他不太有用的信息，就想到提純。

花了半小時寫了個小程序，對pdf文件進行提煉。

這個下載https://sourceforge.net/projects/pdfbox/?source=typ_redirect的相關pdf讀取的dll。

 

 引用上面4個dll，代碼如下

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using org.pdfbox.pdmodel;
using org.pdfbox.util;
using System.IO;

namespace ConsoleApplication6
{
    class Program
    {
        public static void pdf2txt(FileInfo pdffile, FileInfo txtfile)
        {

            PDDocument doc = PDDocument.load(pdffile.FullName);

            PDFTextStripper pdfStripper = new PDFTextStripper();

            string text = pdfStripper.getText(doc);

            StreamWriter swPdfChange = new StreamWriter(txtfile.FullName, false, Encoding.GetEncoding("gb2312"));

            swPdfChange.Write(text);

            swPdfChange.Close();

        }
        static void Main(string[] args)
        {
            pdf2txt(new FileInfo(@"C:\Users\pchome\Desktop\美國當代英語語料庫COCA詞頻20000.pdf"), new FileInfo(@"C:\Users\pchome\Desktop\output.txt"));

        }
     
    }
}

生成output.txt文件，里面包含了pdf文件里的所有內容，不過是排除了格式的。內容大致如下：

然后按照文本文件的排版規律，寫了個提純程序：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using org.pdfbox.pdmodel;
using org.pdfbox.util;
using System.IO;

namespace ConsoleApplication6
{
    class Program
    {
        static void Main(string[] args)
        {
            FileStream fs = new FileStream(@"C:\Users\pchome\Desktop\ok.txt", FileMode.Create);
            StreamWriter sw = new StreamWriter(fs);

            StreamReader sr = File.OpenText(@"C:\Users\pchome\Desktop\output.txt");
            string str = "";
            int counter = 0;
            string word;
            string chix;
            
            while ((str = sr.ReadLine()) != null)
            {
                var lst = str.Split(' ');
                try
                {
                    int seq = Convert.ToInt32(lst[0]);
                    if (counter + 1 == seq)
                    {
                        counter += 1;//詞頻
                        word = Convert.ToString(lst[1]);//單詞
                        chix = Convert.ToString(lst[2]);//詞性
                        string content = counter.ToString() + " " + word + "    " + chix;
                        sw.WriteLine(content);
                        Console.WriteLine(content);
                    }
                }
                catch
                {
                }
            }

            sr.Close();
            //清空緩沖區
            sw.Flush();
            //關閉流
            sw.Close();
            fs.Close();

        }
    }
}

最終得到了一個包含 詞頻 + 單詞 + 詞性 的文本文件。

可以各位同學導入到其他背單詞軟件里，進行學習了

 

 文件下載