單詞統計之單詞頻率統計

　　

第1步：輸出單個文件中的前 N 個最常出現的英語單詞。

功能1：輸出文件中所有不重復的單詞，按照出現次數由多到少排列，出現次數同樣多的，以字典序排列。

功能2： 指定文件目錄，對目錄下每一個文件執行統計的操作。 

功能3：指定文件目錄，是會遞歸遍歷目錄下的所有子目錄的文件進行統計單詞的功能。

功能4：輸出出現次數最多的前 n 個單詞， 

 例如， 提示統計統計前多少名：輸入10。 就是輸出最常出現單詞的前 10 名。 當沒有指明數量的時候，我們默認列出所有單詞的頻率。

第2步：第二步:  支持 stop words

在一本小說里， 頻率出現最高的單詞一般都是 "a",  "it", "the", "and", "this", 這些詞， 可以做一個 stop word 文件 （停詞表）， 在統計詞匯的時候，跳過這些詞。  我們把這個文件叫 "stopwords.txt" file. 

第三步:  想看看常用的短語是什么， 怎么辦呢？ 

先定義短語："兩個或多個英語單詞， 它們之間只有空格分隔".   請看下面的例子：

 

　　hello world   //這是一個短語

 

　　hello, world //這不是一個短語

 

同一頻率的詞組， 按照字典序來排列。

第四步：把動詞形態都統一之后再計數。

想找到常用的單詞和短語，但是發現英語動詞經常有時態和語態的變化，導致同一個詞，同一個短語卻被認為是不同的。 怎么解決這個問題呢？

假設我們有這樣一個文本文件，這個文件的每一行都是這樣構成：

動詞原型  動詞變形1 動詞變形2... ，詞之間用空格分開。

e.g.  動詞 TAKE 有下面的各種變形：take takes took taken taking

我們希望在實現上面的各種功能的時候，有一個選項， 就是把動詞的各種變形都歸為它的原型來統計。 

功能 支持動詞形態的歸一化

實驗代碼：

package sy0509_ZiMu;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;


public class sy0509 {
public static void main(String[] args)throws IOException
{
    List<Integer> list=new ArrayList<>();
    DecimalFormat df=new DecimalFormat("######0.00");    //格式化
    File f = new File("D:\\飄英文版.txt");
     FileInputStream fip = new FileInputStream("D:\\飄英文版.txt");
    InputStreamReader reader = new InputStreamReader(fip, "gbk");
    StringBuffer sb = new StringBuffer();
    while (reader.ready()) {
        sb.append((char) reader.read());
    }
    System.out.println(sb.toString());
    reader.close();
    fip.close();
    
    int i;
    String A=sb.toString();
    String M="abcdefghijklmnopqrstuvwxyz";
   String temp = "";
    char NUM[]=new char[A.length()];
    char Z[]=new char[26];
    int X[]=new int[26];
    int MAX=0;
    Z=M.toCharArray();
    for(int k=0;k<26;k++)
    {
        X[k]=0;
    for(i=0;i<A.length();i++)
    {
        NUM[i]=A.charAt(i);
        if(Z[k]==NUM[i]||Z[k]==ch(NUM[i]))
        {
            X[k]++;
        }
    }
    }
    System.out.println("這篇文章中英文字母個數分別為:");
    double sum=0;
    System.out.println("////////////排序如下:");
    for(i=0;i<25;i++)
    for(int k=0;k<25-i;k++)
    {
    if(X[k]<X[k+1])
    {
    int temp2=X[k];
    X[k]=X[k+1];
    X[k+1]=temp2;
    char temp3=Z[k];
    Z[k]=Z[k+1];
    Z[k+1]=temp3;
    }
    }
    for(i=0;i<26;i++)
    {
    System.out.println(Z[i]+"字母個數為:"+X[i]);
    sum=sum+X[i];
    }
    for(i=0;i<26;i++)
    {
    double jkl=(X[i])/sum*100;
    System.out.println(Z[i]+"字母頻率為:"+df.format(jkl)+"%");
    }
    StringTokenizer st = new StringTokenizer(sb.toString(),",.! \n");
    String []a1=StatList(sb.toString());
    int[]b1=StatList1(sb.toString());
    System.out.println("//////////////////////////////");
    for(i=0;i<a1.length-1;i++)
    for(int j=0;j<a1.length-1-i;j++)
    {
    if(b1[j]<b1[j+1])
    {
    int temp6=b1[j];
    b1[j]=b1[j+1];
    b1[j+1]=temp6;
    String temp7=a1[j];
    a1[j]=a1[j+1];
    a1[j+1]=temp7;
    }
    }
    for(i=0;i<a1.length-1;i++)
    {
    System.out.println("單詞:"+a1[i]+" 且出現的次數:"+b1[i]);
    }
    }
    static char ch(char c)
    {
    if(!(c>=97&&c<=122))
    c+=32;
    return c;
    }
    static String[] StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打開一個哈希表
    String[] slist = str.split("\\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚無此單詞
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在將次數加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );
    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    a[temp]=word;
    temp++;
    }
    return a;
    }
    static int[] StatList1(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打開一個哈希表
    String[] slist = str.split("\\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚無此單詞
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在將次數加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );

    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    b[temp1]=has.get(word);
    temp1++;
    }
    return b;
    }
}//jcc
package sy0509_ZiMu;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;


public class sy0509 {
public static void main(String[] args)throws IOException
{
    List<Integer> list=new ArrayList<>();
    DecimalFormat df=new DecimalFormat("######0.00");    //格式化
    File f = new File("D:\\飄英文版.txt");
     FileInputStream fip = new FileInputStream("D:\\飄英文版.txt");
    InputStreamReader reader = new InputStreamReader(fip, "gbk");
    StringBuffer sb = new StringBuffer();
    while (reader.ready()) {
        sb.append((char) reader.read());
    }
    System.out.println(sb.toString());
    reader.close();
    fip.close();
    
    int i;
    String A=sb.toString();
    String M="abcdefghijklmnopqrstuvwxyz";
   String temp = "";
    char NUM[]=new char[A.length()];
    char Z[]=new char[26];
    int X[]=new int[26];
    int MAX=0;
    Z=M.toCharArray();
    for(int k=0;k<26;k++)
    {
        X[k]=0;
    for(i=0;i<A.length();i++)
    {
        NUM[i]=A.charAt(i);
        if(Z[k]==NUM[i]||Z[k]==ch(NUM[i]))
        {
            X[k]++;
        }
    }
    }
    System.out.println("這篇文章中英文字母個數分別為:");
    double sum=0;
    System.out.println("////////////排序如下:");
    for(i=0;i<25;i++)
    for(int k=0;k<25-i;k++)
    {
    if(X[k]<X[k+1])
    {
    int temp2=X[k];
    X[k]=X[k+1];
    X[k+1]=temp2;
    char temp3=Z[k];
    Z[k]=Z[k+1];
    Z[k+1]=temp3;
    }
    }
    for(i=0;i<26;i++)
    {
    System.out.println(Z[i]+"字母個數為:"+X[i]);
    sum=sum+X[i];
    }
    for(i=0;i<26;i++)
    {
    double jkl=(X[i])/sum*100;
    System.out.println(Z[i]+"字母頻率為:"+df.format(jkl)+"%");
    }
    StringTokenizer st = new StringTokenizer(sb.toString(),",.! \n");
    String []a1=StatList(sb.toString());
    int[]b1=StatList1(sb.toString());
    System.out.println("//////////////////////////////");
    for(i=0;i<a1.length-1;i++)
    for(int j=0;j<a1.length-1-i;j++)
    {
    if(b1[j]<b1[j+1])
    {
    int temp6=b1[j];
    b1[j]=b1[j+1];
    b1[j+1]=temp6;
    String temp7=a1[j];
    a1[j]=a1[j+1];
    a1[j+1]=temp7;
    }
    }
    for(i=0;i<a1.length-1;i++)
    {
    System.out.println("單詞:"+a1[i]+" 且出現的次數:"+b1[i]);
    }
    }
    static char ch(char c)
    {
    if(!(c>=97&&c<=122))
    c+=32;
    return c;
    }
    static String[] StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打開一個哈希表
    String[] slist = str.split("\\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚無此單詞
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在將次數加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );
    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    a[temp]=word;
    temp++;
    }
    return a;
    }
    static int[] StatList1(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打開一個哈希表
    String[] slist = str.split("\\W+");
    int sum=0;
    int sum1=0;
    for (int i = 0; i < slist.length; i++) {
    if (!has.containsKey(slist[i])) { // 若尚無此單詞
    has.put(slist[i], 1);
    sum++;
    sum1++;
    } else {//如果有，就在將次數加1
    Integer nCounts = has.get(slist[i]);

    has.put(slist[i],nCounts+1 );

    }
    }
    int temp=0;
    int temp1=0;
    String []a=new String[sum];
    int []b=new int[sum1];
    Iterator iterator = has.keySet().iterator();
    while(iterator.hasNext()){
    String word = (String) iterator.next();
    b[temp1]=has.get(word);
    temp1++;
    }
    return b;
    }
}

實驗結果：