基於weka的文本分類實現

weka介紹

參見

1)百度百科：http://baike.baidu.com/link?url=V9GKiFxiAoFkaUvPULJ7gK_xoEDnSfUNR1woed0YTmo20Wjo0wYo7uff4mq_wg3WzKhTZx4Ok0JFgtiYY19U4q

2)weka官網: http://www.cs.waikato.ac.nz/ml/weka/

簡單文本分類實現：

此處文本為已處理好的文本向量空間模型，關於文本特征提取主要是基於TF-IDF算法對已分詞文檔進行特征抽取，然后基於已提取特征將所有文檔表示為向量空間模型。

偷個小懶，就用weka自帶的*.arff格式文檔來做實現。

weka對於文本分類提供兩種方式，一種是批量式文本分類，即將所有數據一次性放入內存進行分類處理，這種情況對內存有所要求；為適應大量數據的分類實現，另一種增量式

文本分類，允許分批次導入數據至內存進行分類，這樣就避免了因數據集過大而內存不足的問題。具體實現如下：

1）采用增量式朴素貝葉斯算法進行分類

注：weka中所有增量式分類器都實現了UpdateableClassifier接口，該接口位於weka.classifiers包中。

/**
     * train a classifier using trainSet,then evaluate the classifier on testSet
     * 分類分為兩種：增量、批量
     * 此處為增量式分類：適用於訓練集太大而內存有限的情況
     * 加載數據集（訓練集or測試集），使用ArffLoader
     * @param trainSet:訓練集路徑
     * @param testSet:測試集路徑
     * @return classifier
     *
     */
    private Classifier trainClassifierIncremental(String trainSet,String testSet){
        ArffLoader loader=new ArffLoader();
        Instances instances = null;
        NaiveBayesUpdateable naiveBayesUpdateable=null;
        try {
            //load data
            loader.setFile(new File(trainSet));
            instances=loader.getStructure();
    //        instances.setClassIndex(classIndex);  // 指定分類屬性索引
            instances.setClassIndex(instances.numAttributes()-1); //默認最后一個屬性為分類屬性
            
            // train NaiveBayes ：incremental classifier
            naiveBayesUpdateable=new NaiveBayesUpdateable();
            naiveBayesUpdateable.buildClassifier(instances);
            Instance current;
            while((current=loader.getNextInstance(instances))!=null){
                naiveBayesUpdateable.updateClassifier(current);
            }
            
            //evaluate classifier
            Instances testInstances=new Instances(new FileReader(testSet));
            testInstances.setClassIndex(testInstances.numAttributes()-1);
            Evaluation eval=new Evaluation(instances);
            eval.evaluateModel(naiveBayesUpdateable, testInstances);
            System.out.println(eval.toMatrixString());
            System.out.println(eval.toSummaryString());
            System.out.println(eval.toClassDetailsString());
            
        } catch (Exception e) {
            e.printStackTrace();
        }
        return naiveBayesUpdateable;
    }

其中，Evaluation類，是weka提供的對分類器分類效率進行評估的模塊，通過該模塊的調用，可觀察分類器的各種性能，如召回率、准確率、F值等等。ArffLoader用來加載指

定路徑的數據集，注意該數據集應為.arff格式。

2）采用決策樹算法（J48）進行批量式分類

/**
     * train a classifier using trainSet,then evaluate the classifier on testSet
     * 分類分為兩種：增量、批量
     * 此處為批量式分類：適用於訓練集能夠在內存中存放的情況
     * 加載數據集（訓練集or測試集），使用ArffLoader
     * @param trainSet:訓練集路徑
     * @param testSet:測試集路徑
     * @return classifier
     *
     */
    private Classifier trainClassifierBatch(String trainSet,String testSet){
        ArffLoader loader=new ArffLoader();
        Instances instances = null;
        J48 tree=null;
        try {
            //load data
            loader.setFile(new File(trainSet));
//            instances=loader.getStructure();
            instances=loader.getDataSet();
    //        instances.setClassIndex(classIndex);  // 指定分類屬性索引
            instances.setClassIndex(instances.numAttributes()-1); //默認最后一個屬性為分類屬性
            
            // train NaiveBayes ：incremental classifier
            tree=new J48();
            tree.buildClassifier(instances);
            
            //evaluate classifier
            Instances testInstances=new Instances(new FileReader(testSet));
            testInstances.setClassIndex(testInstances.numAttributes()-1);
            Evaluation eval=new Evaluation(instances);
            eval.evaluateModel(tree, testInstances);
            System.out.println(eval.toMatrixString());
            System.out.println(eval.toSummaryString());
            System.out.println(eval.toClassDetailsString());
            
        } catch (Exception e) {
            e.printStackTrace();
        }
        return tree;
    }

3）關於分類器的評估

weka對於分類器的評估，除了上述明確划分訓練集和測試集，然后以測試集來評估分類性能的方式，還提供了交叉驗證方式，該方式適用於數據集只有一個（即沒有明確划分出訓練集和測試集）的情況，weka在Evaluation類中提供了一個crossValidateModel方法來實現交叉驗證，該方法要求提供一個未訓練的分類器，數據集，交叉驗證折數，一個隨機化種子。

public void crossValidate(String dataSet){
        try {
            // load data
            Instances instances=new Instances(new FileReader(dataSet));
            //evaluate
            Evaluation eval=new Evaluation(instances);
            J48 tree=new J48();
            eval.crossValidateModel(tree, instances, 10, new Random(1));
            System.out.println(eval.toMatrixString());
            System.out.println(eval.toSummaryString());
            System.out.println(eval.toClassDetailsString());
        } catch (FileNotFoundException e) {
            System.out.println("dataSet not found...");
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
        
    }

此處實現采用10折交叉驗證，隨機化種子選取1.

4）對未分類實例進行分類

/**
     * 利用已訓練的分類模型對未分類數據集進行分類
     * @param dataSet:未分類數據集
     * @param cls：已訓練好的分類模型
     * @param labeledSet：分類后數據存放路徑
     */
    public void classifyInstances(String dataSet,Classifier cls,String labeledSet){
        try {
            // load unlabeled data and set class attribute
            Instances unlabeled=new Instances(new FileReader(dataSet));
            unlabeled.setClassIndex(unlabeled.numAttributes()-1);
            // create copy
            Instances labeled = new Instances(unlabeled);
            // label instances
            for (int i = 0; i < unlabeled.numInstances(); i++) {
                double clsLabel = cls.classifyInstance(unlabeled.instance(i));
                labeled.instance(i).setClassValue(clsLabel);
            }
            // save newly labeled data
            DataSink.write(labeledSet, labeled);
            
        } catch (FileNotFoundException e) {
            System.out.println("DataSet,File Not Found...");
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

相關方法簡介：

<--instances.setClassIndex(instances.numAttributes()-1); //默認最后一個屬性為分類屬性 -->

Instances類方法：setClassIndex(int classIndex) 用於設置分類屬性索引， numAttributes()返回instance實例中屬性（特征）個數，即特征向量維度

<--eval.toMatrixString());

eval.toSummaryString();
eval.toClassDetailsString();

-->

• toMatrixString – outputs the confusion matrix.

• toClassDetailsString – outputs TP/FP rates, precision, recall, F-measure,AUC (per class).

輸出結果展示：

=== Confusion Matrix ===

a b c <-- classified as
50 0 0 | a = Iris-setosa
0 47 3 | b = Iris-versicolor
0 3 47 | c = Iris-virginica

Correctly Classified Instances 144 96 %
Incorrectly Classified Instances 6 4 %
Kappa statistic 0.94
Mean absolute error 0.035
Root mean squared error 0.1486
Relative absolute error 7.8697 %
Root relative squared error 31.5185 %
Coverage of cases (0.95 level) 98.6667 %
Mean rel. region size (0.95 level) 37.3333 %
Total Number of Instances 150

=== Detailed Accuracy By Class ===

TP Rate FP Rate Precision Recall F-Measure ROC Area Class
1       0       1      1     1      1     Iris-setosa
0.94 0.03 0.94 0.94 0.94 0.992 Iris-versicolor
0.94 0.03 0.94 0.94 0.94 0.992 Iris-virginica
Weighted Avg. 0.96 0.02 0.96 0.96 0.96 0.995