weka數據挖掘拾遺（二）---- 特征選擇（IG、chi-square)

一、說明

　　IG是information gain 的縮寫，中文名稱是信息增益，是選擇特征的一個很有效的方法（特別是在使用svm分類時）。這里不做詳細介紹，有興趣的可以googling一下。

　　chi-square 是一個常用特征篩選方法，在種子詞擴展那篇文章中，有詳細說明，這里不再贅述。

二、weka中的使用方法

　　1、特征篩選代碼

package com.lvxinjian.alg.models.feature;

import java.nio.charset.Charset;
import java.util.ArrayList;

import weka.attributeSelection.ASEvaluation;
import weka.attributeSelection.AttributeEvaluator;
import weka.attributeSelection.Ranker;
import weka.core.Instances;

import com.iminer.tool.common.util.FileTool;
/**
 * @Description : 使用Weka的特征篩選方法（目前支持IG、Chi-square）
 * @author Lv Xinjian
 *
 */
public class FeatureSelectorByWeka {
    
    /**
     * @function 使用weka內置的算法篩選特征
     * @param eval 特征篩選方法的對象實例
     * @param data arff格式的數據
     * @param maxNumberOfAttribute 支持的最大的特征個數
     * @param outputPath lex輸出文件
     * @throws Exception
     */
    public void EvalueAndRank(ASEvaluation eval , Instances data ,int maxNumberOfAttribute , String outputPath) throws Exception
    {
        Ranker rank = new Ranker();        
        eval.buildEvaluator(data);
        rank.search(eval, data);
        
         // 按照特定搜索算法對屬性進行篩選 在這里使用的Ranker算法僅僅是屬性按照InfoGain/Chi-square的大小進行排序            
        int[] attrIndex = rank.search(eval, data);
        
         // 打印結果信息 在這里我們了屬性的排序結果                 
        ArrayList<String> attributeWords = new ArrayList<String>();
        for (int i = 0; i < attrIndex.length; i++) {
            //如果權重等於0，則跳出循環
            if (((AttributeEvaluator) eval).evaluateAttribute(attrIndex[i]) == 0)
                break;
            if (i >= maxNumberOfAttribute)
                break;
            attributeWords.add(i + "\t"
                    + data.attribute(attrIndex[i]).name() + "\t" + "1");
        }
        FileTool.SaveListToFile(attributeWords, outputPath, false,
                Charset.forName("utf8"));
    }

}

package com.lvxinjian.alg.models.feature;

import java.io.IOException;

import weka.attributeSelection.ASEvaluation;
import weka.attributeSelection.ChiSquaredAttributeEval;
import weka.attributeSelection.InfoGainAttributeEval;
import weka.core.Instances;
import weka.core.converters.ConverterUtils.DataSource;

import com.iminer.alg.models.generatefile.ParameterUtils;

/**
 * @Description : IG、Chi-square特征篩選
 * @author Lv Xinjian
 *
 */
public class WekaFeatureSelector extends FeatureSelector{        

    /**
     * 最大的特征個數
     */
    private int maxFeatureNum = 10000;
    /**
     * 特征文件保存路徑
     */
    private String outputPath = null;
    /**
     * @Fields rule 對於特征過濾的規則
     */
    private String classname = "CLASS";
    /**
     * 特征篩選方法，默認為IG
     */
    private String selectMethod = "IG";
    
    private boolean Initialization(String options){        
        try {
            String [] paramArrayOfString = options.split(" ");
            
            //初始化特征最大個數 
            String maxFeatureNum = ParameterUtils.getOption("maxFeatureNum", paramArrayOfString);
            if(maxFeatureNum.length() != 0)
                this.maxFeatureNum = Integer.parseInt(maxFeatureNum);
            //初始化類別
            String classname = ParameterUtils.getOption("class", paramArrayOfString);
            if(classname.length() != 0)
                this.classname = classname;
            else{
                System.out.println("use default class name(\"CLASS\")");
            }
            //初始化特征保存路徑
            String outputPath = ParameterUtils.getOption("outputPath", paramArrayOfString);
            if(outputPath.length() != 0)
                this.outputPath = outputPath;
            else{
                System.out.println("please initialze output path.");
                return false;
            }
            String selectMethod = ParameterUtils.getOption("selectMethod", paramArrayOfString);
            if(selectMethod.length() != 0)
                this.selectMethod = selectMethod;
            else{
                System.out.println("use default select method(IG)");
            }
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }            
        return true;
    }
    @Override
    public boolean selectFeature(Object obj ,String options) throws IOException {        
        try {
            if(!Initialization(options))
                return false;        
            Instances data = (Instances)obj;
            data.setClass(data.attribute(this.classname));
            ASEvaluation selector = null;
            if(this.selectMethod.equals("IG"))
                selector = new InfoGainAttributeEval();
            else if(this.selectMethod.equals("CHI"))
                selector = new ChiSquaredAttributeEval();
            FeatureSelectorByWeka attributeSelector = new FeatureSelectorByWeka();    
            attributeSelector.EvalueAndRank(selector, data ,this.maxFeatureNum ,this.outputPath);
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
        return true;            
    }
    
    public static void main(String [] args) throws Exception
    {
        String root = "C:\\Users\\Administrator\\Desktop\\12_05\\模型訓練\\1219\\";
        WekaFeatureSelector selector = new WekaFeatureSelector();
        Instances data = DataSource.read(root + "train.Bigram.arff");
        String options = "-maxFeatureNum 10000 -outputPath lex.txt";
        selector.selectFeature(data, options);
    }
}

 

三、小結

　　其實weka中還提供了一些其它的內嵌特征選擇方法，用起來也比較省事兒，但是這里不在贅述。