偶然間在網上看到了一篇關於weka好的博文，就記錄了下來……
weka下載地址為http://www.cs.waikato.ac.nz/ml/weka/downloading.html
讀者有時候看到兩個圖片並列，其中一個是原文的，另一個是我實驗時打開的。
一.引入
數據挖掘、機器學習這些字眼，在一些人看來，是門檻很高的東西。誠然，如果做算法實現甚至算法優化，確實需要很多背景知識。但事實是，絕大多數數據挖掘工程師不需要去做算法層面的東西。他們的精力，集中在特征提取、算法選擇和參數調優上。那么，一個可以方便地提供這些功能的工具，便是十分必要的了。而weka，便是數據挖掘工具中的佼佼者。Weka的全名是懷卡托智能分析環境（Waikato Environment for Knowledge Analysis），是一款免費的，非商業化的，基於Java環境下開源的機器學習以及數據挖掘軟件，它和它的源代碼可在其官方網站下載。有趣的是，該軟件的縮寫weka也是New Zealand獨有的一種鳥名，而Weka的主要開發者同時恰好來自新西蘭的the University of Waikato。
下面就是weka鳥，咱看下其風采。
Weka提供的功能有數據處理，特征選擇、分類、回歸、聚類、關聯規則、可視化等。本文將對Weka的使用做一個簡單的介紹，並通過簡單的示例，使大家了解使用weka的流程。本文將僅對圖形界面的操作做介紹，不涉及命令行和代碼層面的東西。
二.工具簡介
窗口右側共有4個應用，分別是
- Explorer：用來進行數據實驗、挖掘的環境，它提供了分類，聚類，關聯規則，特征選擇，數據可視化的功能。
- Experimentor：用來進行實驗，對不同學習方案進行數據測試的環境。
- KnowledgeFlow：功能和Explorer差不多，不過提供的接口不同，用戶可以使用拖拽的方式去建立實驗方案。另外，它支持增量學習。
- SimpleCLI：簡單的命令行界面。
Weka支持很多種文件格式，包括arff、xrff、csv，甚至有libsvm的格式。其中，arff是最常用的格式，我們在這里僅介紹這一種。
Arff全稱是Attribute-Relation File Format，以下是一個arff格式的文件的例子。
%
% Arff file example
%
@relation ‘labor-neg-data’
@attribute ‘duration’ real
@attribute ‘wage-increase-first-year’ real
@attribute ‘wage-increase-second-year’ real
@attribute ‘wage-increase-third-year’ real
@attribute ‘cost-of-living-adjustment’ {‘none’,'tcf’,'tc’}
@attribute ‘working-hours’ real
@attribute ‘pension’ {‘none’,'ret_allw’,'empl_contr’}
@attribute ’standby-pay’ real
@attribute ’shift-differential’ real
@attribute ‘education-allowance’ {‘yes’,'no’}
@attribute ’statutory-holidays’ real
@attribute ‘vacation’ {‘below_average’,'average’,'generous’}
@attribute ‘longterm-disability-assistance’ {‘yes’,'no’}
@attribute ‘contribution-to-dental-plan’ {‘none’,'half’,'full’}
@attribute ‘bereavement-assistance’ {‘yes’,'no’}
@attribute ‘contribution-to-health-plan’ {‘none’,'half’,'full’}
@attribute ‘class’ {‘bad’,'good’}
@data
1,5,?,?,?,40,?,?,2,?,11,’average’,?,?,’yes’,?,’good’
2,4.5,5.8,?,?,35,’ret_allw’,?,?,’yes’,11,’below_average’,?,’full’,?,’full’,'good’
?,?,?,?,?,38,’empl_contr’,?,5,?,11,’generous’,'yes’,'half’,'yes’,'half’,'good’
3,3.7,4,5,’tc’,?,?,?,?,’yes’,?,?,?,?,’yes’,?,’good’
3,4.5,4.5,5,?,40,?,?,?,?,12,’average’,?,’half’,'yes’,'half’,'good’
2,2,2.5,?,?,35,?,?,6,’yes’,12,’average’,?,?,?,?,’good’
3,4,5,5,’tc’,?,’empl_contr’,?,?,?,12,’generous’,'yes’,'none’,'yes’,'half’,'good’
3,6.9,4.8,2.3,?,40,?,?,3,?,12,’below_average’,?,?,?,?,’good’
2,3,7,?,?,38,?,12,25,’yes’,11,’below_average’,'yes’,'half’,'yes’,?,’good’
1,5.7,?,?,’none’,40,’empl_contr’,?,4,?,11,’generous’,'yes’,'full’,?,?,’good’
3,3.5,4,4.6,’none’,36,?,?,3,?,13,’generous’,?,?,’yes’,'full’,'good’
2,6.4,6.4,?,?,38,?,?,4,?,15,?,?,’full’,?,?,’good’
2,3.5,4,?,’none’,40,?,?,2,’no’,10,’below_average’,'no’,'half’,?,’half’,'bad’
這個例子來自於weka安裝目錄data文件下的labor.arff文件，來源於加拿大勞資談判的案例，它根據工人的個人信息，來預測勞資談判的最終結果。文件中，“%”開頭的是注釋。剩余的可以分為兩大部分，頭信息（header information）和數據信息（data information）。
頭信息中，“@relation”開頭的行代表關系名稱，在整個文件的第一行（除去注釋）。格式是@relation <relation-name>“@attribute”開頭的代表特征，格式是@attribute <attribute-name> <datatype>attribute-name是特征的名稱，后面是數據類型，常用數據類型有以下幾種
- numeric，數字類型，包括integer（整數）和real（實數）
- nominal，可以認為是枚舉類型，即特征值是有限的集合，可以是字符串或數字。
- string，字符串類型，值可以是任意的字符串。
從“@data”開始，是實際的數據部分。每一行代表一個實例，可以認為是一個特征向量。各個特征的順序與頭信息中的attribute逐個應，特征值之間用逗號分割。在有監督分類中，最后一列是標注的結果。某些特征的數值如果是缺失的，可以用“？”代替。
使用weka進行數據挖掘的流程如下圖：
其中，在weka內進行的是數據預處理，訓練，驗證這三個步驟。
1）數據預處理：數據預處理包括特征選擇，特征值處理（比如歸一化），樣本選擇等操作。
2）訓練：訓練包括算法選擇，參數調整，模型訓練。
3）驗證：對模型結果進行驗證。
本文剩余部分將以這個流程為主線，以分類為示例，介紹使用weka進行數據挖掘的步驟。
發現我的界面和這個不一樣的，不過為了演示需要，未作改動，知道了因為區域4選擇的不同在區域5顯示的便不同。
三.數據預處理
數據預處理：打開Explorer界面，點“open file”，在weka安裝目錄下，選擇data目錄里的“labor.arff”文件，將會看到如下界面。我們將整個區域分為7部分，下面將分別介紹每部分的功能。
區域1共6個選項卡，用來選擇不同的數據挖掘功能面板，從左到右依次是Preprocess（預處理）、Classify（分類）、Cluster（聚類）、Associate（關聯規則）、Select attribute（特征選擇）和Visualize（可視化）。
區域2提供了打開、保存，編輯文件的功能。打開文件不僅僅可以直接從本地選擇，還可以使用url和db來做數據源。Generate按鈕提供了數據生成的功能，weka提供了幾種生成數據的方法。點開Edit，將看到如下界面
在這個界面，可以看到各行各列對應的值，右鍵每一列的名字(先點擊列名)，可以看到一些編輯數據的功能，這些功能還是比較實用的。
區域3名為Filter，有些人可能會聯想到特征選擇里面的Filter方法，事實上，Filter針對特征（attribute）和樣本（instance）提供了大量的操作方法，功能十分強大。
區域4，可以看到當前的特征、樣本信息，並提供了特征選擇和刪除的功能。在區域4用鼠標選擇單個特征后，區域5將顯示該特征的信息。包括最小值、最大值、期望和標准差。
區域6提供了可視化功能，選擇特征后，該區域將顯示特征值在各個區間的分布情況，不同的類別標簽以不同的顏色顯示。
區域7是狀態欄，沒有任務時，小鳥是坐着的，任務運行時，小鳥會站起來左右搖擺。如果小鳥站着但不轉動，表示任務出了問題。
四.Filters實例
點開Filter下面的choose按鈕，可以看到如下界面
Filters可分為兩大類，supervised(監督、管理)和unsupervised。supervised下的方法需要類別標簽，而unsupervised則不需要。attribute類別表示對特征做篩選，instance表示對樣本做選擇。
Case 1：特征值歸一化
該項功能與類別無關，且是針對attribute的，我們選擇unsupervised -> attribute下面的Normalize。點開Normalize所在的區域(在所選擇的filter上點擊即可)，將看到如下界面。左邊的窗口，有幾個參數可以選擇。點擊more，將出現右邊的窗口，該窗口詳細介紹了此功能。
使用默認參數，點擊ok，回到主窗口。在區域4選好將要歸一化的特征，可以是一個或多個，然后點擊apply。在可視化區域中，我們可以看到特征值從1到3被歸一到了0到1之間(看區域5的最大最小值)。
Case 2: 分類器特征篩選
該功能與類別相關，選擇supervised -> attribute下面的AttributeSelection。該界面有兩個選項，evaluator是評價特征集合有效性的方法，search是特征集合搜索的方法。在這里，我們使用InformationGainAttributeEval作為evaluator，使用Ranker作為search，表示我們將根據特征的信息增益值對特征做排序。Ranker中可以設置閾值，低於這個閾值的特征將被扔掉。
點擊apply，可以看到在區域4里特征被重新排序，低於閾值的已被刪掉。
Case 3：選擇分類器錯分的樣本
選擇unsupervised -> instance下面的RemoveMisclassified，可以看到6個參數，classIndex用來設置類別標簽，classifier用來選擇分類器，這里我們選擇J48決策樹，invert我們選擇true，這樣保留的是錯分樣本，numFolds用來設置交叉驗證的參數。設置好參數之后，點擊apply，可以看到樣本的數量從57減少到了7。
五.分類
在Explorer中，打開classify選項卡，整個界面被分成幾個區域。分別是
1）Classifier：點擊choose按鈕，可以選擇weka提供的分類器。常用的分類器有
a）bayes下的Naïve Bayes（朴素貝葉斯）和BayesNet（貝葉斯信念網絡）。
b）functions下的LibLinear、LibSVM（這兩個需要安裝擴展包）、Logistic Regression、Linear Regression。
c）lazy下的IB1（1-NN）和IBK（KNN）。
d）meta下的很多boosting和bagging分類器，比如AdaBoostM1。
e）trees下的J48（weka版的C4.5）、RandomForest。
2）Test options
評價模型效果的方法，有四個選項。
a）Use training set：使用訓練集，即訓練集和測試集使用同一份數據，一般不使用這種方法。
b）Supplied test set：設置測試集，可以使用本地文件或者url，測試文件的格式需要跟訓練文件格式一致。
c）Cross-validation：交叉驗證，很常見的驗證方法。N-folds cross-validation是指，將訓練集分為N份，使用N-1份做訓練，使用1份做測試，如此循環N次，最后整體計算結果。
d）Percentage split：按照一定比例，將訓練集分為兩份，一份做訓練，一份做測試。在這些驗證方法的下面，有一個More options選項，可以設置一些模型輸出，模型驗證的參數。
3）Result list
這個區域保存分類實驗的歷史，右鍵點擊記錄，可以看到很多選項。常用的有保存或加載模型以及可視化的一些選項。
4）Classifier output
分類器的輸出結果，默認的輸出選項有Run information，該項給出了特征、樣本及模型驗證的一些概要信息；Classifier model，給出的是模型的一些參數，不同的分類器給出的信息不同。最下面是模型驗證的結果，給出了 一些常用的一些驗證標准的結果，比如准確率（Precision），召回率（Recall），真陽性率（True positive rate），假陽性率（False positive rate），F值（F-Measure），Roc面積（Roc Area）等。Confusion Matrix給出了測試樣本的分類情況，通過它，可以很方便地看出正確分類或錯誤分類的某一類樣本的數量。
Case 1：使用J48對labor文件做分類
a.打開labor.arff文件，切換到classify面板。
b.選擇trees->J48分類器，使用默認參數。
c.Test options選擇默認的十折交叉驗證，點開More options，勾選Output predictions。
d.點擊start按鈕，啟動實驗。
e.在右側的Classifier output里面，我們看到了實驗的結果。
上圖給出了實驗用的分類器以及具體參數，實驗名稱，樣本數量，特征數量以及所用特征，測試模式。
上圖給出了生成的決策樹，以及葉子節點數、樹的節點數、模型訓練時間。如果覺得這樣不直觀，可以在Result list里面右鍵點擊剛剛進行的實驗，點擊Visualize Tree，可以看到圖形界面的決策樹，十分直觀。
再往下是預測結果，可以看到每個樣本的實際分類，預測分類，是否錯分，預測概率這些信息。
最下面是驗證結果，整體的accuracy是73.68%，bad類准確率是60.9%，召回率70.0%，good類准確率是82.4%，召回率75.7%。
5） 可視化
打開Explorer的Visualize面板，可以看到最上面是一個二維的圖形矩陣，該矩陣的行和列均為所有的特征（包括類別標簽），第i行第j列表示特征i和特征j在二維平面上的分布情況。圖形上的每個點表示一個樣本，不同的類別使用不同的顏色標識。下面有幾個選項，PlotSize可以調整圖形的大小，PointSize可以調整樣本點的大小，Jitter可以調整點之間的距離，有些時候點過於集中，可以通過調整Jitter將它們分散開。
上圖是duration和class兩個特征的圖形，可以看出，duration並不是一個好特征，在各個特征值區間，good和bad的分布差不多。
單擊某個區域的圖形，會彈出另外一個窗口，這個窗口給出的也是某兩個特征之間分布的圖形，不同的是，在這里，通過點擊樣本點，可以彈出樣本的詳細信息。可視化還可以用來查看誤分的樣本，這是非常實用的一個功能。分類結束后，在Result list里右鍵點擊分類的記錄，選擇Visualize classify errors，會彈出如下窗口。
這個窗口里面,十字表示分類正確的樣本，方塊表示分類錯誤的樣本，X軸為實際類別，Y軸為預測類別，藍色為實際的bad，紅色為實際的good。這樣，藍色方塊就表示實際為bad，但為誤分為good的樣本，紅色方塊表示實際為good，被誤分為bad的樣本。單擊這些點，便可以看到該樣本的各個特征值，分析為什么這個樣本被誤分了。
再介紹一個比較實用的功能，右鍵點擊Result list里的記錄，選擇Visualize threshold curve，然后選好類別(bad 還是good)，可以看到如下圖形。
該圖給出的是分類置信度在不同閾值下，分類效果評價標准的對比情況。上圖給出的是假陽性比率和真陽性比率在不同閾值下的對比，其實給出的就是ROC曲線。我們可以通過選擇顏色，方便地觀察不同評價標准的分布情況。如果X軸和Y軸選擇的是准確率和召回率，那我們可以通過這個圖，在這兩個值之間做trade-off，選擇一個合適的閾值。其它的一些可視化功能，不再一一介紹。
六.小結
本文僅僅針對weka的Explorer界面的某些功能做了介紹，Explorer其它的功能，比如聚類、關聯規則、特征選擇，以及Experimentor和KnowledgeFlow界面使用，可以參考weka的官方文檔。另外，weka支持擴展包，可以很方便地把liblinear、libsvm這樣的開源工具放進來。在Linux下面，可以使用weka的命令行進行實驗，具體的使用方法，也請參考weka官方文檔。有這樣一款開源、免費、強大的數據挖掘工具，你還在等什么呢？沒有用過weka的數據挖掘工程師們，趕緊行動吧。
參考來源：百度搜索研發部，原文有刪改。