在大數據時代,數據挖掘是最關鍵的工作。大數據的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數據庫中發現隱含在其中有價值的、潛在有用的信息和知識的過程,也是一種決策支持過程。其主要基於人工智能,機器學習,模式學習,統計學等。通過對大數據高度自動化地分析,做出歸納性的推理,從中挖掘出潛在的模式,可以幫助企業、商家、用戶調整市場政策、減少風險、理性面對市場,並做出正確的決策。目前,在很多領域尤其是在商業領域如銀行、電信、電商等,數據挖掘可以解決很多問題,包括市場營銷策略制定、背景分析、企業管理危機等。大數據的挖掘常用的方法有分類、回歸分析、聚類、關聯規則、神經網絡方法、Web 數據挖掘等。這些方法從不同的角度對數據進行挖掘。
數據准備的重要性:沒有高質量的挖掘結果,數據准備工作占用的時間往往在60%以上。
(1)分類。分類是找出數據庫中的一組數據對象的共同特點並按照分類模式將其划分為不同的類,其目的是通過分類模型,將數據庫中的數據項映射到摸個給定的類別中。可以應用到涉及到應用分類、趨勢預測中,如淘寶商鋪將用戶在一段時間內的購買情況划分成不同的類,根據情況向用戶推薦關聯類的商品,從而增加商鋪的銷售量。
分類的方法:決策樹——是最流行的分類方法
特點:
a、它的每次划分都是基於最顯著的特征的;
b、所分析的數據樣本被稱作樹根,算法從所有特征中選出一個最重要的,用這個特征把樣本分割成若干子集;
c、重復這個過程,直到所有的分支下面的實例都是“純”的,即子集中各個實例都屬於同一個類別,這樣的分支即可確定為一個葉子節點。在所有子集變成“純”的之后,樹就停止生長了。
決策樹的剪枝:
a、如果決策樹建的過深,容易導致過度擬合問題(即所有的分類結果數量基本一樣,沒有代表性);
b、剪枝通常采用自上而下的方式。每次找出訓練數據中對預測精度貢獻最小的那個分支,剪掉它;
c、簡言之,先讓決策樹瘋狂生長,然后再慢慢往回收縮。整體上往回收縮多少,要根據在測試集上的表現來反復嘗試。
(2)回歸分析。回歸分析反映了數據庫中數據的屬性值的特性,通過函數表達數據映射的關系來發現屬性值之間的依賴關系。它可以應用到對數據序列的預測及相關關系的研究中去。在市場營銷中,回歸分析可以被應用到各個方面。如通過對本季度銷售的回歸分析,對下一季度的銷售趨勢作出預測並做出針對性的營銷改變。
分類的方法:邏輯回歸——是一種常用的分類方法,非常成熟,應用非常廣泛
特點:
a、回歸不只可以用於分類,也能用於發現變量間的因果關系;
b、最主要的回歸模型有多元線性回歸和邏輯回歸;
c、有些時候邏輯回歸不被當作典型的數據挖掘算法。
邏輯回歸的步驟:
a、先訓練,目的是找到分類效果最佳的回歸系數;
b、然后使用訓練得到的一組回歸系數,對輸入的數據進行計算,判定它們所屬的類別
邏輯回歸模型的檢驗:
由於希望模型中的輸入變量與目標變量之間的關系足夠強,為此需要做兩個診斷:
a、對模型整體的檢驗——R2,即全部輸入變量能夠解釋目標變量變異性的百分之多少。R2越大,說明模型擬合得越好;如果R2太小,則模型不可用於預測。
b、回歸系數的顯著性(p-value),如果某個輸入變量對目標變量的作用p-value小於0.05,則可以認為該輸入變量具有顯著作用。對不顯著的輸入變量可以考慮從模型中去掉。
決策樹與邏輯回歸的比較:
1、決策樹由於采用分割的方法,所以能夠深入數據細部,但同時失去了對全局的把握。一個分支一旦形成,它和別的分支或節點的關系就被切斷,以后的挖掘只能在局部中行;
2、邏輯回歸始終着眼於整數數據的擬合,所以對全局模式把握較好;
3、決策樹比較容易上手,需要的數據預處理較少;
4、邏輯回歸模型不能處理缺失值,而且對異常值敏感。因此回歸之前應該處理缺失值,並盡量刪除異常值
分類和回歸分析被稱為有監督學習:
1、有標識;
2、通過模仿做出正確分類的已有數據,從而能夠對新的數據做出比較准確的分類。這就像教小孩學習一樣。
(3)聚類。聚類類似於分類,但與分類的目的不同,是針對數據的相似性和差異性將一組數據分為幾個類別。屬於同一類別的數據間的相似性很大,但不同類別之間數據的相似性很小,跨類的數據關聯性很低。
(4)關聯規則。關聯規則是隱藏在數據項之間的關聯或相互關系,即可以根據一個數據項的出現推導出其他數據項的出現。關聯規則的挖掘過程主要包括兩個階段:第一階段為從海量原始數據中找出所有的高頻項目組;第二極端為從這些高頻項目組產生關聯規則。關聯規則挖掘技術已經被廣泛應用於金融行業企業中用以預測客戶的需求,各銀行在自己的ATM 機上通過捆綁客戶可能感興趣的信息供用戶了解並獲取相應信息來改善自身的營銷。
聚類和關聯規則被稱為無監督學習:
1、無標識;
2、聚類:針對客戶特征進行客戶群划分。由此,我們可以對不同客戶群采取差異化的促銷方式;
3、關聯規則:分析發現購買面包的顧客中有很大比例的人同時購買牛奶,由此我們可以將牛奶與面包放在同一個地方。
(5)神經網絡方法。神經網絡作為一種先進的人工智能技術,因其自身自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數據為特征的處理問題,它的這一特點十分適合解決數據挖掘的問題。典型的神經網絡模型主要分為三大類:第一類是以用於分類預測和模式識別的前饋式神經網絡模型,其主要代表為函數型網絡、感知機;第二類是用於聯想記憶和優化算法的反饋式神經網絡模型,以Hopfield 的離散模型和連續模型為代表。第三類是用於聚類的自組織映射方法,以ART 模型為代表。雖然神經網絡有多種模型及算法,但在特定領域的數據挖掘中使用何種模型及算法並沒有統一的規則,而且人們很難理解網絡的學習及決策過程。
(6)Web數據挖掘。Web數據挖掘是一項綜合性技術,指Web 從文檔結構和使用的集合C 中發現隱含的模式P,如果將C看做是輸入,P 看做是輸出,那么Web 挖掘過程就可以看做是從輸入到輸出的一個映射過程。
當前越來越多的Web 數據都是以數據流的形式出現的,因此對Web 數據流挖掘就具有很重要的意義。目前常用的Web數據挖掘算法有:PageRank算法,HITS算法以及LOGSOM 算法。這三種算法提到的用戶都是籠統的用戶,並沒有區分用戶的個體。目前Web 數據挖掘面臨着一些問題,包括:用戶的分類問題、網站內容時效性問題,用戶在頁面停留時間問題,頁面的鏈入與鏈出數問題等。在Web 技術高速發展的今天,這些問題仍舊值得研究並加以解決。