ps：由於篇幅問題，這篇博客主要介紹數據挖掘標准化流程中的project understanding問題，剩下的5個方面，特別是modeling等涉及具體算法的部分會在后續的博客中以結合orange和knime等開源軟件或者是一些python小程序的形式寫下去 本文的一部分是翻譯 ...

1、 統計學與數據挖掘的區別： 統計學主要利用概率論建立數學模型，是研究隨機現象的常用數學工具之一。 數據挖掘分析大量數據，發現其中的內在聯系和知識，並以模型或規則表達這些知識。 雖然兩者采用的某些分析方法（如回歸分析）是相同的，但是數據挖掘和統計學 ...

　　這三個領域或學科交叉和重疊部分很多，數據挖掘，機器學習和統計學習的概念一直有或多或少的混淆，希望同樣有我這樣的困惑的朋友讀完下面的文字能夠清晰一些。 　　數據庫提供數據管理技術，機器學習和統計學提供數據分析技術。由於統計學界往往醉心於理論的優美而忽視實際的效用，因此，統計學界提供的很多技術 ...

定義 　　探索性數據分析（Exploratory Data Analysis，EDA）是指對已有數據在盡量少的先驗假設下通過作圖、制表、方程擬合、計算特征量等手段探索數據的結構和規律的一種數據分析方法。一般有以下幾個目的： 弄清楚數據的含義 發現數據的結構 鎖定一些重要的特征 ...

數據挖掘 Data mining：數據挖掘是從海量數據中發掘只是，這就比然涉及對海量數據的管理和分析。大體來說，數據庫領域的研究為數據挖掘提供數據管理技術，而機器學習和統計學的研究為數據挖掘提供數據分析技術。 機器學習 Machine Learning：提供數據分析的能力，機器學習是大數據 ...

學習之前，需強調：概率是已知模型和參數，推數據；而統計是已知數據，推模型和參數。 第十二集：樣本與總體 　　首先，為何需要樣本呢？因為人類並不能總是獲取總體數據，例如：人類的身高數據，全世界每秒都有人出生和死去，要獲取總體數據是不現實的，故需要樣本。樣本就是從總體中抽取的一部分數據，人類 ...

四種主要的數據挖掘任務： 　1、預測建模任務 　　分類：用於預測離散的目標變量 回歸：用於預測連續的目標變量 　2、關聯分析 　3、聚類分析 　4、異常檢測 主要的數據質量問題：存在噪聲和離群點，數據遺漏、不一致或重復，數據有偏差，或者在別的方面，數據不代表描述所設 ...

2-1數據對象與屬性類型 數據集由數據對象組成。一個數據對象代表一個實體。例如，在銷售數據庫中，對象可以是顧客、商品或銷售•，在醫療數據庫中，對象可以是患者；在大學的數據庫中，對象可以是學生、教授和課程。通常，數據對象用屬性描述。數據對象又稱樣本、實例、數據點或對象。如果數據對象存放在數據庫中 ...