一、詞頻----TF • 假設：如果一個詞很重要，應該會在文章中多次出現 • 詞頻——TF（Term Frequency）：一個詞在文章中出現的次數 • 也不是絕對的！出現次數最多的是“的”“是 ...

一、數據挖掘---中文分詞 • 一段文字不僅僅在於字面上是什么，還在於怎么切分和理解。• 例如： – 阿三炒飯店： – 阿三 / 炒飯 / 店 阿三 / 炒 / 飯店• 和英文不同，中文詞之間沒有空格，所以實現中文搜索引擎，比英文多了一項分詞的任務。• 如果沒有中文分詞會出 ...

摘要: 當我們搜集好了龐大的數據，那我們要怎么利用他們來指導推薦系統呢？ 博主福利 給大家贈送一套hadoop視頻課程 授課老師是百度 hadoop 核心架構師 內容包括hadoop入門、hadoop生態架構以及大型hadoop商業實戰案例。 講的很細致， MapReduce ...

一、引言 　　K-Means算法是聚類算法中，應用最為廣泛的一種。本文基於歐幾里得距離公式：d = sqrt((x1-x2)^+(y1-y2)^)計算二維向量間的距離，作為聚類划分的依據，輸入數據為二維數據兩列數據，輸出結果為聚類中心和元素划分結果。輸入數據 ...

前言 本文基於教材《大數據挖掘與應用》王振武，出於期末復習目的，對部分算法利用python進行實現，順便學習numpy構建思維導圖，幫助理解。 所有代碼、結果都以jupyter的形式放在了github上。 題型 選擇題和判斷題可能從里面出，題目與答案的word版同樣放入了github中 ...

概述 spark是實時大數據分析、挖掘的流行方案，hadoop是大數據存儲和運行的流行方案，本demo主要表述用spark + hadoop如何做大數據挖掘的通用方案，包含了，包括了環境資源整合、spark和hadoop的整合，各部分模塊的關系，並給出了可用的java 代碼 ...

數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。 一、數據挖掘對象 根據信息存儲格式，用於挖掘的對象有關系數據庫、面向對象數據庫、數據倉庫、文本數據源、多媒體數據庫、空間數據 ...