一、词频----TF • 假设：如果一个词很重要，应该会在文章中多次出现 • 词频——TF（Term Frequency）：一个词在文章中出现的次数 • 也不是绝对的！出现次数最多的是“的”“是 ...

一、数据挖掘---中文分词 • 一段文字不仅仅在于字面上是什么，还在于怎么切分和理解。• 例如： – 阿三炒饭店： – 阿三 / 炒饭 / 店 阿三 / 炒 / 饭店• 和英文不同，中文词之间没有空格，所以实现中文搜索引擎，比英文多了一项分词的任务。• 如果没有中文分词会出 ...

摘要: 当我们搜集好了庞大的数据，那我们要怎么利用他们来指导推荐系统呢？ 博主福利 给大家赠送一套hadoop视频课程 授课老师是百度 hadoop 核心架构师 内容包括hadoop入门、hadoop生态架构以及大型hadoop商业实战案例。 讲的很细致， MapReduce ...

一、引言 　　K-Means算法是聚类算法中，应用最为广泛的一种。本文基于欧几里得距离公式：d = sqrt((x1-x2)^+(y1-y2)^)计算二维向量间的距离，作为聚类划分的依据，输入数据为二维数据两列数据，输出结果为聚类中心和元素划分结果。输入数据 ...

前言 本文基于教材《大数据挖掘与应用》王振武，出于期末复习目的，对部分算法利用python进行实现，顺便学习numpy构建思维导图，帮助理解。 所有代码、结果都以jupyter的形式放在了github上。 题型 选择题和判断题可能从里面出，题目与答案的word版同样放入了github中 ...

概述 spark是实时大数据分析、挖掘的流行方案，hadoop是大数据存储和运行的流行方案，本demo主要表述用spark + hadoop如何做大数据挖掘的通用方案，包含了，包括了环境资源整合、spark和hadoop的整合，各部分模块的关系，并给出了可用的java 代码 ...

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 一、数据挖掘对象 根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据 ...