3-Spark高级数据分析-第三章 音乐推荐和Audioscrobbler数据集
偏好是无法度量的。 相比其他的机器学习算法，推荐引擎的输出更直观，更容易理解。 接下来三章主要讲述Spark中主要的机器学习算法。其中一章围绕推荐引擎展开，主要介绍音乐推荐。在随后的章节中我们先介绍Spark和MLib的实际应用，接着介绍一些机器学习的基本思想。 3.1 数据集 用户 ...
原文：2-Spark高级数据分析-第二章 用Scala和Spark进行数据分析
数据清洗时数据科学项目的第一步，往往也是最重要的一步。 本章主要做数据统计 总数 最大值 最小值 平均值 标准偏差 和判断记录匹配程度。 Spark编程模型 编写Spark程序通常包括一系列相关步骤： . 在输入数据集上定义一组转换。 . 调用action，用以将转换后的数据集保存到持久存储上，或者把结果返回到驱动程序的本地内存。 . 运行本地计算，本地计算处理分布式计算的结果。本地计算有助于你 ...
2016-08-16 11:10 3 10985 推荐指数：
相关推荐
spark]使用spark进行hbase数据分析
【题外话】 感觉自己很沮丧。我自己认为，我的内心很纯净。 废话说了那么多，我想总结一下最近我学习spark的经验。 最近使用spark做了一个数据分析的项目。 项目采用的基础环境是：spark 1.6.0 hbase 0.98.17 hadoop2.5.2 项目的构建 ...
4-Spark高级数据分析-第四章 用决策树算法预测森林植被
预测是非常困难的，更别提预测未来。 4.1 回归简介 随着现代机器学习和数据科学的出现，我们依旧把从“某些值”预测“另外某个值”的思想称为回归。回归是预测一个数值型数量，比如大小、收入和温度，而分类则指预测标号或类别，比如判断邮件是否为“垃圾邮件”，拼图游戏的图案 ...
5-Spark高级数据分析-第五章 基于K均值聚类的网络流量异常检测
据我们所知，有‘已知的已知’，有些事，我们知道我们知道；我们也知道，有 ‘已知的未知’，也就是说，有些事，我们现在知道我们不知道。但是，同样存在‘不知的不知’——有些事，我们不知道我们不知道。 上一章中分类和回归都属于监督学习。当目标值是未知时，需要使用非监督学习，非监督学习不会学习如何预测 ...
spark 数据分析 之数据清理
//清理格式不匹配的数据 //此代码可以实现自动滤除掉无法转化为double类型的数据 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import ...
用Python进行数据分析-1
第一章 准备工作 1.3 重要的python数据库 Numpy：是python科学计算的基础包，本书大部分内容都基于numpy以及构建于其上的库功能如下： -快速高效的多维数组对象ndarray。 -用于对数组执行元素级计算以及直接对数组执行数学运算的函数 -用于读写硬盘上基于数组的数据 ...
详细解读Spark的数据分析引擎：Spark SQL
一、spark SQL:类似于Hive，是一种数据分析引擎 什么是spark SQL？ spark SQL只能处理结构化数据 底层依赖RDD，把sql语句转换成一个个RDD，运行在不同的worker上 特点： 1、容易集成：SQL语句 2、对不同的数据源提供统一的访问方式 ...
用python进行数据分析（二：数据处理）
四、数据处理 （1）缺失值 查看缺失情况： 删除缺失值： 利用sklearn替换缺失值。当缺失值为数值型数据时，可用利用均值来替换 利用pandas替换缺失值（常用） 一个实例（https://blog.csdn.net ...