Spark快速大数据分析之RDD基础
Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...
原文：spark快速大数据分析学习笔记
hadoop环境配置： 系统变量：新建变量HADOOP HOME，值编辑为D: sowt hadoopAdministrator的用户变量：在PATH中添加bin文件夹位置D: sowt hadoop bin 报错排除 运行： val lines sc.textFile README.md 打开spark文件夹中的README.md文件 lines.count 计算文件中的行数 报错： org.a ...
2018-05-15 10:49 0 1096 推荐指数：
相关推荐
数据分析学习笔记(三)-NetworkX的使用
转：http://baiyejianxin.iteye.com/blog/1764048 创建简单的空图形（没有边和点） import networkx ...
Python数据分析学习笔记
利用Python进行数据分析这本书，介绍了高效解决各种数据分析问题的Python语言和库，结合其他学习资源集中总结一下Python数据分析相关库的知识点。 数据分析相关库 (1) NumPy NumPy(Numerical Python)是Python科学计算的基础包，支持大量的维度 ...
《Spark快速大数据分析》—— 第五章 数据读取和保存
由于Spark是在Hadoop家族之上发展出来的，因此底层为了兼容hadoop,支持了多种的数据格式。如S3、HDFS、Cassandra、HBase，有了这些数据的组织形式，数据的来源和存储都可以多样化~ ...
Python数据分析学习
转摘：https://segmentfault.com/a/1190000015440560 一、数据初探 首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包 引入 ...
Python数据分析学习（一）
转摘：https://segmentfault.com/a/1190000015440560 一、数据初探 首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包 引入模块与包 然后导入数据 ...
数据分析学习路线
数据分析由三大重要部分组成： 1.数据采集。它是我们的原材料，因为任何分析都是需要数据源； 2.数据挖掘。它可以说是最“高大上”的部分，也是整个商业价值所在。数据挖掘的核心是挖掘数据的商业价值，也就是我们所谈的商业智能BI 3.数据可视化。它可以说是数据领域中万金油的技能 ...