Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等（具体 ...
原文：在 Azure HDInsight 中安装和使用 Spark
Spark本身用Scala语言编写，运行于Java虚拟机 JVM 。只要在安装了Java 以上版本的便携式计算机或者集群上都可以运行spark。如果您想使用Python API需要安装Python解释器 . 或者更高版本 ，请注意Spark暂不支持Python 。 下载Spark 首先下载Spark并解压，我们从下载预编译版本的Spark开始。在浏览器中访问 http: spark.apache ...
2015-05-05 00:21 0 2307 推荐指数：
相关推荐
使用 HDInsight进行开发
Windows AzureHDInsight 提供了运行 Apache Hadoop的动态供应群集来处理大数据(Big Data)的能力。您可以在这个系列的第一篇博客中找到更多信息，您也可以点击这里开始在Windows Azure 门户网站中使用它。这篇文章列举了开发人员与HDInsight交互 ...
spark安装和使用
local模式 概述 local模式就是在一台计算机上运行spark程序，通常用于在本机上练手和测试，它将线程映射为worker。 1）local: 所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式; 2）local[K]: 指定使用 ...
spark的安装和使用
spark最近出了2.0版本，其安装和使用也发生了些许的变化。笔者的环境为：centos7. 该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用，希望可以给刚刚接触spark的朋友一些帮助。 按照惯例，文章的最后列出了一些参考文献，以示感谢。下面我们就来看一下 ...
spark学习(9)-spark的安装与简单使用
spark和mapreduce差不多，都是一种计算引擎，spark相对于MapReduce来说，他的区别是，MapReduce会把计算结果放 在磁盘，spark把计算结果既放在磁盘中有放在内存中，mapreduce把可能会把一个大任务分成多个stage，瓶颈发生在IO，spark有一个叫DAG ...
在CDH中安装Spark2
第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下，需要手动下载cds文件上传到CM ...
使用Windows Azure的VM安装和配置CDH搭建Hadoop集群
本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群。 项目中在私有云中使用CDH (Cloudera ...
Spark中foreachRDD的正确使用
常出现的使用误区： 误区一：在driver上创建连接对象（比如网络连接或数据库连接） 如果在driver上创建连接对象，然后在RDD的算子函数内使用连接对象，那么就意味着需要将连接对象序列化后从driver传递到worker上。而连接对象（比如Connection对象）通常来说是不支持 ...