spark是个啥？ Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。 Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce ...

链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ Spark On Mesos模式 http://vdisk.weibo.com/s/zm_eIVP-TpyqK ...

一、导读 最近开始学习大数据分析，说到大数据分析，就必须提到Hadoop与Spark。要研究大数据分析，就必须安装这两个软件，特此记录一下安装过程。Hadoop使用V2版本，Hadoop有单机、伪分布式、分布式三种部署方案，这里使用分布式部署方案。而Spark有三种部署方案：Standalone ...

一．Spark2.0的新特性Spark让我们引以为豪的一点就是所创建的API简单、直观、便于使用，Spark 2.0延续了这一传统，并在两个方面凸显了优势：　　1、标准的SQL支持；　　2、数据框（DataFrame）/Dataset （数据集）API的统一。　　在SQL方面，我们已经对Spark ...

什么是分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。 简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败 ...

捣鼓了一下，先来个手动挡吧。自动挡要设置ssh无密码登陆啥的，后面开搞。 一、手动多台机链接master 手动链接master其实上篇已经用过。 这里有两台机器： 10.60.215.41 启动master、worker1、application(spark shell ...

一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本 二、配置配置ssh localhost 使用hadoop用户安装 2.1　检测 正常情况下，本机 ...

一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p ...