原文:Spark入门实战系列--6.SparkSQL(下)--Spark实战应用

注 该系列文章以及使用到安装包 测试数据 可以在 倾情大奉送 Spark入门实战系列 获取 运行环境说明 . 硬软件环境 l 主机操作系统:Windows 位,双核 线程,主频 . G, G内存 l 虚拟软件:VMware Workstation . . build l 虚拟机操作系统:CentOS 位,单核 l 虚拟机运行环境: JDK: . . 位 Hadoop: . . 需要编译为 位 S ...

2015-08-31 09:45 12 29471 推荐指数:

查看详情

Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生 ...

Wed Aug 26 17:03:00 CST 2015 31 137349
Spark入门实战系列--7.Spark Streaming()--实时流计算Spark Streaming实战

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、实例演示 1.1 流数据模拟器 1.1.1 流数据说明 在实例演示中模拟实际情况,需要源源不断地接入流数据,为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能 ...

Mon Sep 07 15:01:00 CST 2015 14 25727
Spark入门实战系列--5.Hive()--Hive实战

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、Hive操作演示 1.1 内部表 1.1.1 创建表并加载数据 第一步 启动HDFS、YARN和Hive,启动完毕后创建Hive数据库 hive>create database ...

Mon Aug 24 16:50:00 CST 2015 2 14725
Spark入门实战系列--2.Spark编译与部署()--Spark编译安装

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具 ...

Wed Dec 06 19:22:00 CST 2017 0 1908
Spark入门实战系列--8.Spark MLlib()--机器学习库SparkMLlib实战

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、MLlib实例 1.1 聚类实例 1.1.1 算法说明 聚类(Cluster analysis)有时也被翻译为簇类,其核心任务是:将一组目标object划分为若干个簇,每个簇之间 ...

Thu Sep 10 16:41:00 CST 2015 23 64464
Spark入门实战系列--3.Spark编程模型()--IDEA搭建及实战

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、 安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA,是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动 ...

Mon Aug 17 17:09:00 CST 2015 13 31725
Spark入门实战系列--2.Spark编译与部署()--Spark编译安装

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则需要maven ...

Wed Aug 12 16:36:00 CST 2015 60 26311
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM