花费 36 ms
spark-submit 提交任务及参数说明

spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子,部署 spark standalone 模式后,提交到本地执行。 如果部署 hadoop,并且启动 yarn 后,spark ...

2017-12-20 22:26 0 49681
听说最近你读过不少书

那些时光 噢,很久没有看过书了——此刻的你心里是否会发出这样的感慨? 我们总是怪工作太忙,总是怪应酬多、活动多;今天想着去哪玩,明天想着约妹纸……究竟什么时候会想着好好地静下心来翻一翻上面早已布满 ...

2016-12-29 17:03 296 11334
Spark(一): 基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势 ...

2016-08-31 05:51 4 52932
SPARK-SQL内置函数之时间日期类

转载请注明转自:http://www.cnblogs.com/feiyumo/p/8760846.html 一、获取当前时间 1.current_date获取当前日期 2018-04-09 2 ...

2018-04-10 00:26 0 30813
spark读取hive数据

1.首先将集群的这3个文件hive-site.xml,core-size.xml,hdfs-site.xml放到资源文件里(必须,否则报错) 2.代码方面。下面几个测试都可以运行。 1)t ...

2018-06-14 01:47 0 26484
spark-submit提交参数设置

/apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app ...

2016-07-05 22:45 0 46560
Spark学习之Spark SQL

Spark SQL 一、Spark SQL基础 1、Spark SQL简介 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。http://spark.apache.org/sql/ 为什么要学习 ...

2018-10-25 18:22 0 18964
【sparkSQL】SparkSession的认识

Spark1.6中我们使用的叫Hive on spark,主要是依赖hive生成spark程序,有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 //set up the spark configuration and create ...

2018-05-15 18:39 0 23258

 
粤ICP备18138465号  © 2018-2020 CODEPRJ.COM