spark-submit 提交任務及參數說明
spark-submit 可以提交任務到 spark 集群執行，也可以提交到 hadoop 的 yarn 集群執行。 1. 例子 一個最簡單的例子，部署 spark standalone 模式后，提交到本地執行。 如果部署 hadoop，並且啟動 yarn 后，spark ...
花費 27 ms
聽說最近你讀過不少書
那些時光 噢，很久沒有看過書了——此刻的你心里是否會發出這樣的感慨？ 我們總是怪工作太忙，總是怪應酬多、活動多；今天想着去哪玩，明天想着約妹紙……究竟什么時候會想着好好地靜下心來翻一翻上面早已布滿 ...
Spark(一): 基本架構及原理
Apache Spark是一個圍繞速度、易用性和復雜分析構建的大數據處理框架，最初在2009年由加州大學伯克利分校的AMPLab開發，並於2010年成為Apache的開源項目之一，與Hadoop和Storm等其他大數據和MapReduce技術相比，Spark有如下優勢 ...
SPARK-SQL內置函數之時間日期類
轉載請注明轉自：http://www.cnblogs.com/feiyumo/p/8760846.html 一、獲取當前時間 1.current_date獲取當前日期 2018-04-09 2 ...
spark讀取hive數據
1.首先將集群的這3個文件hive-site.xml，core-size.xml,hdfs-site.xml放到資源文件里(必須，否則報錯) 2.代碼方面。下面幾個測試都可以運行。 1）t ...
spark讀取hdfs上的文件和寫入數據到hdfs上面
def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.set("spark.master", "local") conf.set("spark ...
spark-submit提交參數設置
/apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app ...
SPARK-SQL內置函數之字符串函數
, ..., strN. Examples:> SELECT concat('Spark', 'SQ ...
Spark學習之Spark SQL
Spark SQL 一、Spark SQL基礎 1、Spark SQL簡介 Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了一個編程抽象叫做DataFrame並且作為分布式SQL查詢引擎的作用。http://spark.apache.org/sql/ 為什么要學習 ...
【sparkSQL】SparkSession的認識
在Spark1.6中我們使用的叫Hive on spark，主要是依賴hive生成spark程序，有兩個核心組件SQLcontext和HiveContext。 這是Spark 1.x 版本的語法 //set up the spark configuration and create ...