1、介绍 　　spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 ...

第一步：修个Hive的配置文件hive-site.xml 　　添加如下属性，取消本地元数据服务： 　　修改Hive元数据服务地址和端口： 　　然后把配置文件hive-site.xml拷贝到Spark的conf目录下 第二步：对于Hive元数据库使用 ...

窗口函数与分析函数应用场景：（1）用于分区排序（2）动态Group By（3）Top N（4）累计计算（5）层次查询 窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值LAST_ ...

1.安装Hive 如果想创建一个数据库用户，并且为数据库赋值权限，可以参考：http://blog.csdn.net/tototuzuoquan/article/details/52785504 2.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入 ...

前言 在YARN术语中，执行者和应用程序masters在“容器”内部运行。在应用程序完成后，YARN有两种处理容器日志的模式。 如果打开日志聚合（使用 yarn.log-aggregation-enable配置），容器日志将复制到HDFS中，而本地计算机上的日志将被 ...

Spark 连接hive 元数据库(mysql) 方法一： 方法二： 1）拷贝hive的hive-site.xml文件到spark的conf目录下 2）修改spark中hive-site.xml文件 3）另建窗口启动： 4）启动spark: 5）测试： ...

./bin/spark-sql -e "select count(1),count(distinct ip),substr(url,0,44) from tongji_log where domain ='xxx.com' and ds ='20170303' group by substr ...

1、spark是什么？ Spark是基于内存计算的大数据并行计算框架。 1.1 Spark基于内存计算 相比于MapReduce基于IO计算，提高了在大数据环境下数据处理的实时性。 1.2 高容错性和高可伸缩性 与mapreduce框架相同，允许用户将Spark部署在大量廉价硬件之上 ...