...

需求：首先有一张表记录学生姓名、科目和成绩，然后模拟插入几条数据，脚本如下： 现在我们需要得到一个结果，能根据姓名分组显示每个学生所参考的科目数量和总分数，期望结果如下： 那么我们需要写入的sql脚本如下： 然后就能得到上面结果了，重点是：count ...

需求：统计每日uv 运行结果 ...

./bin/spark-sql -e "select count(1),count(distinct ip),substr(url,0,44) from tongji_log where domain ='xxx.com' and ds ='20170303' group by substr ...

1、介绍 　　spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 ...

第一步：修个Hive的配置文件hive-site.xml 　　添加如下属性，取消本地元数据服务： 　　修改Hive元数据服务地址和端口： 　　然后把配置文件hive-site.xml拷贝到Spark的conf目录下 第二步：对于Hive元数据库使用 ...

　　dycopy :http://blog.csdn.net/dabokele/article/details/52802150 　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现 ...

3） 不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql ...