Ambari HDP 下 SPARK2 与 Phoenix 整合
1、环境说明 操作系统 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark ...
原文：HDP Spark2 HIVE3.1 的问题
HDP上安装了Hive . 和Spark ,提交Spark作业时，报找不到Hive中表的问题 但是查一了下hive表，明明是存在这个表的。查看日志，注意到如下的一段日志。 没修改值之前，我在 Spark shell里创建了一张hive表，发现其创建的位置是 spark.sql.warehouse.dir指向的目录，不在 hive.metastore.warehouse.dir目录里 其实这个值在 ...
2019-04-23 19:01 2 1292 推荐指数：
相关推荐
hdp3.1 hive 3.0的使用记录
近来在做项目中的技术调研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些问题，记录如下： 一，使用spark-sql client driver去访问hive创建的数据库，发现找不到，使用presto访问hive,只能读写外部表。 经过查询资料了解 ...
Spark2 Can't write dataframe to parquet hive table : HiveFileFormat`. It doesn't match the specified format `ParquetFileFormat`
7 3 I'm trying to save dataframe in table hive. In spark 1.6 ...
Spark2 Dataset之视图与SQL
// 创建视图 data.createOrReplaceTempView("Affairs") val df1 = spark.sql("SELECT * FROM Affairs WHERE age BETWEEN 20 AND 25") df1 ...
Spark2 broadcast广播变量
A broadcast variable. Broadcast variables allow the programmer to keep a read-only variable cached o ...
Spark2 Dataset聚合操作
data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge"), avg($"age").as("avgAge")).show ...
在CDH中安装Spark2
第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下，需要手动下载cds文件上传到CM ...
HDP Hive性能调优
(官方文档翻译整理及总结) 一、优化数据仓库 ① Hive LLAP 是一项接近实时结果查询的技术，可用于BI工具以及网络看板的应用，能够将数据仓库的查询时间缩短到15秒之内，这样的查询称之为Interactive Query。 Ambari安装好之后，还需要额外 ...