Ambari HDP 下 SPARK2 與 Phoenix 整合
1、環境說明 操作系統 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark ...
原文：HDP Spark2 HIVE3.1 的問題
HDP上安裝了Hive . 和Spark ,提交Spark作業時，報找不到Hive中表的問題 但是查一了下hive表，明明是存在這個表的。查看日志，注意到如下的一段日志。 沒修改值之前，我在 Spark shell里創建了一張hive表，發現其創建的位置是 spark.sql.warehouse.dir指向的目錄，不在 hive.metastore.warehouse.dir目錄里 其實這個值在 ...
2019-04-23 19:01 2 1292 推薦指數：
相關推薦
hdp3.1 hive 3.0的使用記錄
近來在做項目中的技術調研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些問題，記錄如下： 一，使用spark-sql client driver去訪問hive創建的數據庫，發現找不到，使用presto訪問hive,只能讀寫外部表。 經過查詢資料了解 ...
Spark2 Can't write dataframe to parquet hive table : HiveFileFormat`. It doesn't match the specified format `ParquetFileFormat`
7 3 I'm trying to save dataframe in table hive. In spark 1.6 ...
Spark2 Dataset之視圖與SQL
// 創建視圖 data.createOrReplaceTempView("Affairs") val df1 = spark.sql("SELECT * FROM Affairs WHERE age BETWEEN 20 AND 25") df1 ...
Spark2 broadcast廣播變量
A broadcast variable. Broadcast variables allow the programmer to keep a read-only variable cached o ...
Spark2 Dataset聚合操作
data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge"), avg($"age").as("avgAge")).show ...
在CDH中安裝Spark2
第一步，需要在CDH上安裝Spark 2，由於我的CDH是5.15.x，只能通過CDS的方式安裝。官方指導在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 總結下，需要手動下載cds文件上傳到CM ...
HDP Hive性能調優
(官方文檔翻譯整理及總結) 一、優化數據倉庫 ① Hive LLAP 是一項接近實時結果查詢的技術，可用於BI工具以及網絡看板的應用，能夠將數據倉庫的查詢時間縮短到15秒之內，這樣的查詢稱之為Interactive Query。 Ambari安裝好之后，還需要額外 ...