HDP3.1 中配置 YARN 的 timeline server 使用外部的 HBase
HDP3.1 中的 YARN 的 timeline server 默認使用內置的 HBase，不知道為什么，總是過幾天就掛掉，暫時還沒找到原因。后來想着讓它使用外部的 HBase 看看會不會還有此問題。配置如下： 前提： Ambari 中已經裝好 YARN 和 HBase ...
原文：hdp3.1 hive 3.0的使用記錄
近來在做項目中的技術調研，使用最新版的hdp . ,其中使用spark . 和hive . . 遇到 一些問題，記錄如下： 一，使用spark sql client driver去訪問hive創建的數據庫，發現找不到，使用presto訪問hive,只能讀寫外部表。 經過查詢資料了解到，hive . 默認對內部表支持事務和ACID特性，spark等外部工具無法直接讀取ACID的表數據， spark新 ...
2019-05-11 11:59 1 1341 推薦指數：
相關推薦
HDP Spark2 HIVE3.1 的問題
HDP 上安裝了 Hive3.1 和 Spark2, 提交 Spark 作業時，報找不到 Hive 中表的問題 但是查一了下 hive 表，明明是存在這個表的。查看日志，注意到如下的一段日志。 沒修改值之前，我在 Spark-shell 里創建了一張 hive 表，發現 ...
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ數據倉庫02 ——使用ambari-server安裝HDP
本文記錄使用ambari-server安裝HDP的過程，對比於使用cloudera-manager安裝CDH，不得不說ambari的易用性差的比較多~_~，需要用戶介入的過程較多，或者說可定制性更高。 首先、安裝之前，在每個主機節點上執行下面命令，已清除緩存，避免一些repo原因導致的安裝失敗 ...
基於HDP3.0的基礎測試
1，TestDFSIO write和read的性能測試， 測試hadoop讀寫的速度。該測試為Hadoop自帶的測試工具，位於$HADOOP_HOME/share/hadoop/mapreduce目錄 ...
HDP Hive性能調優
的兩個步驟來開啟Hive LLAP: 1.在yarn中開啟Hive LLAP的優先使用權 ...
對於hive使用的一點記錄
最近一段時間因工作需要接觸了一些hive上的使用！當然大部分都是比較基本的使用，僅當入門！各位看到有不足之處望多多指正！ 廢話不多說，開始： 首先是創建數據庫 create database ‘數據庫名稱’ 創建外部表（大部分時候我使用的是外部表）： CREATE ...
ambari2.7.4+hdp3.1集成elastic search
一、准備工作 1、環境准備 ambari版本 2.7.4 hdp版本3.1 已在虛擬機中提前搭建好了集群環境。 只有一台虛擬機 所以全部采取單節點模式。 主機名 master ip 192.168.134.132 其中，elasticsearch master安裝到master管理 ...
hadoop-hdp-ambari離線安裝記錄
一、系統准備 1. 創建user——ambari 2.關閉防火牆 redhat6： chkconfig iptables off /etc/init.d/iptables stop red ...