CDP大數據平台hive表格與CDH的不同


一、概述

  CDP大數據平台是CDH和HDP合並之后的新版本,使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。

二、Hive默認創建表格不同

  CDP默認創建的表格都是事務表;可以進行增、刪、改、查操作,不支持設置事務表的相關參數;應該是默認已經設置好了。而CDH需要指定創建的表格時事務表並且需要設置事物操作參數:hive.support.concurrency=true;和hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;才可以對事務表進行刪除和更新操作。

三、Hive操作表格方式不同

  CDH直接鏈接hive的hiveserver2就可以通過jdbc的方式操作hive表格;而CDP將hive分為了hive組件、TEZ組件和hive on  tez 三部分;三者缺一不可;安裝完hive和tez之后,需要再安裝hive  on  tez,並且修改hive on tez的默認端口10000位其他值,不然會報錯與hive的端口沖突。再操作讀寫hive表格時需要鏈接hive on tez的hiveserver2。

 不然會報錯:

 

  由此可見,hive on tez 是將hive和tez搭建起來的橋梁,需要通過hive  on tez的服務來操作CDP的hive表格。

四、yarn資源隊列創建方式不同

  4.1 CDH創建資源隊列方式

CDH需要先進入到yarn組件,然后使用yarn提供的界面可以直接創建yarn的執行任務的隊列。

 

 

 4.2 CDP創建資源隊列方式

 CDP直接通過管理界面,進入到yarn的Yarn Queue  Manger UI來進行操作。

 

 

  

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM