環境:Ubuntu14.04 Hadoop3.2.0 MySQL5.7 hive2.3.6
安裝步驟:安裝hive、MySQL並進行配置
安裝過程參照:Ubuntu安裝hive,並配置mysql作為元數據庫 MySQL安裝參照:Ubuntu安裝MySQL及常用操作
安裝過程中出現很多問題:
1.hive版本問題:Unrecognized Hadoop major version number: 3.x.x exception;
原因:第一次安裝時使用hive1.x.x版本與Hadoop3.2可能出現不兼容,
搜索后發現hive版本 1.2.1 支持Hadoop 1.x.y, 2.x.y,換用更高版本的hive后沒有再出現這個問題。
2.MySQL jdbc 包:使用與自己mysql相匹配的包
mysql-connector-java_8.0.18下載地址 mysql-connector-java-5.1.48下載地址(點擊右側Looking for previous GA versions?)
3.service mysql start啟動MySQL服務器:出現 start:未知任務: mysql
在前面添加sudo sudo service mysql start;
即可啟動MySQL服務,關閉操作相同sudo service mysql stop;
4.Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path:
hive 啟動或操作中出現錯誤,
原因:沒有設置path路徑(ubuntu中編輯~/.bashrc文件vim~/.bashrc后仍需到xml中配置)
將usr/local/hive/conf 路徑下的hive-default.xml.template 復制並重命名為hive-default.xml並在里面添加 HADOOP_HOME=/usr/local/hadoop
5.同上位置將hive-default.xml.template復制並重命名為hive-default.xml
6.創建table時出現
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在終端執行 schematool -dbType mysql -initSchema
以上就是在安裝hive過程中出現的一些錯誤,都是一些細小的問題,稍不留意就會出現問題。