把Spark SQL的metadata存儲到mysql


1:安裝配置mysql

yum install mysql mysql-server
service mysqld start
mysqladmin -u root  password newpassword
mysql -u root -p
登錄mysql
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION
有時候上面語句不行,換這個GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' identified by 'password'
myslq>FLUSH PRIVILEGES
 

2:配置hive-site.xml

下載一個hive的安裝包,加壓后復制conf目錄下面的hive-default.xml.template到SPARK_HOME/conf中,重命名為hive-site.xml
修改4個重要屬性:
1:javax.jdo.option.ConnectionURL         
jdbc:mysql://192.168.1.93:3306/sparkmetadata?createDatabaseIfNotExist=true&characterEncoding=UTF-8
2:javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
3:javax.jdo.option.ConnectionUserName
root
4: javax.jdo.option.ConnectionPassword
xxx
 
然后修改Hive-site.xml中所有的時間屬性,所有屬性的單位為s(秒),刪除s然后添加3個0,所有屬性的單位為ms的刪除ms,spark無法識別這些單位,而是把他們全當數字處理。
 

3:啟動spark-sql

在spark-sql的shell下面創建表,查看mysql的database:sparkmetadata中的表:TBLS是否包含該記錄,如果有說明一切OK。
 






免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM