1:安裝配置mysql
yum install mysql mysql-server
service mysqld start
mysqladmin -u root password newpassword
mysql -u root -p
登錄mysql
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION
有時候上面語句不行,換這個GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' identified by 'password'
myslq>FLUSH PRIVILEGES
2:配置hive-site.xml
下載一個hive的安裝包,加壓后復制conf目錄下面的hive-default.xml.template到SPARK_HOME/conf中,重命名為hive-site.xml
修改4個重要屬性:
1:javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.1.93:3306/sparkmetadata?createDatabaseIfNotExist=true&characterEncoding=UTF-8
2:javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
3:javax.jdo.option.ConnectionUserName
root
4: javax.jdo.option.ConnectionPassword
xxx
然后修改Hive-site.xml中所有的時間屬性,所有屬性的單位為s(秒),刪除s然后添加3個0,所有屬性的單位為ms的刪除ms,spark無法識別這些單位,而是把他們全當數字處理。
3:啟動spark-sql
在spark-sql的shell下面創建表,查看mysql的database:sparkmetadata中的表:TBLS是否包含該記錄,如果有說明一切OK。
