編程實現利用 DataFrame 讀寫 MySQL 的數據

這是林子雨spark實驗5的第三問：配置Spark通過JDBC連接數據庫MySQL，編程實現利用DataFrame插入下列數據到MySQL， 最后打印出 age 的最大值和 age 的總和

下面貼出代碼（測試過ok）

import java.util.Properties  
import org.apache.spark.sql.types._  
import org.apache.spark.sql.Row  
import org.apache.spark.SparkConf  
import org.apache.spark.SparkContext  
import org.apache.spark.sql.SQLContext  
object TestMySQL {  
  def main(args: Array[String]) {  
    val conf = new SparkConf()  
    conf.setMaster("local")  
      .setAppName("TestMySQL")    //設置運行方式為本地  
    val sc = new SparkContext(conf)  
    var sqlContext = new SQLContext(sc)  
    val employeeRDD = sqlContext.sparkContext.parallelize(Array("3 Mary F 26","4 Tom M 23")).map(_.split(" "))  
    val schema = StructType(List(StructField("id", IntegerType, true),StructField("name", StringType, true),StructField("gender", StringType, true),StructField("age", IntegerType, true)))  
    val rowRDD = employeeRDD.map(p => Row(p(0).toInt,p(1).trim, p(2).trim,p(3).toInt))  
    val employeeDF = sqlContext.createDataFrame(rowRDD, schema)  
    val prop = new Properties()  
    prop.put("user", "root")  
    prop.put("password", "1")  
    prop.put("driver","com.mysql.jdbc.Driver")  
    prop.put("url","jdbc:mysql://192.168.80.128:3306/sparktest")  
    employeeDF.write.mode("append").jdbc("jdbc:mysql://192.168.80.128:3306/sparktest", "sparktest.employee", prop)  
    val jdbcDF = sqlContext.read.format("jdbc").option("url", "jdbc:mysql://192.168.80.128:3306/sparktest").option("driver","com.mysql.jdbc.Driver").option("dbtable","employee").option("user","root").option("password", "1").load()  
    jdbcDF.agg("age" -> "max", "age" -> "sum")  
    jdbcDF.show()  
  
  }  
}  

運行截圖：

 

 

測試中遇到的問題：

1：mysql服務器拒絕遠程連接

解決方法：

授權法

(1)例如，你想myuser使用mypassword從任何主機連接到mysql服務器的話。

第一步：root用戶登錄；mysql>mysql -u root -p rootpassword;

第二步：賦予權限；mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;

第三步：mysql>FLUSH PRIVILEGES;

(2)如果你想允許用戶myuser從ip為192.168.1.3的主機連接到mysql服務器，並使用mypassword作為密碼

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.xxx.xxx' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;

mysql>FLUSH PRIVILEGES;

(3)如果你想允許用戶myuser從ip為192.168.1.3的主機連接到mysql服務器的dk數據庫，並使用mypassword作為密碼

mysql>GRANT ALL PRIVILEGES ON dk.* TO 'root'@'192.168.xxx.xxx' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;

mysql>FLUSH PRIVILEGES;