Spark中將將數據Array或者list轉為dataFrame編造數據


其實只是為了編造數據,找了幾篇都不滿意。項目中使用的是schema創建,下面將簡單的創建寫一下。

val schema=types.StructType(

Array(

  StructField("TMNL_iD",StringType,false)  ,                                                 //想建立幾列寫幾個StructField,逗號分開

  StructField("TMNL_iD",StringType,false)                                                       //這個示例,我只用到了上面那一列

)

)

//創建一個schema

val list:java.util.List[Row]=new java.util.ArrayList[Row]() //建立一個集合

假設一個集合records 遍歷

val tmnl_id=records.key()

//遍歷結果加入集合

list.add(Row.fromSeq(tmnl_id))

val frame=sparkSession,createDataFrame(list,schema);

frame.show(100)

----------------------------------------------

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM