spark 實現HDFS小文件合並

一、首先使用sparksql讀取需要合並的數據。當然有兩種情況， 　　一種是讀取全部數據，即需要合並所有小文件。 　　第二種是合並部分數據，比如只查詢某一天的數據，只合並某一個天分區下的小文件。 ...

hive json ( list (map) 結構 ) 轉多行

json字段格式 ...

sparksql insert 語句注意事項

我們在使用mysql進行插入操作時，可以使用如下語法： 列的數量是可變的，是可以指定的。 但使用spqrksql進行插入操作時，不能指定任意數量的列，必須插入包含全部列的記錄，spa ...