作者：Syn良子 出處：http://www.cnblogs.com/cssdongl 轉載請注明出處 SparkSQL這塊兒從1.4開始支持了很多的窗口分析函數，像row_number這些，平時寫 ...

這里的SparkSQL是指整合了Hive的spark-sql cli（關於SparkSQL和Hive的整合，見文章后面的參考閱讀）. 本質上就是通過Hive訪問HBase表，具體就是通過hive-h ...

如果在本地windows測試的時候，不能加.enableHiveSupport()： val spark = SparkSession.builder() .master("") ...

object CSVFileTest { def main(args: Array[String]): Unit = { val spark = SparkSession ...

在使用org.apache.spark.sql.functions中的Window functions過程中，遇到了幾個棘手的問題，經過不斷搜尋和多次試驗，終於找到了解決方法。 首先看例子： ...

object JdbcDatasourceTest { def main(args: Array[String]): Unit = { val spark = SparkSessio ...

【前言：如果你經常使用Spark SQL進行數據的處理分析，那么對笛卡爾積的危害性一定不陌生，比如大量占用集群資源導致其他任務無法正常執行，甚至導致節點宕機。那么都有哪些情況會產生笛卡爾積，以及如何事 ...

在生產中，無論是通過SQL語句或者Scala/Java等代碼的方式使用Spark SQL處理數據，在Spark SQL寫數據時，往往會遇到生成的小文件過多的問題，而管理這些大量的小文件，是一件非常頭疼 ...

最近加入一個Spark項目，作為臨時的開發人員協助進行開發工作。該項目中不存在測試的概念，開發人員按需求進行編碼工作后，直接向生產系統部署，再由需求的提出者在生產系統檢驗程序運行結果的正確性。在這種原 ...

...