Databricks 第7篇：管理Secret
Azure中的Secret是指密碼、憑證和密鑰等，舉個例子，使用Azure Databricks Secret來存儲憑證，並在notebook和job中引用它們，而不是直接在notebook中輸入憑據。 Secret Scope是Secret的集合，每一個Secret是由name唯一確定 ...
原文：Databricks 第10篇：Job
大家知道，用戶可以在Notebook UI中以交互方式運行Notebook中的SQL Python等代碼，交互方式便於數據的調查和分析。用戶還可以通過Job來自動維護數據，Job是立即運行或按計划運行notebook 或JAR 的一種方法，通過Job可以定時執行數據的清理和整合，用戶只需要設置好計划 schedule ，就可以自動實現數據的維護。 用戶也可以通過Databricks UI來監控Jo ...
2021-01-27 13:44 0 343 推薦指數：
相關推薦
Databricks 第5篇：Databricks文件系統（DBFS）
Databricks 文件系統 (DBFS，Databricks File System) 是一個裝載到 Azure Databricks 工作區的分布式文件系統，可以在 Azure Databricks 群集上使用。 一個存儲對象是一個具有特定格式的文件，不同的格式具有不同的讀取和寫入的機制 ...
Databricks 第1篇：初識Databricks，創建工作區、集群和Notebook
Azure Databricks是一個可擴展的數據分析平台，基於Apache Spark。Azure Databricks 工作區（Workspace）是一個交互式的環境，工作區把對象（notebook、library、dashboards、experiments）組織成文件夾，用於數據集成和數 ...
Databricks 第2篇：pyspark.sql 簡介
pyspark中的DataFrame等價於Spark SQL中的一個關系表。在pyspark中，DataFrame由Column和Row構成。 pyspark.sql.SparkSession ...
Databricks 第4篇：pyspark.sql 分組統計和窗口
對數據分析時，通常需要對數據進行分組，並對每個分組進行聚合運算。在一定意義上，窗口也是一種分組統計的方法。 分組數據 DataFrame.groupBy()返回的是GroupedData類，可以對 ...
Databricks 第6篇：Spark SQL 維護數據庫和表
，從這個角度來看，可以把database看作是Databricks 表的上層目錄，用於組織數據表及其文件 ...
Databricks 第9篇：Spark SQL 基礎（標識符、數據類型、NULL語義）
Spark SQL 支持多種數據類型，並兼容Python、Scala等語言的數據類型。 一，標識符 標識符是一個字符串，用於標識一個數據庫對象，比如table、view、schema、column ...
Databricks 第11篇：Spark SQL 查詢（行轉列、列轉行、Lateral View、排序）
本文分享在Azure Databricks中如何實現行轉列和列轉行，並介紹對查詢的結果進行排序的各種方式。 一，行轉列 在分組中，把每個分組中的某一列的數據連接在一起： collect_list：把一個分組中的列合成為數組，數據不去重，格式是['a','a','b ...