Databricks 第5篇：Databricks文件系統（DBFS）
Databricks 文件系統 (DBFS，Databricks File System) 是一個裝載到 Azure Databricks 工作區的分布式文件系統，可以在 Azure Databricks 群集上使用。 一個存儲對象是一個具有特定格式的文件，不同的格式具有不同的讀取和寫入的機制 ...
原文：Databricks 第7篇：管理Secret
Azure中的Secret是指密碼 憑證和密鑰等，舉個例子，使用Azure Databricks Secret來存儲憑證，並在notebook和job中引用它們，而不是直接在notebook中輸入憑據。 Secret Scope是Secret的集合，每一個Secret是由name唯一確定的。每一個Databricks 的workspace最多創建 個Secret Scope。Azure 支持兩種類 ...
2021-01-20 10:05 0 397 推薦指數：
相關推薦
Databricks 第10篇：Job
計划（schedule），就可以自動實現數據的維護。 用戶也可以通過Databricks UI來監控J ...
Databricks 第1篇：初識Databricks，創建工作區、集群和Notebook
Azure Databricks是一個可擴展的數據分析平台，基於Apache Spark。Azure Databricks 工作區（Workspace）是一個交互式的環境，工作區把對象（notebook、library、dashboards、experiments）組織成文件夾，用於數據集成和數 ...
Docker Secret的管理和使用
一、什么是Docker Secret （一）情景展現 我們知道有的service是需要設置密碼的，比如mysql服務是需要設置密碼的： 可以看到在這個docker-compose.yml中的兩個service密碼都是明文，這樣就導致了不是很安全，那么究竟什么是Docker ...
使用 kubectl 管理 Secret
使用 kubectl 管理 Secret 使用secret的基本流程： 1.創建k8s集群 2.創建管理的文件 3.驗證 4.解碼 5.清理 集群創建忽略，從第2步開始，一起來熟悉下secret的管理流程。 一個 Secret 可以包含 Pod 訪問 ...
Databricks 第2篇：pyspark.sql 簡介
pyspark中的DataFrame等價於Spark SQL中的一個關系表。在pyspark中，DataFrame由Column和Row構成。 pyspark.sql.SparkSession ...
Databricks 第4篇：pyspark.sql 分組統計和窗口
對數據分析時，通常需要對數據進行分組，並對每個分組進行聚合運算。在一定意義上，窗口也是一種分組統計的方法。 分組數據 DataFrame.groupBy()返回的是GroupedData類，可以對 ...
Databricks 第6篇：Spark SQL 維護數據庫和表
，從這個角度來看，可以把database看作是Databricks 表的上層目錄，用於組織數據表及其文件 ...