Databricks 第7篇：管理Secret
Azure中的Secret是指密碼、憑證和密鑰等，舉個例子，使用Azure Databricks Secret來存儲憑證，並在notebook和job中引用它們，而不是直接在notebook中輸入憑據。 Secret Scope是Secret的集合，每一個Secret是由name唯一確定 ...
原文：Databricks 第5篇：Databricks文件系統（DBFS）
Databricks 文件系統 DBFS，Databricks File System 是一個裝載到 Azure Databricks 工作區的分布式文件系統，可以在 Azure Databricks 群集上使用。 一個存儲對象是一個具有特定格式的文件，不同的格式具有不同的讀取和寫入的機制。 DBFS 是基於可縮放對象存儲的抽象，可以根據用戶的需要動態增加和較少存儲空間的使用量，Azure Dat ...
2021-01-12 14:24 0 1070 推薦指數：
相關推薦
Databricks 第8篇：把Azure Data Lake Storage Gen2 (ADLS Gen 2)掛載到DBFS
遠程文件系統中的數據。Mount操作相當於創建了一個共享文件系統。 要實現掛載，需要5個最基本條件： ...
Databricks 第10篇：Job
計划（schedule），就可以自動實現數據的維護。 用戶也可以通過Databricks UI來監控J ...
Databricks 第1篇：初識Databricks，創建工作區、集群和Notebook
Azure Databricks是一個可擴展的數據分析平台，基於Apache Spark。Azure Databricks 工作區（Workspace）是一個交互式的環境，工作區把對象（notebook、library、dashboards、experiments）組織成文件夾，用於數據集成和數 ...
Databricks 第2篇：pyspark.sql 簡介
DataFrame DataFrameWriter：把DataFrame存儲到其他存儲系統 py ...
Databricks 第4篇：pyspark.sql 分組統計和窗口
對數據分析時，通常需要對數據進行分組，並對每個分組進行聚合運算。在一定意義上，窗口也是一種分組統計的方法。 分組數據 DataFrame.groupBy()返回的是GroupedData類，可以對 ...
Databricks 第6篇：Spark SQL 維護數據庫和表
，從這個角度來看，可以把database看作是Databricks 表的上層目錄，用於組織數據表及其文件 ...
Databricks說的Lakehouse是什么？
在過去的幾年里，Lakehouse作為一種新的數據管理范式，已獨立出現在Databricks的許多用戶和應用案例中。在這篇文章中，我們將闡述這種新范式以及它相對於之前方案的優勢。 數據倉庫在決策支持和商業智能應用方面有着悠久的歷史。自20世紀80年代末問世以來，數據倉庫技術一直在持續 ...