Databricks 第5篇：Databricks文件系统（DBFS）
Databricks 文件系统 (DBFS，Databricks File System) 是一个装载到 Azure Databricks 工作区的分布式文件系统，可以在 Azure Databricks 群集上使用。 一个存储对象是一个具有特定格式的文件，不同的格式具有不同的读取和写入的机制 ...
原文：Databricks 第7篇：管理Secret
Azure中的Secret是指密码 凭证和密钥等，举个例子，使用Azure Databricks Secret来存储凭证，并在notebook和job中引用它们，而不是直接在notebook中输入凭据。 Secret Scope是Secret的集合，每一个Secret是由name唯一确定的。每一个Databricks 的workspace最多创建 个Secret Scope。Azure 支持两种类 ...
2021-01-20 10:05 0 397 推荐指数：
相关推荐
Databricks 第10篇：Job
计划（schedule），就可以自动实现数据的维护。 用户也可以通过Databricks UI来监控J ...
Databricks 第1篇：初识Databricks，创建工作区、集群和Notebook
Azure Databricks是一个可扩展的数据分析平台，基于Apache Spark。Azure Databricks 工作区（Workspace）是一个交互式的环境，工作区把对象（notebook、library、dashboards、experiments）组织成文件夹，用于数据集成和数 ...
Docker Secret的管理和使用
一、什么是Docker Secret （一）情景展现 我们知道有的service是需要设置密码的，比如mysql服务是需要设置密码的： 可以看到在这个docker-compose.yml中的两个service密码都是明文，这样就导致了不是很安全，那么究竟什么是Docker ...
使用 kubectl 管理 Secret
使用 kubectl 管理 Secret 使用secret的基本流程： 1.创建k8s集群 2.创建管理的文件 3.验证 4.解码 5.清理 集群创建忽略，从第2步开始，一起来熟悉下secret的管理流程。 一个 Secret 可以包含 Pod 访问 ...
Databricks 第2篇：pyspark.sql 简介
pyspark中的DataFrame等价于Spark SQL中的一个关系表。在pyspark中，DataFrame由Column和Row构成。 pyspark.sql.SparkSession ...
Databricks 第4篇：pyspark.sql 分组统计和窗口
对数据分析时，通常需要对数据进行分组，并对每个分组进行聚合运算。在一定意义上，窗口也是一种分组统计的方法。 分组数据 DataFrame.groupBy()返回的是GroupedData类，可以对 ...
Databricks 第6篇：Spark SQL 维护数据库和表
，从这个角度来看，可以把database看作是Databricks 表的上层目录，用于组织数据表及其文件 ...