Databricks 第7篇：管理Secret
Azure中的Secret是指密码、凭证和密钥等，举个例子，使用Azure Databricks Secret来存储凭证，并在notebook和job中引用它们，而不是直接在notebook中输入凭据。 Secret Scope是Secret的集合，每一个Secret是由name唯一确定 ...
原文：Databricks 第10篇：Job
大家知道，用户可以在Notebook UI中以交互方式运行Notebook中的SQL Python等代码，交互方式便于数据的调查和分析。用户还可以通过Job来自动维护数据，Job是立即运行或按计划运行notebook 或JAR 的一种方法，通过Job可以定时执行数据的清理和整合，用户只需要设置好计划 schedule ，就可以自动实现数据的维护。 用户也可以通过Databricks UI来监控Jo ...
2021-01-27 13:44 0 343 推荐指数：
相关推荐
Databricks 第5篇：Databricks文件系统（DBFS）
Databricks 文件系统 (DBFS，Databricks File System) 是一个装载到 Azure Databricks 工作区的分布式文件系统，可以在 Azure Databricks 群集上使用。 一个存储对象是一个具有特定格式的文件，不同的格式具有不同的读取和写入的机制 ...
Databricks 第1篇：初识Databricks，创建工作区、集群和Notebook
Azure Databricks是一个可扩展的数据分析平台，基于Apache Spark。Azure Databricks 工作区（Workspace）是一个交互式的环境，工作区把对象（notebook、library、dashboards、experiments）组织成文件夹，用于数据集成和数 ...
Databricks 第2篇：pyspark.sql 简介
pyspark中的DataFrame等价于Spark SQL中的一个关系表。在pyspark中，DataFrame由Column和Row构成。 pyspark.sql.SparkSession ...
Databricks 第4篇：pyspark.sql 分组统计和窗口
对数据分析时，通常需要对数据进行分组，并对每个分组进行聚合运算。在一定意义上，窗口也是一种分组统计的方法。 分组数据 DataFrame.groupBy()返回的是GroupedData类，可以对 ...
Databricks 第6篇：Spark SQL 维护数据库和表
，从这个角度来看，可以把database看作是Databricks 表的上层目录，用于组织数据表及其文件 ...
Databricks 第9篇：Spark SQL 基础（标识符、数据类型、NULL语义）
Spark SQL 支持多种数据类型，并兼容Python、Scala等语言的数据类型。 一，标识符 标识符是一个字符串，用于标识一个数据库对象，比如table、view、schema、column ...
Databricks 第11篇：Spark SQL 查询（行转列、列转行、Lateral View、排序）
本文分享在Azure Databricks中如何实现行转列和列转行，并介绍对查询的结果进行排序的各种方式。 一，行转列 在分组中，把每个分组中的某一列的数据连接在一起： collect_list：把一个分组中的列合成为数组，数据不去重，格式是['a','a','b ...