Databricks 第7篇：管理Secret
Azure中的Secret是指密码、凭证和密钥等，举个例子，使用Azure Databricks Secret来存储凭证，并在notebook和job中引用它们，而不是直接在notebook中输入凭据。 Secret Scope是Secret的集合，每一个Secret是由name唯一确定 ...
原文：Databricks 第1篇：初识Databricks，创建工作区、集群和Notebook
Azure Databricks是一个可扩展的数据分析平台，基于Apache Spark。Azure Databricks 工作区 Workspace 是一个交互式的环境，工作区把对象 notebook library dashboards experiments 组织成文件夹，用于数据集成和数据分析。 一，Azure Databricks的基本概念 ，工作区是一个交互式的环境 工作区是一个交互式 ...
2020-12-22 18:45 0 1589 推荐指数：
相关推荐
Databricks 第5篇：Databricks文件系统（DBFS）
Databricks 文件系统 (DBFS，Databricks File System) 是一个装载到 Azure Databricks 工作区的分布式文件系统，可以在 Azure Databricks 群集上使用。 一个存储对象是一个具有特定格式的文件，不同的格式具有不同的读取和写入的机制 ...
Databricks 第10篇：Job
大家知道，用户可以在Notebook UI中以交互方式运行Notebook中的SQL、Python等代码，交互方式便于数据的调查和分析。用户还可以通过Job来自动维护数据，Job是立即运行或按计划运行notebook（或JAR）的一种方法，通过Job可以定时执行数据的清理和整合，用户只需要设置好 ...
Databricks 第2篇：pyspark.sql 简介
pyspark中的DataFrame等价于Spark SQL中的一个关系表。在pyspark中，DataFrame由Column和Row构成。 pyspark.sql.SparkSession ...
Databricks 第4篇：pyspark.sql 分组统计和窗口
对数据分析时，通常需要对数据进行分组，并对每个分组进行聚合运算。在一定意义上，窗口也是一种分组统计的方法。 分组数据 DataFrame.groupBy()返回的是GroupedData类，可以对 ...
Databricks 第6篇：Spark SQL 维护数据库和表
，从这个角度来看，可以把database看作是Databricks 表的上层目录，用于组织数据表及其文件 ...
Databricks说的Lakehouse是什么？
在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。 数据仓库在决策支持和商业智能应用方面有着悠久的历史。自20世纪80年代末问世以来，数据仓库技术一直在持续 ...
Databricks 第9篇：Spark SQL 基础（标识符、数据类型、NULL语义）
Spark SQL 支持多种数据类型，并兼容Python、Scala等语言的数据类型。 一，标识符 标识符是一个字符串，用于标识一个数据库对象，比如table、view、schema、column ...