Azure Data Factory (1) ADF入门
《Windows Azure Platform 系列文章目录》 我们在做数据分析和数据转换的时候，经常会遇到ETL的场景，所谓ETL就是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载 ...
原文：Azure Data Factory (2) 通过ADF把SQL VM数据导出到Azure Storage Parquet文件
Windows Azure Platform 系列文章目录 之前在别的项目中遇到了类似的问题，SQL Server虚拟机中的订单数据，每天产生的数据约千万级别，数据库已经达到了 TB级别。之前需要人工对于SQL Server Table进行归档，费时费力。 我们可以利用Azure Data Factory，把SQL Server虚拟机的表，导入到Azure Storage中。 主要概念： ADF ...
2020-08-10 18:20 0 467 推荐指数：
相关推荐
ADF 第一篇：Azure Data Factory介绍
Azure Data Factory 系列博客： ADF 第一篇：Azure Data Factory介绍 ADF 第二篇：使用UI创建数据工厂 ADF 第三篇：Integration runtime和 Linked Service ADF 第四篇：管道的执行和触发器 ...
Azure Data Factory（二）复制数据
一，引言 上一篇主要只讲了Azure Data Factory的一些主要概念，今天开始新的内容，我们开始通过Azure DevOps 或者 git 管理 Azure Data Factory 中的源代码，同时创建 Pipleline 将 Azure Blob1 的 Container ...
Azure Data Factory（五）Blob Storage 密钥管理问题
一，引言 之前讲解的ADF 集成Azure DevOps 实现CI/CD，在 Releases Pipeline 阶段，我们是将两个 Blob Storage 的链接字符串复制、粘贴到 ”Override template parameters“，这样虽然说实现了对应的功能，但是也暴露出一定 ...
SQL Azure(十) SQL Azure Data Sync数据同步功能(上)
首先举个简单的例子：如果某个大型生产企业包含有2个子系统： - 有一个《产品生产系统》放在企业内部部署，在企业内部办公的员工(生产员工)都可以通过内网来访问该系统。后台的数据库是局域网内的SQL Server 2008 R2。 - 另外有一个《产品库存系统》放在Windows ...
Azure Data Factory（一）入门简介
一，引言 今天分享一个新的Azure 服务-----Azure Data Factory（Azure 数据工厂），怎么理解，参考根据官方解释-----数据工厂解释：大数据需要可以启用协调和操作过程以将这些巨大的原始数据存储优化为可操作的业务见解的服务。 Azure 数据工厂是为这些复杂的混合 ...
怎样将SQL Azure数据库备份到本地或者Storage
怎样备份SQL Azure数据库到本地或者云存储Storage，可以使用SQL Database Import Export 的功能。 具体操作如下： 用SSMS链接SQL Azure数据库 注意：服务器名称可以从管理网站上获得，登录名不要加@服务器名。 右键要导出 ...
Azure Data Factory（三）集成 Azure Devops 实现CI/CD
一，引言 由于上一节文章内容过长，无法分享Azure Data Factory 的持续集成，持续发布。今天将着重介绍一下在使用 Azure DevOps Pipeline 发布，自动进行持续集成，并且已自动化发布，将Azure Data Factory 部署到多个环境中 ...