阿里云大数据计算服务 - MaxCompute (原名 ODPS)
MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年 ...
原文：大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录
一 背景介绍 最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。 然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台数据导出到CSV文件，然后再将CSV文件导入到ODPS平台。在这个过程中踩的坑有点多，所以想写篇文档 ...
2018-06-27 18:17 0 1409 推荐指数：
相关推荐
apache 大数据平台搭建(hive)
一.官网下载安装包 https://hive.apache.org/ 由于hive-3.1.2默认支持的时spark2.4.3的版本,我们后面需要安装spark3.0.0 所以需要重新编译,可留言获取安装包 编译步骤：官网下载 Hive3.1.2 源码，修改 pom 文件中引用的 Spark ...
走近云原生的开源大数据统一平台-阿里云
Data BI warehouse 方案对比 cloudra cdp sdx【数据血缘】 Shared Data Experience (SDX) | Cloudera https://www.cloudera.com/products/sdx.html Security ...
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
简介：阿里巴巴云原生大数据运维平台 SREWorks，沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践，今天正式对外开源，秉承“数据化、智能化”运维思想，帮助运维行业更多的从业者采用“数智”思想做好高效运维。 作者 | 晟白 来源 | 阿里技术公众号 随着行业不断发展 ...
AI加持的阿里云飞天大数据平台技术揭秘
说到阿里巴巴大数据，不得不提到的是10年前王坚博士率领建构的飞天大数据平台，十年磨一剑，今天飞天大数据平台已是阿里巴巴10年大平台建设最佳实践的结晶，是阿里大数据生产的基石。飞天大数据平台在阿里巴巴集团内每天有数万名数据和算法开发工程师在使用，承载了阿里99%的数据业务构建。同时也已经 ...
大数据开发问题记录
1、org.apache.kafka.common.kafkaException:Unexpected error from SyncGroup:The server experienced an u ...
CDP大数据平台hive表格与CDH的不同
一、概述 CDP大数据平台是CDH和HDP合并之后的新版本，使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。 二、Hive默认创建表格不同 CDP默认创建的表格都是事务表；可以进行增、删、改、查操作，不支持设置事务表的相关参数；应该是默认已经设置好了。而CDH需要指定 ...
好用的大数据平台有哪些？
目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行 ...