阿里雲大數據計算服務 - MaxCompute (原名 ODPS)
MaxCompute 是阿里EB級計算平台，經過十年磨礪，它成為阿里巴巴集團數據中台的計算核心和阿里雲大數據的基礎服務。去年MaxCompute 做了哪些工作，這些工作背后的原因是什么？大數據市場進入普惠+紅海的新階段，如何與生態發展共贏？人工智能進入井噴階段，如何支持與借力？本文從過去一年 ...
原文：大數據平台Hive數據遷移至阿里雲ODPS平台流程與問題記錄
一 背景介紹 最近幾天，接到公司的一個將當前大數據平台數據全部遷移到阿里雲ODPS平台上的任務。而申請的這個ODPS平台是屬於政務內網的，因考慮到安全問題當前的大數據平台與阿里雲ODPS的網絡是不通的，所以不能使用數據采集工作流模板。 然而，考慮到原大數據平台數據量並不是很大，可以通過將原大數據平台數據導出到CSV文件，然后再將CSV文件導入到ODPS平台。在這個過程中踩的坑有點多，所以想寫篇文檔 ...
2018-06-27 18:17 0 1409 推薦指數：
相關推薦
apache 大數據平台搭建(hive)
一.官網下載安裝包 https://hive.apache.org/ 由於hive-3.1.2默認支持的時spark2.4.3的版本,我們后面需要安裝spark3.0.0 所以需要重新編譯,可留言獲取安裝包 編譯步驟：官網下載 Hive3.1.2 源碼，修改 pom 文件中引用的 Spark ...
走近雲原生的開源大數據統一平台-阿里雲
Data BI warehouse 方案對比 cloudra cdp sdx【數據血緣】 Shared Data Experience (SDX) | Cloudera https://www.cloudera.com/products/sdx.html Security ...
阿里巴巴雲原生大數據運維平台 SREWorks 正式開源
簡介：阿里巴巴雲原生大數據運維平台 SREWorks，沉淀了團隊近10年經過內部業務錘煉的 SRE 工程實踐，今天正式對外開源，秉承“數據化、智能化”運維思想，幫助運維行業更多的從業者采用“數智”思想做好高效運維。 作者 | 晟白 來源 | 阿里技術公眾號 隨着行業不斷發展 ...
AI加持的阿里雲飛天大數據平台技術揭秘
說到阿里巴巴大數據，不得不提到的是10年前王堅博士率領建構的飛天大數據平台，十年磨一劍，今天飛天大數據平台已是阿里巴巴10年大平台建設最佳實踐的結晶，是阿里大數據生產的基石。飛天大數據平台在阿里巴巴集團內每天有數萬名數據和算法開發工程師在使用，承載了阿里99%的數據業務構建。同時也已經 ...
大數據開發問題記錄
1、org.apache.kafka.common.kafkaException:Unexpected error from SyncGroup:The server experienced an u ...
CDP大數據平台hive表格與CDH的不同
一、概述 CDP大數據平台是CDH和HDP合並之后的新版本，使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。 二、Hive默認創建表格不同 CDP默認創建的表格都是事務表；可以進行增、刪、改、查操作，不支持設置事務表的相關參數；應該是默認已經設置好了。而CDH需要指定 ...
好用的大數據平台有哪些？
目前大數據平台有很多，這就需要我們可以對大數據平台進行分類，這就可以從大數據處理的過程、大數據處理的數據類型、大數據處理的方式以及平台對數據的部署方式這幾方面進行。 首先我們從大數據處理的方式來划分，這樣我們就能夠把大數據平台分為批量處理、實時處理、綜合處理。其中批量數據是對成批數據進行 ...