原文:大數據小視角3:CarbonData,來自華為的中國力量

連續兩篇文章都聊了不同的存儲格式,這篇我們繼續深入來看看在存儲格式的演變之上有什么新的 黑科技 。華為公司在 年開源了類parquet的列存格式:CarbonData,並且貢獻給了Apache社區。CarbonData僅僅用了不到一年的時間就成功畢業,成為了Apache社區的頂級項目,CarbonData是首個由華人公司主導的Apache頂級項目, 來源自eBay的Kylin算是首個由華人主導的 ...

2018-06-20 09:33 0 7171 推薦指數:

查看詳情

【繼續教育】全球戰“疫”斗爭中的中國優勢、 中國力量中國擔當、中國精神

單選題 1、截至2020年8月31日,全球累計確診新冠肺炎病例達到()萬例。 B、2500 2、“中國積極開展抗疫合作,弘揚了國際人道主義精神,踐行了人類命運共同體的理念。”是()提出。 D、魯文·馬約爾加·薩加斯圖梅 3、截至到2020年5月31日,國內確診住院患者結算人數()萬人 ...

Fri Nov 05 00:35:00 CST 2021 0 5723
大數據小視角4:小議Lambda 與 Kappa 架構,不可變數據的計算探索

這個系列文章之前因為私事荒廢了很久,繼續更新~~之前與老大談論架構時,老大和我聊了聊分布式數據處理之中的Lambda結構,之前在《Designing Data-Intensive Applications》這本書之中,作者 Martin Kleppmann也在文中涉及到了通過重型批處理與靈活 ...

Wed Aug 08 18:16:00 CST 2018 0 2251
大數據小視角5:探究SSD寫放大的成因與解決思路

筆者目前開發運維的存儲系統的服務器都跑在SSD之上,目前單機服務器最大的SSD容量有4T之多。(公司好有錢,以前在實驗室都只有機械硬盤用的~~)但SSD本身的特性與機械硬盤差距較大,雖然說在性能 ...

Fri Sep 21 19:54:00 CST 2018 2 847
大數據小視角2:ORCFile與Parquet,開源圈背后的生意

上一篇文章聊了聊基於PAX的混合存儲結構的RCFile,其實這里筆者還了解一些八卦,RCfile的主力團隊都是來自中科院的童鞋在Facebook完成的,算是一個由華人主導的編碼項目。但是RCfile仍然存在一些缺陷,后續被HortonWorks盯上之后上馬了ORCFile格式,而老對頭 ...

Fri May 25 18:46:00 CST 2018 1 2314
關於“華為”的大數據分析

  下圖為對於“華為”關鍵詞進行百度搜索的搜索指數圖,在2017年8月初至9月初這30天中,在關於“華為”這一關鍵詞的搜索量出現幾個較為大的搜索峰值。根據幾個峰值與對應日期進行分析,出現這幾個峰值的主要原因是華為公司進行的新品發布以及網上對華為手機的各種評測,導致了人們對華為的關注量與搜索量的上升 ...

Tue Sep 05 03:03:00 CST 2017 1 1472
2020中國高校計算機大賽·華為大數據挑戰賽-數據分析(二)

2020中國高校計算機大賽·華為大數據挑戰賽-數據分析(二) 哈嘍,小伙伴們好久不見,這幾個星期由於個人原因,都沒時間做比賽,直到最近幾天開始做了下,趁周日寫下分享記錄,分數雖然不高,但是分享出來一些清洗數據和特征工程的看法,希望對大家有所幫助和啟發。 這里繼續上次的分析,上一篇我們主要分析 ...

Sat Jun 26 03:15:00 CST 2021 0 156
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM