原文:大数据小视角3:CarbonData,来自华为的中国力量

连续两篇文章都聊了不同的存储格式,这篇我们继续深入来看看在存储格式的演变之上有什么新的 黑科技 。华为公司在 年开源了类parquet的列存格式:CarbonData,并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业,成为了Apache社区的顶级项目,CarbonData是首个由华人公司主导的Apache顶级项目, 来源自eBay的Kylin算是首个由华人主导的 ...

2018-06-20 09:33 0 7171 推荐指数:

查看详情

【继续教育】全球战“疫”斗争中的中国优势、 中国力量中国担当、中国精神

单选题 1、截至2020年8月31日,全球累计确诊新冠肺炎病例达到()万例。 B、2500 2、“中国积极开展抗疫合作,弘扬了国际人道主义精神,践行了人类命运共同体的理念。”是()提出。 D、鲁文·马约尔加·萨加斯图梅 3、截至到2020年5月31日,国内确诊住院患者结算人数()万人 ...

Fri Nov 05 00:35:00 CST 2021 0 5723
大数据小视角4:小议Lambda 与 Kappa 架构,不可变数据的计算探索

这个系列文章之前因为私事荒废了很久,继续更新~~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的Lambda结构,之前在《Designing Data-Intensive Applications》这本书之中,作者 Martin Kleppmann也在文中涉及到了通过重型批处理与灵活 ...

Wed Aug 08 18:16:00 CST 2018 0 2251
大数据小视角5:探究SSD写放大的成因与解决思路

笔者目前开发运维的存储系统的服务器都跑在SSD之上,目前单机服务器最大的SSD容量有4T之多。(公司好有钱,以前在实验室都只有机械硬盘用的~~)但SSD本身的特性与机械硬盘差距较大,虽然说在性能 ...

Fri Sep 21 19:54:00 CST 2018 2 847
大数据小视角2:ORCFile与Parquet,开源圈背后的生意

上一篇文章聊了聊基于PAX的混合存储结构的RCFile,其实这里笔者还了解一些八卦,RCfile的主力团队都是来自中科院的童鞋在Facebook完成的,算是一个由华人主导的编码项目。但是RCfile仍然存在一些缺陷,后续被HortonWorks盯上之后上马了ORCFile格式,而老对头 ...

Fri May 25 18:46:00 CST 2018 1 2314
关于“华为”的大数据分析

  下图为对于“华为”关键词进行百度搜索的搜索指数图,在2017年8月初至9月初这30天中,在关于“华为”这一关键词的搜索量出现几个较为大的搜索峰值。根据几个峰值与对应日期进行分析,出现这几个峰值的主要原因是华为公司进行的新品发布以及网上对华为手机的各种评测,导致了人们对华为的关注量与搜索量的上升 ...

Tue Sep 05 03:03:00 CST 2017 1 1472
2020中国高校计算机大赛·华为大数据挑战赛-数据分析(二)

2020中国高校计算机大赛·华为大数据挑战赛-数据分析(二) 哈喽,小伙伴们好久不见,这几个星期由于个人原因,都没时间做比赛,直到最近几天开始做了下,趁周日写下分享记录,分数虽然不高,但是分享出来一些清洗数据和特征工程的看法,希望对大家有所帮助和启发。 这里继续上次的分析,上一篇我们主要分析 ...

Sat Jun 26 03:15:00 CST 2021 0 156
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM