一、系统架构 runtime framework v.s. mpp 在SQL on Hadoop系统中，有两种架构： 1、一种是基于某个运行时框架来构建查询引擎，典型案例是Hive； 2、另一种是仿照过去关系数据库的MPP架构，就是参考过去的MPP数据库架构打造一个专门的系统，于是就 ...

Hadoop 3.0 EC技术 EC的设计目标 Hadoop默认的3副本方案需要额外的200%的存储空间、和网络IO开销 而一些较低I/O的warn和cold数据，副本数据的访问是比较少的（hot数据副本会被用于计算） EC可以提供同级别的容错能力，存储空间要少得多（官方宣传 ...

欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~ 作者：温球良 导语 最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上 ...

YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因为应用程序到达内存限制，会发生OOM，就会被杀死。CPU资源一般用Cgr ...

转了云方向，代码都少写了 1. 为什么出现Docker 以前开发项目有开发的环境、测试的环境、还有生产的环境，每经过一阶段就要迁移项目。不同的环境有不同的配置，可能导致不可预估的 ...

一、最最最基础操作 二、简单的时空穿梭 1. 文件修改后，查看状态 修改 readme.md 文件，查看状态 git status 命令告知，已经对文件修改但仍未提交暂存区，下一步运用 ...

1 Git介绍 2 Git 和SVN **Git:分布式,无网络时也可以提交到本地版本库,待到有网络时再push到服务器. ** svn:非分布式.无网络不可以提交 3 Git,G ...

Compression and Input Splits 当我们使用压缩数据作为MapReduce的输入时，需要确认数据的压缩格式是否支持切片？ 假 ...