一、需求场景 随着业务数据的快速增长，物理磁盘剩余空间告警，需要将数据备份从3份修改为1份，从而快速腾出可用磁盘容量。 二、解决方案 1. 修改hdfs的副本数 Hbase 的数据是存储在 hdfs 上的，Hbase的副本数是默认读取hdfs的配置进行副本备份的，所以需要修改hdfs ...

博客已转移，请借一步说话。http://www.daniubiji.cn/archives/538 我们先来看看大数据时代， 什么叫大数据，“大”，说的并不仅是数据的“多”！不能用数据到了多少TB ，多少PB 来说。 对于大数据，可以用四个词来表示：大量，多样，实时，不确定。 也就 ...

Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。 Hadoop的位置 从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。 越往上，越往右就越火…… Hadoop框架中一些简介 HDFS HDFS，（Hadoop ...

一、HDFS 的设计思路 　1）思路 切分数据，并进行多副本存储； 　2）如果文件只以多副本进行存储，而不进行切分，会有什么问题 缺点 不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据 ...

HDFS会周期性的检查是否有文件缺少副本，并触发副本复制逻辑使之达到配置的副本数， <property> <name>dfs.replication</name> <value>3</value> ...

第三章、Hadoop基础操作 目录结构： 1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息 2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 2.3 ...

大数据Hadoop的安装与使用 链接：https://pan.baidu.com/s/12vFNRLPJ9zGA2LTJuIpxJQ 提取码：83fb Vmware的安装：https://www.cnblogs.com/cainiao-chuanqi/p/13130663.html ...

一个文件，上传到hdfs上时指定的是几个副本就是几个。修改了副本数（dfs.replications），对已经上传了的文件也不会起作用。当然可以在上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=2 -put abc.txt /tmp可以通过命令来更改已经 ...