转自：http://blog.csdn.net/wzy0623/article/details/73650053 一、为什么要用到Flume 在以前搭建HAWQ数据仓库实 ...

一. 概述 在大数据的静态数据处理中，目前普遍采用的是用Spark+Hdfs（Hive/Hbase）的技术架构来对数据进行处理。 但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存 ...

转自：http://blog.csdn.net/huyuxiang999/article/details/17691405 一、实验环境 ： 1、硬件：3台DELL服务器，CPU：2.27GHz* ...

大概逻辑是先上传hdfs数据，然后创建hive外部表，关联到hdfs上传数据的位置。 截图比较概要，但是用起来很简单 1、创建路径和上传文件 2、创建外部表 ...

文章来自：http://www.cnblogs.com/hark0623/p/4177794.html 转载请注明 其实问题很简单，因为在CDH中hdfs-site.xml配置文件中WEB U ...

我们都知道现在大数据存储用的基本都是 Hadoop Hdfs ，但在 Hadoop 诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看 Hadoop Hdf ...

1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。 容量占用超过了80%，需要缩减副本以空出容量。 3、查看 ...

转自：http://www.jianshu.com/p/372d25352d3a HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和Bl ...

问题发现： 经巡检，服务器中一台节点的hadoop磁盘占用过多，是其它节点的三倍，导致数据严重不均衡。 解决过程： 两种命令： hadoop的bin目录下，运行命令 ...

最近有位同事经常问一些Hadoop的东西，特别是Hdfs的一些细节，有些记得不清楚，所以趁机整理一波。 会按下面的大纲进行整理： 简单介绍Hdfs 简单介绍Hdfs读写流程 介绍Hd ...