HDFS: 　　用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏 ...

一.数据处理架构 如图，数据流转主要有两条线，实时计算流程和离线计算流程 实时计算：事件(hive表)----(使用dw-event-to-collector.sh发送事件)---->收数工具collector-------->flume分发--------> ...

其实对一些基本的概念都没有弄清楚，这里从网上找一些来普及下 一、结构化数据与非结构化数据 结构化数据就是能变成二维的行数据，主要应用在关系型数据库中。 非结构化数据是不可以变的，例如视频，音频文件，没有办法变成二维的行数据。所以一般不能用简单的关系型数据库存储，所以就引入了别的存储方式 ...

第一次听说<<大数据时代>>这本书，是在网上看到的央视搞的一个2013中国好书评选活动推荐的25本“中国好书”的榜单中看到的。然后迅速上豆瓣上查看了一下对该书的评价，一看非常高，再加上央视的推荐是从2013在中国出版的40万册图书中选出25本，可以说是精华了。果断 ...

一、大数据的基本概念 1.1、什么是大数据 　　大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如： 　　 　　文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用以下单位来表示 ...

1.大数据概念 1.1 什么是大数据 大数据顾名思义就是大量的数据，一般这些数据都是PB级以上。这些数据的特点是种类多（有视频啊，图片啊，文字啊，语音啊等），数据量大（PB级以上，1EB=1024PB，1PB=1024T，1T=1024G），需要快速处理（后面会介绍分布式处理技术），有价值 ...

原文地址：http://bbs.pinggu.org/bigdata/ 大数据概念 "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 　　 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB ...

以下就是一个简单的整理，核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎，schema on fly dremio 很不错，从官方文档看有点对标presto ...