HDFS: 　　用於存放一切信息的分布式的文件系統。大數據系統由於其涉及到的數據量較大所以往往需要仰賴於一個數據倉庫系統，將所有的數據能夠分門別類地存儲起來，而HDFS就是這樣一個倉庫。需要注意一點，HDFS並不是我們通常實際用來查詢或者處理數據的數據倉庫組件，其更像是倉庫本身，是一個偏硬件，偏 ...

一.數據處理架構 如圖，數據流轉主要有兩條線，實時計算流程和離線計算流程 實時計算：事件(hive表)----(使用dw-event-to-collector.sh發送事件)---->收數工具collector-------->flume分發--------> ...

其實對一些基本的概念都沒有弄清楚，這里從網上找一些來普及下 一、結構化數據與非結構化數據 結構化數據就是能變成二維的行數據，主要應用在關系型數據庫中。 非結構化數據是不可以變的，例如視頻，音頻文件，沒有辦法變成二維的行數據。所以一般不能用簡單的關系型數據庫存儲，所以就引入了別的存儲方式 ...

第一次聽說<<大數據時代>>這本書，是在網上看到的央視搞的一個2013中國好書評選活動推薦的25本“中國好書”的榜單中看到的。然后迅速上豆瓣上查看了一下對該書的評價，一看非常高，再加上央視的推薦是從2013在中國出版的40萬冊圖書中選出25本，可以說是精華了。果斷 ...

一、大數據的基本概念 1.1、什么是大數據 　　大數據指的就是要處理的數據是TB級別以上的數據。大數據是以TB級別起步的。在計算機當中，存放到硬盤上面的文件都會占用一定的存儲空間，例如： 　　 　　文件占用的存儲空間代表的就是該文件的大小，在計算機當中，文件的大小可以采用以下單位來表示 ...

1.大數據概念 1.1 什么是大數據 大數據顧名思義就是大量的數據，一般這些數據都是PB級以上。這些數據的特點是種類多（有視頻啊，圖片啊，文字啊，語音啊等），數據量大（PB級以上，1EB=1024PB，1PB=1024T，1T=1024G），需要快速處理（后面會介紹分布式處理技術），有價值 ...

原文地址：http://bbs.pinggu.org/bigdata/ 大數據概念 "大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。 　　 "大數據"首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB ...

以下就是一個簡單的整理，核心在數據sql查詢以及支持的聯邦數據處理上 presto 一個通用的sql on anything 工具 apache drill 很不錯的多數據源sql 查詢引擎，schema on fly dremio 很不錯，從官方文檔看有點對標presto ...