前言 　　上一篇詳細介紹了HDFS集群，還有操作HDFS集群的一些命令，常用的命令： 　　注意：這里要說明一下-cp，我們可以從本地文件拷貝到集群，集群拷貝到本地，集群拷貝到集群。 ...

前言 　　上一篇介紹了偽分布式集群的搭建，其實在我們的生產環境中我們肯定不是使用只有一台服務器的偽分布式集群當中的。接下來我將給大家分享一下全分布式集群的搭建！ 　　其實搭建最基本的全分布式集群和 ...

前言 　　前面只是大概介紹了一下Hadoop，現在就開始搭建集群了。我們下嘗試一下搭建一個最簡單的集群。之后為什么要這樣搭建會慢慢的分享，先要看一下效果吧！ 一、Hadoop的三種運行模式（啟動模 ...

前言 　　從今天起，我將一步一步的分享大數據相關的知識，其實很多程序員感覺大數據很難學，其實並不是你想象的這樣，只要自己想學，還有什么難得呢？ 　　學習Hadoop有一個8020原則，80%都是在 ...

前言 　　HDFS（Hadoop Distributed File System）是一個分布式文件系統。它具有高容錯性並提供了高吞吐量的數據訪問，非常適合大規模數據集上的應用，它提供了一個高度容錯性 ...

前言 　　前面幾篇簡單介紹了什么是大數據和Hadoop，也說了怎么搭建最簡單的偽分布式和全分布式的hadoop集群。接下來這篇我詳細的分享一下HDFS。 　　HDFS前言： 　　　　設計思想：（ ...

前言 　　我們知道HDFS集群中，所有的文件都是存放在DN的數據塊中的。那我們該怎么去查看數據塊的相關屬性的呢？這就是我今天分享的內容了 一、HDFS中數據塊概述 1.1、HDFS集群中數據塊存 ...

一、統計好友對數（去重） 1.1、數據准備 friends.txt 　　有一個friends.txt文件，里面的一行的格式是： 　　用戶名,好友名 　　 ...

前言 　　其實說到HDFS的存儲原理，無非就是讀操作和寫操作，那接下來我們詳細的看一下HDFS是怎么實現讀寫操作的！ 一、HDFS讀取過程 　　 　　1）客戶端通過調用FileSystem對象 ...

前言 　　前面一篇介紹了Java怎么去查看數據塊的相關信息和怎么去查看文件系統。我們只要知道怎么去查看就行了！接下來我分享的是Hadoop的I/O操作。 　　在Hadoop中為什么要去使用壓縮（C ...