假如我們只有3台linux虛擬機，主機名分別為hadoop01、hadoop02和hadoop03，在這3台機器上，hadoop集群的部署情況如下： 下面我們來介紹啟動hdfs和yarn的一些命令。 1.啟動hdfs集群（使用hadoop的批量啟動 ...

場景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstas ...

1.概述 對於數據的轉發，Kafka是一個不錯的選擇。Kafka能夠裝載數據到消息隊列，然后等待其他業務場景去消費這些數據，Kafka的應用接口API非常的豐富，支持各種存儲介質，例如HDFS、HBase等。如果不想使用Kafka API編寫代碼去消費Kafka Topic，也是有組件可以去集成 ...

Hadoop3.0新特性介紹，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 項目組最新消息，hadoop3.x以后將會調整方案架構，將Mapreduce 基於內存+io+磁盤，共同處理數據。其實最大改變的是hdfs,hdfs 通過最近black塊計算，根據最近計算 ...

最開始接觸confluent是通過這篇博客，How to Build a Scalable ETL Pipeline with Kafka Connect，對於做大數據的，數據的ETL(抽取，轉換，裝載）是必不可少的。例如，要把傳統的關系型數據庫中的數據導入到HDFS里，或者導入到 ...

前言 hadoop是分布式系統，運行在linux之上，配置起來相對復雜。對於hadoop1，很多同學就因為不能搭建正確的運行環境，導致學習興趣銳減。不過，我有免費的學習視頻下載， ...

有些hive安裝文檔提到了hdfs dfs -mkdir ，也就是說hdfs也是可以用的，但在2.8.0中已經不那么處理了，之所以還可以使用，是為了向下兼容. 本文簡要介紹一下有關的命令，以便對hadoop的命令有一個大概的影響，並在想使用的時候能夠知道從哪里可以獲得幫助。 概述 ...

需求：將HDFS上的文件中的數據導入到hbase中 實現上面的需求也有兩種辦法，一種是自定義mr，一種是使用hbase提供好的import工具 一、hdfs中的數據是這樣的 每一行的數據是這樣的id name age gender birthday 二、自定義mr ...

轉載請注明出處：http://www.cnblogs.com/xiaodf/ 4. 為CDH 5集群添加Kerberos身份驗證 4.1 安裝sentry1、點擊“操作”，“添加服務”；2、選擇s ...

HDFS原理 　　首先說明下，hadoop的各種搭建方式不再介紹，相信各位玩hadoop的同學隨便都能搭出來。 　　樓主的環境： 　　操作系統：Ubuntu 15.10 　　hadoop版本：2.7.3 　　HA：否（隨便搭了個偽分布式） 文件上傳 下圖描述 ...