假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： 下面我们来介绍启动hdfs和yarn的一些命令。 1.启动hdfs集群（使用hadoop的批量启动 ...

场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstas ...

1.概述 对于数据的转发，Kafka是一个不错的选择。Kafka能够装载数据到消息队列，然后等待其他业务场景去消费这些数据，Kafka的应用接口API非常的丰富，支持各种存储介质，例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic，也是有组件可以去集成 ...

Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算 ...

最开始接触confluent是通过这篇博客，How to Build a Scalable ETL Pipeline with Kafka Connect，对于做大数据的，数据的ETL(抽取，转换，装载）是必不可少的。例如，要把传统的关系型数据库中的数据导入到HDFS里，或者导入到 ...

前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载， ...

有些hive安装文档提到了hdfs dfs -mkdir ，也就是说hdfs也是可以用的，但在2.8.0中已经不那么处理了，之所以还可以使用，是为了向下兼容. 本文简要介绍一下有关的命令，以便对hadoop的命令有一个大概的影响，并在想使用的时候能够知道从哪里可以获得帮助。 概述 ...

需求：将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法，一种是自定义mr，一种是使用hbase提供好的import工具 一、hdfs中的数据是这样的 每一行的数据是这样的id name age gender birthday 二、自定义mr ...

转载请注明出处：http://www.cnblogs.com/xiaodf/ 4. 为CDH 5集群添加Kerberos身份验证 4.1 安装sentry1、点击“操作”，“添加服务”；2、选择s ...

HDFS原理 　　首先说明下，hadoop的各种搭建方式不再介绍，相信各位玩hadoop的同学随便都能搭出来。 　　楼主的环境： 　　操作系统：Ubuntu 15.10 　　hadoop版本：2.7.3 　　HA：否（随便搭了个伪分布式） 文件上传 下图描述 ...