【原创】大数据基础之Hadoop（3）hdfs diskbalancer
hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下 其中thresholdPercentage的注释有歧义，看起来是根据绝对值进行均衡的，查看代码 ...
原文：【原创】大数据基础之Gobblin（2）持久化kafka到hdfs
gobblin . 想要持久化kafka到hdfs有很多种方式，比如flume logstash gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume logstash的最大不同 gobblin有几种部署方式： standalone cron mr oozie az ...
2019-06-01 14:29 0 647 推荐指数：
相关推荐
【原创】大数据基础之Kafka（2）reassign过程
reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一 ...
【原创】大数据基础之HDFS（1）HDFS新创建文件如何分配Datanode
HDFS中的File由Block组成，一个File包含一个或多个Block，当创建File时会创建一个Block，然后根据配置的副本数量（默认是3）申请3个Datanode来存放这个Block； 通过hdfs fsck命令可以查看一个文件具体的Block、Datanode、Rack信息 ...
【原创】大数据基础之HDFS（2）HDFS副本数量检查及复制逻辑
HDFS会周期性的检查是否有文件缺少副本，并触发副本复制逻辑使之达到配置的副本数， <property> <name>dfs.replication</name> <value>3</value> ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite tha ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azk ...
【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime me ...
【原创】大数据基础之Flume（2）应用之kafka-kudu
应用一：kafka数据同步到kudu 1 准备kafka topic 2 准备kudu表 impala-shell 3 准备flume kudu支持 3.1 下载jar 3.2 开发 代码库：https://github.com ...