【原创】大数据基础之Gobblin（2）持久化kafka到hdfs
gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume ...
原文：【原创】大数据基础之Hadoop（3）hdfs diskbalancer
hdfs单个节点内多个磁盘不均衡时 比如新加磁盘 ，需要手工进行diskbalancer操作，命令如下 其中thresholdPercentage的注释有歧义，看起来是根据绝对值进行均衡的，查看代码 org.apache.hadoop.hdfs.server.diskbalancer.datamodel.DiskBalancerVolumeSet 主要有两个函数， computeVolumeDat ...
2021-09-04 11:31 0 120 推荐指数：
相关推荐
【原创】大数据基础之Hadoop（3）yarn数据收集与监控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
【原创】大数据基础之Hadoop（1）HA实现原理
有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server， ...
大数据之--------hadoop存储(HDFS)
Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统，对外部客户端而言，HDFS 就像一个传统的分级文件系统，可以进行创建、删除、移动或重命名文件或文件夹等操作，与 Linux 文件系统类似。 Client客户端 ...
【原创】大数据基础之HDFS（1）HDFS新创建文件如何分配Datanode
HDFS中的File由Block组成，一个File包含一个或多个Block，当创建File时会创建一个Block，然后根据配置的副本数量（默认是3）申请3个Datanode来存放这个Block； 通过hdfs fsck命令可以查看一个文件具体的Block、Datanode、Rack信息 ...
【原创】大数据基础之HDFS（2）HDFS副本数量检查及复制逻辑
HDFS会周期性的检查是否有文件缺少副本，并触发副本复制逻辑使之达到配置的副本数， <property> <name>dfs.replication</name> <value>3</value> ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite that helps evaluate different big data frameworks ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azk ...