【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
原文：【原创】大数据基础之Hadoop（3）yarn数据收集与监控
yarn常用rest api metrics curl http: localhost: ws v cluster metrics The cluster metrics resource provides some overall metrics about the cluster. More detailed metrics should be retrieved from the jmx i ...
2019-03-27 15:21 0 1111 推荐指数：
相关推荐
【原创】大数据基础之Hadoop（3）hdfs diskbalancer
org.apache.hadoop.hdfs.server.diskbalancer.datamodel.DiskBalancerVolumeSet 主要有两个函数， computeV ...
【原创】大数据基础之Hadoop（1）HA实现原理
有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server， ...
大数据（八）Hadoop YARN配置
1、配置mapred-site.xml 2、配置yarn-site.xml 3、将上述两个文件分发到其他Hadoop节点 4、让两个ResourceManager之间互相免密钥 5、启动 启动顺序 ...
【原创】大数据基础之Spark（2）Spark on Yarn：container memory allocation容器内存分配
spark 2.1.1 最近spark任务（spark on yarn）有一个报错 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite that helps evaluate different big data frameworks ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azk ...
大数据之数据收集
大数据之数据收集 数据收集是大数据的基础。散落在各处的数据，只有经过了数据收集，才会集中起来，提供了后续处理的可能。从大数据技术发展以来，出现了很多数据收集的技术框架，本文试图在若干流行的数据收集解决方案上加以叙述。 评估一个技术框架是否适合某个业务场景，通常需要考虑多个方面。 l ...