hadoop-执行mapreduce时主机名非法的处理
hadoop搭建正常，在执行mr时，提示一个datanode节点主机名非法： [tianyc@TeletekHbase bin]$ ~/hadoop/bin/hadoop jar ~/hadoop/contrib/streaming/hadoop ...
原文：hadoop-执行mapreduce时hang住的问题
在执行mapreduce时，map成功后，reduce一直hang在 。现象如下： tianyc TkHbase hadoop hadoop jar contrib streaming hadoop streaming . . .jar mapper home tianyc study mapred python mapper.py reducer home tianyc study mapred ...
2013-02-20 16:39 0 5454 推荐指数：
相关推荐
prometheus重启hang住问题记录
官方issue并不承认这是一个问题，参考： https://github.com/prometheus/prometheus/issues/5727 https://github.com/prometheus/prometheus/issues/4324 有人认为是磁盘读写慢导致 ...
一次进程hang住问题分析。。。
这两天有同学使用数据校验工具时发现进程hang住了，也不知道什么原因，我简单看了看进程堆栈，问题虽然很简单，但能导致程序hang住，也一定不是小问题。简单说明下程序组件的结构,程序由两部分构成，dbchk和dbchk_inner，dbchk采用python代码实现 ...
记录线上一次线程hang住问题
线上发现执行某特定任务在某个特定时间点后不再work。该任务由线程池中线程执行定时周期性调度，根据日志查看无任何异常。从代码研判应该无关定时任务框架，因为对提交的定时任务做了wrap，会将异常都catch住，保证下次仍然能够正常调度。 通过jstack导出堆栈信息，发现问题线程的堆栈信息 ...
Hadoop- MapReduce分布式计算框架原理
分布式计算： 原则：移动计算而尽可能减少移动数据（减少网络开销） 分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑 ...
漏洞复现-hadoop-命令执行
0x00 实验环境 攻击机：Win 10 靶机也可作为攻击机：Ubuntu18 （docker搭建的vulhub靶场） 0x01 影响版本 hadoop 3.3.0以下 vulhub版本为2.8.1： 0x02 漏洞复现 ...
Hadoop MapReduce执行过程(一)
JobClient JobClient是提交job的客户端，当创建一个实例时，构造函数里面要做的事情是： 创建完实例，向JobTracker提交一个job使用的方法是： 在这个方法里面调用了JobTracker.submitJob()方法 ...
hadoop-集群搭建
由于篇幅较大，废话不多说，直奔主题。 hadoop 安装同样可分为 单机模式、伪分布式、完全分布式 本文主要介绍完全分布式，环境 centos 6.5，hadoop-2.6.5 第一步：配置好 4 台虚拟机或者物理机，具体步骤参考我的其他博客 第二步：查看主机名，并修改 ...