hadoop-執行mapreduce時主機名非法的處理
hadoop搭建正常，在執行mr時，提示一個datanode節點主機名非法： [tianyc@TeletekHbase bin]$ ~/hadoop/bin/hadoop jar ~/hadoop/contrib/streaming/hadoop ...
原文：hadoop-執行mapreduce時hang住的問題
在執行mapreduce時，map成功后，reduce一直hang在 。現象如下： tianyc TkHbase hadoop hadoop jar contrib streaming hadoop streaming . . .jar mapper home tianyc study mapred python mapper.py reducer home tianyc study mapred ...
2013-02-20 16:39 0 5454 推薦指數：
相關推薦
prometheus重啟hang住問題記錄
官方issue並不承認這是一個問題，參考： https://github.com/prometheus/prometheus/issues/5727 https://github.com/prometheus/prometheus/issues/4324 有人認為是磁盤讀寫慢導致 ...
一次進程hang住問題分析。。。
這兩天有同學使用數據校驗工具時發現進程hang住了，也不知道什么原因，我簡單看了看進程堆棧，問題雖然很簡單，但能導致程序hang住，也一定不是小問題。簡單說明下程序組件的結構,程序由兩部分構成，dbchk和dbchk_inner，dbchk采用python代碼實現 ...
記錄線上一次線程hang住問題
線上發現執行某特定任務在某個特定時間點后不再work。該任務由線程池中線程執行定時周期性調度，根據日志查看無任何異常。從代碼研判應該無關定時任務框架，因為對提交的定時任務做了wrap，會將異常都catch住，保證下次仍然能夠正常調度。 通過jstack導出堆棧信息，發現問題線程的堆棧信息 ...
Hadoop- MapReduce分布式計算框架原理
分布式計算： 原則：移動計算而盡可能減少移動數據（減少網絡開銷） 分布式計算其實就是將單台機器上的計算拓展到多台機器上並行計算。 MapReduce是一種編程模型。Hadoop MapReduce采用Master/slave 結構。只要按照其編程規范，只需要編寫少量的業務邏輯 ...
漏洞復現-hadoop-命令執行
0x00 實驗環境 攻擊機：Win 10 靶機也可作為攻擊機：Ubuntu18 （docker搭建的vulhub靶場） 0x01 影響版本 hadoop 3.3.0以下 vulhub版本為2.8.1： 0x02 漏洞復現 ...
Hadoop MapReduce執行過程(一)
JobClient JobClient是提交job的客戶端，當創建一個實例時，構造函數里面要做的事情是： 創建完實例，向JobTracker提交一個job使用的方法是： 在這個方法里面調用了JobTracker.submitJob()方法 ...
hadoop-集群搭建
由於篇幅較大，廢話不多說，直奔主題。 hadoop 安裝同樣可分為 單機模式、偽分布式、完全分布式 本文主要介紹完全分布式，環境 centos 6.5，hadoop-2.6.5 第一步：配置好 4 台虛擬機或者物理機，具體步驟參考我的其他博客 第二步：查看主機名，並修改 ...