花費 26 ms
hadoop集群默認配置和常用配置

獲取默認配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件,默認下來,這些配置文件都是空的,所以很難知道這些配置文件 ...

Wed Apr 18 07:12:00 CST 2012 1 55359
Hadoop回收站trash

Hadoop回收站trash,默認是關閉的。 習慣了window的同學,建議最好還是把它提前開開,否則誤操作的時候,就欲哭無淚了 1.修改conf/core-site.xml,增加 ...

Wed Apr 18 08:59:00 CST 2012 0 9376
hadoop的dfs.replication

首先 dfs.replication這個參數是個client參數,即node level參數。需要在每台datanode上設置。其實默認為3個副本已經夠用了,設置太多也沒什么用。 一個文件,上傳到h ...

Wed Apr 18 09:57:00 CST 2012 0 8951
Hadoop Shell 講解

概述 所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。 用法: Hadoop有一個選項解析框架用於解析一般的選項和運行類 ...

Wed Apr 18 08:50:00 CST 2012 0 8295
hadoop集群部署

1) 安裝jdk 下載jdk-6u21-linux-i586.bin 然后修改/etc/profile: 保存,並執行source /etc/profile 2) 配置host Na ...

Wed Apr 18 06:32:00 CST 2012 0 7439
hadoop 根據SecondaryNameNode恢復Namenode

1.修改conf/core-site.xml 增加 fs.checkpoint.period表示多長時間記錄一次hdfs的鏡像。默認是1小時。 fs.checkpoint.size表 ...

Wed Apr 18 09:43:00 CST 2012 1 7103
Hadoop FS Shell

FS Shell 調用文件系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數。URI格式是schem ...

Wed Apr 18 08:30:00 CST 2012 1 6004
hadoop SecondaryNameNode和NameNode

1.概述 光從字面上來理解,很容易讓一些初學者先入為主的認為:SecondaryNameNode(snn)就是NameNode(nn)的熱備進程。其實不是。snn是HDFS架構中的一個組成部分,但是 ...

Wed Apr 18 09:39:00 CST 2012 0 6013
HDFS 安全模式

NameNode在啟動的時候首先進入安全模式,如果 datanode 丟失的block達到一定的比例(1-dfs.safemode.threshold.pct),則系統會一直處於安全模式狀態即只讀狀態 ...

Wed Apr 18 09:28:00 CST 2012 0 5400
hadoop配置文件說明

1、dfs.hosts 記錄即將作為datanode加入集群的機器列表2、mapred.hosts 記錄即將作為tasktracker加入集群的機器列表3、dfs.hosts.exclude mapr ...

Wed Apr 18 06:39:00 CST 2012 0 5338

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM