花费 78 ms
hadoop集群默认配置和常用配置

获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件 ...

Wed Apr 18 07:12:00 CST 2012 1 55359
Hadoop回收站trash

Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了 1.修改conf/core-site.xml,增加 ...

Wed Apr 18 08:59:00 CST 2012 0 9376
hadoop的dfs.replication

首先 dfs.replication这个参数是个client参数,即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了,设置太多也没什么用。 一个文件,上传到h ...

Wed Apr 18 09:57:00 CST 2012 0 8951
Hadoop Shell 讲解

概述 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法: Hadoop有一个选项解析框架用于解析一般的选项和运行类 ...

Wed Apr 18 08:50:00 CST 2012 0 8295
hadoop集群部署

1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile: 保存,并执行source /etc/profile 2) 配置host Na ...

Wed Apr 18 06:32:00 CST 2012 0 7439
hadoop 根据SecondaryNameNode恢复Namenode

1.修改conf/core-site.xml 增加 fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。 fs.checkpoint.size表 ...

Wed Apr 18 09:43:00 CST 2012 1 7103
Hadoop FS Shell

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是schem ...

Wed Apr 18 08:30:00 CST 2012 1 6004
hadoop SecondaryNameNode和NameNode

1.概述 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是 ...

Wed Apr 18 09:39:00 CST 2012 0 6013
HDFS 安全模式

NameNode在启动的时候首先进入安全模式,如果 datanode 丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态 ...

Wed Apr 18 09:28:00 CST 2012 0 5400
hadoop配置文件说明

1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapr ...

Wed Apr 18 06:39:00 CST 2012 0 5338

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM