安裝配置jdk,SSH
一.首先，先搭建三台小集群，虛擬機的話，創建三個
下面為這三台機器分別分配IP地址及相應的角色：集群有個特點，三台機子用戶名最好一致，要不你就創建一個組，把這些用戶放到組里面去，我這三台的用戶名都是hadoop,主機名隨意起
192.168.0.20-----master(主機)，nameNode,jobtracker----master(主機名)
192.168.0.21-----slave1(從機)，dataNode,tasktracker-----slave1(主機名)
192.168.0.22-----slave2(從機)，dataNode,tasktracker-----slave2(主機名)
如果用戶名不一致，你就要創建一個用戶組，把用戶放到用戶組下面：
sudo addgroup hadoop 創建hadoop用戶組
sudo adduser -ingroup hadoop one 創建一個one用戶，歸到hadoop組下
二.由於用戶是普通用戶，沒有root一些權限，所以修改hadoop用戶權限
用root權限，修改sudoers文件
nano /etc/sudoers 打開文件，修改hadoop用戶權限，如果你創建的是one用戶，就one ALL=(ALL:ALL) ALL
三.在這三台機子上分別設置/etc/hosts及/etc/hostname
hosts這個文件用於定於主機名與IP地址之間的對用關系
sudo -i 獲取最高權限
nano /etc/hosts:
ctrl+o:保存，然后回車，ctrl+x:退出
hostname 這個文件用於定義主機名的，
注意：主機是主機名，從機就是從機名，例如：slave1在這里就是slave1
然后你可以輸入：ping slave1,看能不能ping通
重啟IP地址：/etc/init.d/networking restart
四.要在這三台機子上均安裝jdk,ssh,並配置好環境變量，三台機子都是這個操作：：
做好准備工作，下載jdk-7u3-linux-i586.tar 這個軟件包
1.sudo apt-get install openssh-server 下載SSH
ssh 查看，代表安裝成功
2. tar zxvf jdk-7u3-linux-i586.tar.gz 解壓jdk
3.sudo nano /etc/profile,在最下面加入這幾句話，保存,這是配置java環境變量
4.source /etc/profile 使其配置生效
驗證jdk是否安裝成功，敲命令
5.java -version 可以看到JDK版本信息，代表安裝成功
6：配置SSH 免密碼登陸,記住，這是在hadoop用戶下執行的
ssh-keygen -t rsa 之后一路回 車（產生秘鑰，會自動產生一個.ssh文件
8.cd .ssh 進入ssh文件
cp id_rsa.pub authorized_keys 把id_rsa.pub 追加到授權的 key 里面去
9. ssh localhost 此時已經可以進行ssh localhost的無密碼登陸
或者 ls .ssh/ 看看有沒有那幾個文件
10.拷貝id_dsa.pub文件到其他機器
192.168.0.20 操作：
scp .ssh/id_rsa.pub 192.168.0.21:/home/hadoop/.ssh/20.pub
scp .ssh/id_rsa.pub 192.168.0.22:/home/hadoop/.ssh/20.pub
192.168.0.21 操作：
scp .ssh/id_rsa.pub 192.168.0.20:/home/hadoop/.ssh/21.pub
scp .ssh/id_rsa.pub 192.168.0.22:/home/hadoop/.ssh/21.pub
192.168.0.22 操作：
scp .ssh/id_rsa.pub 192.168.0.20:/home/hadoop/.ssh/22.pub
scp .ssh/id_rsa.pub 192.168.0.21:/home/hadoop/.ssh/22.pub
11.公鑰都追加到 那個授權文件里
在192.168.0.20機子上操作：
cat .ssh/21.pub >> .ssh/authorized_keys
cat .ssh/22.pub >> .ssh/authorized_keys
在192.168.0.21機子上操作：
cat .ssh/20.pub >> .ssh/authorized_keys
cat .ssh/22.pub >> .ssh/authorized_keys
在192.168.0.22機子上操作：
cat .ssh/20.pub >> .ssh/authorized_keys
cat .ssh/21.pub >> .ssh/authorized_keys
驗證ssh 192.168.0.21 hostname
會出現主機名：slave1
配置hadoop集群2.2.0版本
1.我把hadoop文件放在 /home/hadoop路徑下，首先先進行解壓
tar zxvf hadoop-2.2.0.tar.gz
2.hadoop配置過程，
配置之前，需要在hadoop本地文件系統創建以下文件夾：
/dfs/name
/dfs/data
/tmp
給這些文件要賦予權限
sudo chmod 777 tmp/
sudo chmod 777 dfs/
這里要涉及到的配置文件有7個：
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上個別文件默認不存在的，可以復制相應的template文件獲得。
例如mapred-site.xml不存在
cd /home/hadoop/hadoop-2.2.0/etc/hadoop 進入到hadoop配置文件的目錄中
cp mapred-site.xml.template mapred-site.xml 復制相應的模板文件
3.配置hadoop-env.sh
sudo nano /home/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/home/hadoop/jdk1.7.0_03 配置jdk
4.配置yarn-env.sh
sudo nano /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-env.sh
export JAVA_HOME=/home/hadoop/jdk1.7.0_03 配置jdk
5.配置slaves,寫入一下內容
slave1
slave2
6.配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
</configuration>
7.配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
8.配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
9.配置yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
master配置完以后，可是直接把hadoop文件復制到從機，這樣可以節省時間
命令是在hadoop用戶下進行：這個只需要在主機運行就可以了
scp -r /home/hadoop/hadoop-1.1.2 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoop-1.1.2 hadoop@slave2:/home/hadoop/
10.hadoop集群啟動與測試：這個只需要在主機上運行就可以了
sudo -i 獲取root權限
chown -R hadoop:hadoop /home/hadoop/hadoop-1.2.1 給hadoop用戶賦予權限
命令在hadoop用戶下進行：
su hadoop 切換hadoop用戶
cd /home/hadoop/hadoop-1.1.2
bin/hadoop namenode -format 格式化文件,格式化文件只能格式化一次
/sbin/start-dfs.sh 啟動所有的節點
11.測試 http://192.168.0.20:50070
搭建Zookeeper集群
1.下載zookeeper-3.4.5版本：zookeeper-3.4.5.tar.gz,我是放在/home/hadoop下面
tar zxvf zookeeper-3.4.5.tar.gz 直接進行解壓
2.配置etc/profile
sudo nano etc/profile 在末尾加入下面配置
export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.5
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH
3.配置zookeeper-3.4.5/conf/zoo.cfg文件，這個文件本身是沒有的，有個zoo_sample.cfg模板
cd zookeeper-3.4.5/conf 進入conf目錄
cp zoo_sample.cfg zoo.cfg 拷貝模板
sudo nano zoo.cfg 修改zoo.cfg文件，紅色是修改部分
---------------------------------------------------------------------------------------------------
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/hadoop/zookeeper-3.4.5/data
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
------------------------------------------------------------------------------------------------------
注意：創建dataDir參數指定的目錄，創建data文件夾，在這個文件夾下，還要創建一個文本myid
cd /home/hadoop/zookeeper-3.4.5
mkdir data 創建data
cd /home/hadoop/zookeeper-3.4.5/data 進入data文件夾下
touch myid 創建文本myid，在這個文本內寫入1，因為server.1=master:2888:3888 server指定的是1,
如果一會在從機配置，slave1下面的myid是2，slave2下面myid是3，這些都是根據server來的
4.主機配置完以后，把zookeeper復制給從機
scp -r zookeeper-3.4.5 hadoop@slave1:/home/hadoop/
scp -r zookeeper-3.4.5 hadoop@slave1:/home/hadoop/
記住修改從機的myid.從機也要配置etc/profile
5.啟動zookeeper，先hadoop集群啟動
zkServer.sh start 這個啟動是主機從機都要輸入啟動命令
bin/zkServer.sh status在不同的機器上使用該命令，其中二台顯示follower，一台顯示leader
zkCli.sh -server 192.168.0.21:2181 啟動客戶端腳本
quit 退出
help 可是查看幫助命令
這樣zookeeper集群就配置完了
搭建hbase集群
1.下載並解壓hbase-0.98.0-hadoop2-bin.tar.gz到/home/hadoop下面
tar zxvf hbase-0.98.0-hadoop2-bin.tar.gz
2.修改 hbase-env.sh ，hbase-site.xml，regionservers 這三個配置文件如下：
2.1修改 hbase-env.sh
sudo nano /home/hadoop/ hbase-0.98.0-hadoop2 /conf/hbase-env.sh
export JAVA_HOME=/home/hadoop/jdk1.7.0_03
export HBASE_HOME=/home/hadoop/hbase-0.98.0-hadoop2
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export PATH=$PATH:/home/hadoop/hbase-0.98.0-hadoop2/bin
export HBASE_MANAGES_ZK=false
注意：如果hbase想用自身的zookeeper, HBASE_MANAGES_ZK屬性變為true.
2.2修改 hbase-site.xml
sudo nano /home/hadoop/ hbase-0.98.0-hadoop2/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
注意：hbase.zookeeper.property.clientPort配置的這個端口號必須跟zookeeper配置的clientPort端口號一致。
2.3修改 regionservers
sudo nano /home/hadoop/ hbase-0.98.0-hadoop2/conf/regionservers
寫入以下內容：
slave1
slave2
chown -R hadoop:hadoop /home/hadoop/ hbase-0.98.0-hadoop2 給hbase賦予權限
復制hbase到從機
scp -r /home/hadoop/hbase-0.98.0-hadoop2 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/ hbase-0.98.0-hadoop2 hadoop@slave2:/home/hadoop/
然后啟動hbase，輸入命令，記住：一定要先啟動hadoop集群，才能啟動hbase
bin/start-hbase.sh
我們也可以通過WEB頁面來管理查看HBase數據庫。
HMaster：http://192.168.0.20:60010/master.jsp
可以輸入jps查看HMaster
然后輸入如下命令進入hbase的命令行管理界面：quit 退出
bin/hbase shell
bin/stop-hbase.sh 關閉hbase
啟動順序：hadoop---zookeeper----hbase