2020系統綜合實踐 第四次實踐作業

一.使用Docker-compose實現Tomcat+Nginx負載均衡

1.反向代理：代理服務器

反向代理，客戶端對代理是無感知的，因為客戶端不需要任何配置就可以訪問，只需要將請求發送到反向代理服務器，由反向代理服務器去選擇目標服務器獲取數據后，在返回給客戶端，此時反向代理服務器和目標服務器對外就是一個服務器，暴露的是代理服務器地址，隱藏了真實服務器IP地址。

2.nginx代理tomcat集群，代理2個以上tomcat

• 負載均衡用於從“upstream”模塊定義的后端服務器列表中選取一台服務器接受用戶的請求。一個最基本的upstream模塊是這樣的，模塊內的server是服務器列表：

upstream tomcats{
        server mytomcat1:8080;	#容器名（與yml對應）：端口號
        server mytomcat2:8080;	#默認使用的是輪詢訪問
        server mytomcat3:8080;

}

• 在upstream模塊配置完成后，要讓指定的訪問反向代理到服務器列表：

    location / {
	root   /usr/share/nginx/html;
        index  index.html index.htm;
	proxy_pass http://tomcats;#訪問nginx之后,會輪詢訪問代理的tomcat服務器
    }

• default.conf配置文件

• docker-compose.yml文件

version: "3"
services:
    nginx:
        image: nginx
        container_name: mynginx
        ports:
            - 80:2020
        volumes:
            - ./default.conf:/etc/nginx/conf.d/default.conf # 掛載配置文件
        depends_on:
            - tomcat1
            - tomcat2
            - tomcat3

    tomcat1:
        image: tomcat
        container_name: mytomcat1
        volumes:
           - ./tomcat1:/usr/local/tomcat/webapps/ROOT

    tomcat2:
        image: tomcat
        container_name: mytomcat2
        volumes:
           - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat3:
        image: tomcat
        container_name: mytomcat3
        volumes:
           - ./tomcat3:/usr/local/tomcat/webapps/ROOT

• 樹形結構如圖所示；並在不同的index.html中寫了不同的內容以便測試時區分

• 運行docker-compose后查看容器

3.負載均衡策略1：輪詢策略

編寫python代碼測試輪詢策略
import requests

url='http://localhost'
for i in range(0,10):
    response=requests.get(url)
    print(response.text)

• 輪詢策略為默認配置，最基本的配置方法，上面的例子就是輪詢的方式，它是upstream模塊默認的負載均衡默認策略。每個請求會按時間順序逐一分配到不同的后端服務器。

3.負載均衡策略2：權重策略

• 修改配置文件

• weight參數用於指定輪詢幾率，weight的默認值為1,；weight的數值與訪問比率成正比

編寫python代碼測試權重策略
import requests

url='http://localhost'
count={}
for i in range(0,1000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
print(count)

• 可以看到第三個tomcat權重最大，接受訪問次數也最多

3.負載均衡策略3：依據ip分配方式

• 修改配置文件

• 指定負載均衡器按照基於客戶端IP的分配方式，這個方法確保了相同的客戶端的請求一直發送到相同的服務器

二.使用Docker-compose部署javaweb運行環境

1.先放一個樹形結構（不是很明白顏色怎么都綠了）

博客里面沒出現的文件均是來自參考項目

2.default.conf

upstream tomcats {            #輪詢策略
    server mytomcat1:8080;
    server mytomcat2:8080;
}

server {
    listen       2020;      #nginx的監聽端口
    server_name  localhost;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
	proxy_pass http://tomcats;      #訪問nginx之后,會輪詢訪問代理的tomcat服務器
    }
}

3.docker-compose

利用nginx代理兩個tomcat；nginx的端口映射為80：2020；主機只需要訪問localhost：80，便能根據nginx的復雜均衡策略訪問到不同的tomcat容器

#所有容器都處於同一子網下；靜態ip可自由分配
version: "3"   
services:     
  tomcat1:                             
    image: tomcat   
    container_name: mytomcat1
    volumes:  
     - ./webapps:/usr/local/tomcat/webapps
    networks:   #網絡設置靜態IP，保證在同一子網下可隨意分配              
      webnet:
        ipv4_address: 15.22.0.15
  tomcat2:
     image: tomcat
     container_name: mytomcat2
     volumes:  
        - ./webapps:/usr/local/tomcat/webapps
     networks:   #網絡設置靜態IP，
        webnet:
          ipv4_address: 15.22.0.16
  mysql:  
    build: .   
    image: mysql
    container_name: mysql
    ports:
      - "3309:3306" 
    command: [                                    #設置編碼模式
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"            #root密碼
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: mynginx
      ports:
          - 80:2020
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 掛載配置文件
      depends_on:
            - tomcat1
            - tomcat2
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #網絡設置
 webnet:
   driver: bridge  #網橋模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子網

4.JAVAWEB

這里就沒什么好說的了，使用的是老師給出參考項目里面的

其實還是要說一些的，參考項目中是直接通過訪問tomcat暴露的端口，來獲取服務，我們的實驗要求用nginx反向代理；代理多個tomcat，所以要做一些修改；通過訪問nginx的暴露端口，由nginx的負載均衡策略去選擇哪一個tomcat提供的web服務

ifconfig查看虛擬機ip,然后按參考項目修改即可（菜還是我菜，javaweb都學不會）

5.nginx代理之后，主機訪問localhost/ssmgrogshop_war/即可

通過賬戶sa 密碼123登陸

可以對數據庫進行各種操作，nginx的代理還是很成功的

6.如果出現“Pool overlaps with other one on this address space”的報錯

#使用如下指令找到並刪除就好
sudo docker network ls
sudo docker network rm 網關id

三.使用Docker搭建大數據集群環境

1.pull ubuntu鏡像

並在個人文件下創建一個目錄，用於向Docker內部的Ubuntu系統傳輸文件；創建並運行容器

docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/monster/build:/root/build --name ubuntu ubuntu

2.Ubuntu容器的初始化

• 進入容器中先換源，這里選用阿里源

cat<<EOF>/etc/apt/sources.list      #覆蓋掉原先內容，注意左邊只有一個>，<<EOF>是覆蓋；<<EOF>>則變成追加;截圖等我下次改
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

apt-get update
apt-get install vim       # 安裝vim軟件
apt-get install ssh       # 安裝sshd，因為在開啟分布式Hadoop時，需要用到ssh連接slave:
/etc/init.d/ssh start     # 運行腳本即可開啟sshd服務器
vim ~/.bashrc             
/etc/init.d/ssh start  # 在該文件中最后一行添加如下內容，實現進入Ubuntu系統時，都能自動啟動sshd服務

3.配置ssh

ssh-keygen -t rsa # 一直按回車即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 

4.安裝JDK,這里使用JDK8版本

apt-get install openjdk-8-jdk
vim ~/.bashrc       # 在文件末尾添加以下兩行，配置Java環境變量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效

5.docker commit從容器去創建一個鏡像

#另開一個終端
sudo docker commit 容器id ubuntu:jdk8      #講其保存說明是jkd8版本的ubuntu
sudo docker run -it -v /home/monster/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8
#開啟保存的那份鏡像ubuntu:jdk8

6.安裝Hadoop

cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #將hadoop壓縮包放入本地build文件夾中，這里使用大數據實驗中的3.1.3版本
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 驗證安裝

7.配置Hadoop集群（不同版本文件配置略有差異）

hadoop-env.sh

cd /usr/local/hadoop-3.1.3/etc/hadoop #進入配置文件存放目錄
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

core-site.xml

vim core-site.xml
<configuration>
    <property>  
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp</value>
	<description>A base for other temporary directories.</description>
    </property>
</configuration>

hdfs-site.xml

vim hdfs-site.xml
<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>

mapred-site.xml

vim mapred-site.xml
<configuration>
	<property>
		<!--使用yarn運行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR應用程序的類路徑-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

yarn-site.xml

vim yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

修改腳本，參考CSDN

• 對於start-dfs.sh和stop-dfs.sh文件，添加下列參數：

cd /usr/local/hadoop-3.1.3/sbin
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

• 對於start-yarn.sh和stop-yarn.sh，添加下列參數：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

8.運行Hadoop集群

保存鏡像

sudo docker commit 容器id ubuntu/hadoopinstalled

從三個終端分別開啟三個容器運行ubuntu/hadoopinstalled鏡像，分別表示Hadoop集群中的master,slave01和slave02；

# 第一個終端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二個終端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三個終端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

三個終端分別打開/etc/hosts,根據各自ip修改為如下形式

cat /etc/hosts
172.17.0.3	master
172.17.0.4      slave01
172.17.0.5      slave02

在master結點測試ssh；連接到slave結點

ssh slave01
ssh slave02
exit 退出

修改master上workers文件；將localhost修改為如下所示

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02

9.測試Hadoop集群

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次啟動Hadoop需要格式化
sbin/start-all.sh              #啟動所有服務

• 使用jps查看三個終端，如圖所示

• 建立HDFS文件夾

bin/hdfs dfs -mkdir /user 
bin/hdfs dfs -mkdir /user/root      #注意input文件夾是在root目錄下
bin/hdfs dfs -mkdir input

• 在master終端上vim一個測試樣例,並將其上傳到input文件夾;注意test文件的路徑

bin/hdfs dfs -put ~/test.txt input

• 運行一個功能為計算字符串個數的jar包

bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output

• cat查看output文件夾結果顯示

./bin/hdfs dfs -cat output/*

• 停止所有服務

sbin/stop-all.sh

四.問題反饋

• 問題①

配置nginx得負載均衡策略中。訪問localhost出現http狀態400--錯誤請求的問題；原因在於配置文件中，upstream模塊對集群得命令出現了下划線，是一種錯誤寫法

• 問題②

在執行sbin/start-all.sh報錯；需要添加腳本運行文件（因為大數據實驗在虛擬機上布置hadoop並不需要修改腳本而跳了個坑）

• 問題③

在進行Hadoop集群實驗時，無法執行hdfs指令；原因在於創建測試文件時退出了hadoop-3.1.3文件目錄；cd打開/usr/local/hadoop-3.1.3即可

五.實驗總結

這大概是目前為止做系統實驗周期最長的一次了，主要還是卡在javaweb上，到最后還是使用了老師給的參考項目；考研黨實在沒有時間和精力去學了，實踐一+花費時間2-3個小時左右吧；實踐三由於做過大數據實踐，對配置比較熟悉，大概花費4-5小時；實踐二前前后后折騰了好久啊，嘗試學過springboot但是對軟件不熟悉，各種問題，基本浪費了半天的時間了；最后選擇參考項目的javaweb；大概花費了4個小時；但是經過這次實驗，對Nginx的反向代理確實了解多了不少，也算是有所收獲了

六.參考

負載均衡策略

搭建Hadoop分布式集群

CSDN

目標網段已存在