apache + tomcat 負載均衡分布式集群配置

Tomcat集群配置學習篇-----分布式應用

現目前基於javaWeb開發的應用系統已經比比皆是，尤其是電子商務網站，要想網站發展壯大，那么必然就得能夠承受住龐大的網站訪問量；大家知道如果服務器訪問量過大，就會出現服應用務器崩潰的情況，這個時候怎么辦，難道就只能去重啟服務器嗎？好，如果是一般的小型公益網站到也無所謂，但如果是比如像大型航空公司售票等電子商務網站，每天每小時都有大量的訂單業務，如果這些售票系統一旦崩潰后，再去重啟，這些時間和客戶的損失就直接會影響到航空公司的利益，這些損失如何去避免呢。

別擔心，不管是目前IBM的webSphere還是大眾化的tomcat服務器，都為我們提供了一種通用的解決方式，就是多台服務器來分擔訪問量，這樣在一個服務器上的壓力就會減小很多，你可以根據自己的需求去配置任意多的服務器來支撐你的應用系統，如果一台服務崩潰了，那么另外的應用服務器依然可以繼續支持應用繼續服務。多應用服務器的簡單流程圖大致如下：

 

為了實現這個原理我們就需要解決兩個問題：

1：如何實現多應用服務器間的session共享：（一台服務器崩潰，另外一台服務器可以繼續支持）

2：如何分發請求到各個應用服務器實現壓力分解：（這里的解決方案是用apache做 web服務器）

下面我們就是實際行動來看看如何實現這種實現。

環境配置：

App應用服務器apache-tomcat-7.0.52-1 

web服務器：apache的apache 2.0.55

java環境：jdk1.6

系統環境：winxp系統

 

1) web服務器配置

首先安裝apache的web服務器：

apache服務器和tomcat的連接方法其實有三種:mod_JK、http_proxy和ajp_proxy。

 

一：軟件環境
   1. Apache: apache 2.0.55 (由http://httpd.apache.org/進入下載)(點擊下載apache 2.0.55)
   2. Tomcat: apache-tomcat-7.0.52-1
   3. mod_jk: 在頁面 http://tomcat.apache.org/   Download 標題下找到 Tomcat Connectors 鏈接進入(點擊下載mod_jk-apache-2.0.55.so)，看起來像是個Unix/Linux下的動態庫，實際應是個Win32 的 DLL 動態庫，大概是為保持不同平台配置的一致性，才用了這個擴展名。

二：負載均衡
　用Apache進行分流，把請求按照權重以及當時負荷分tomcat1,tomcat2...去處理

1. 安裝apache,tomcat
   我把Apache安裝在D:/Apache Group/Apache2
　 解壓兩分Tomcat, 分別在 D:/Apache Group/apache-tomcat-7.0.52-1，D:/Apache Group/apache-tomcat-7.0.52-1

2.修改Apache配置文件http.conf

   在apache安裝目錄下conf目錄中找到http.conf，在文件最后加上下面一句話就可以了

   include conf/mod_jk.conf

3. http.conf 同目錄下新建mod_jk.conf文件，內容如下

 

#加載mod_jk Module
LoadModule jk_module modules/mod_jk-apache-2.0.55.so

#指定 workers.properties文件路徑
JkWorkersFile conf/workers.properties

#指定那些請求交給tomcat處理,"controller"為在workers.propertise里指定的負載分配控制器
JkMount /*.jsp controller

如果還要指定*.do也進行分流就再加一行
JkMount /*.do controller

如果你想對所有的請求進行分流只需要寫成
JkMount /* controller

 

4. 在http.conf同目錄下新建 workers.properties文件

 

worker.list = controller,tomcat1,tomcat2  #server 列表
#========tomcat1========
worker.tomcat1.port=8019       #ajp13 端口號，在tomcat下server.xml配置,默認8009
worker.tomcat1.host=localhost  #tomcat的主機地址，如不為本機，請填寫ip地址
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor = 1    #server的加權比重，值越高，分得的請求越多

#========tomcat2========
worker.tomcat2.port=8029       #ajp13 端口號，在tomcat下server.xml配置,默認8009
worker.tomcat2.host=localhost  #tomcat的主機地址，如不為本機，請填寫ip地址
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor = 2    #server的加權比重，值越高，分得的請求越多

#========controller,負載均衡控制器========
worker.controller.type=lb
worker.controller.balanced_workers=tomcat1,tomcat2   #指定分擔請求的tomcat
worker.controller.sticky_session=1

 

5. 修改tomcat配置文件server.xml
如果你是水平集群，即在不同電腦上安裝tomcat,tomcat的安裝數量為一個，可以不必修改tomcat配置文件.我這里是在同一台電腦上安裝兩個tomcat,實現的是垂直集群方式，所以必須修改其中一個的設置，以避免端口沖突，按照參考文章是把原來以9開頭的端口號改為以9開頭端口號，但是在我機器上如果以9開頭的端口號，例如9080、9082會與我的WebSphere Application Server配置沖突，所以我這里采取的策略是把原來端口號的第三位改為1，如8080改為8180。

打開tomcat2/conf/server.xml文件

1) 將關閉Tomcat的監聽端口改成由8005改為8105
即把
 <Server port="8005" shutdown="SHUTDOWN">
改為
 <Server port="8105" shutdown="SHUTDOWN">

2) 把http服務端口號由8080改為8180
找到
 <!-- Define a non-SSL HTTP/1.1 Connector on port 8080 -->
    <CONNECTOR port="8080" 
把這里的8080改為8180

3) 把AJP端口號由8009改為8109
找到
 <!-- Define an AJP 1.3 Connector on port 8009 -->
    <CONNECTOR port="8009"
把這里的8009改為8109

4) 把 HTTP 代理端口從8082改為8182(這個配置默認是被注釋掉的，可跳過這一步)
找到
<CONNECTOR port="8082"
把這里的8082改為8182

5) 編寫一個測試 jsp
建立一個目錄TestCluster，里面新建一個test.jsp,內容為

把TestCluster放到tomcat1,tomcat2的webapps下

6) 啟動apache,tomcat1,tomcat2,進行測試
通過 http://localhost/TestCluster/test.jsp 訪問，多刷新幾次頁面，查看Tomcat1和Tomcat2的窗口，你將可以看到打印了一行行"==========================="，並且從統計上來說，大約在tomcat2打印的數量是在Tomcat1中的兩倍，可以看到請求會被tomcat1,tomcat2按照不同的權重分流處理,實現了負載均衡。

作下面的集群配置，請在workers.properties把tomcat1和tomcat2的權重改為一樣的，使請求較平均分配，將有便於看到實驗的效果。 

 

 

首先配置web應用服務器配置tomcat-A配置

1：修改tomcat的server.xml文件增加如下內容

 

貼出代碼，方便復制：

 

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                   channelSendOptions="6">

            <Manager className="org.apache.catalina.ha.session.BackupManager"
                     expireSessionsOnShutdown="false"
                     notifyListenersOnReplication="true"
                     mapSendOptions="6"/>
            <Manager className="org.apache.catalina.ha.session.DeltaManager"
                     expireSessionsOnShutdown="false"
                     notifyListenersOnReplication="true"/>
            <Channel className="org.apache.catalina.tribes.group.GroupChannel">
              <Membership className="org.apache.catalina.tribes.membership.McastService"
                          bind="127.0.0.1"
                          address="228.0.0.4"
                          port="45564"
                          frequency="500"
                          dropTime="3000"/>
              <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                        address="127.0.0.1"
                        port="4001"
                        selectorTimeout="100"
                        maxThreads="6"/>

              <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
                <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
              </Sender>
              <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
              <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
              <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
            </Channel>

            <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                   filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

            <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
      </Cluster>

 

備注：

1) App應用服務器tomcat-B配置和tomcat-A基本相同，但需要注意的是兩台服務器如果在一個電腦上就需要注意端口的沖突問題，比如：tomcat-A的端口是8080，那么tomcat-B就是8081或者其他，其他的以此類推

我這里這里的端口配置如下：

tomcat-1：serverport：8081   ajp/1.3connector：8019  <Server port="8015" shutdown="SHUTDOWN">

tomcat-2：serverport：8082   ajp/1.3connector：8029  <Server port="8025" shutdown="SHUTDOWN">

2) 然后就是新建一個web應用測試一下，在新建應用的web.xml里面需要加上

<distributable/>

3) 到這里就可以測試你的配置了，先啟動tomcat-1，然后啟動tomcat-2，如果你在兩個控制台里面看到類似的如下信息

 

證明兩台應用服務器已經配置完成了。

4) 新建web應用，web.xml配置文件里面需要添加如下內容來配合實現session共享：

<distrbutable/>

然后將應用分別部署到兩台服務器，啟動兩台應用服務器進行測試：

注：由於jsp自帶session對象，所以在測試的時候最好把頁面自帶的session對象關閉后再測試，關閉代碼<%@ page session="false"%>

Tomcat-A  index.jsp代碼：

<body>

     This is my JSP page.tomcat-A <br>

     <%

HttpSession mysession = request.getSession(false);

 

if(mysession==null){

mysession = request.getSession(true);

mysession.setAttribute("appname","value-A");

out.println("new session:"+mysession.getId());

}else{

out.println("old session:"+mysession.getId());

}

out.println("appname="+mysession.getAttribute("appname"));

     %>

 </body>

Tomcat-B  index.jsp代碼：

<body>

    This is my JSP page.tomcat-B<br>

    <%

HttpSession mysession = request.getSession(false);

 

if(mysession==null){

mysession = request.getSession(true);

mysession.setAttribute("appname","value-A");

out.println("new session:"+mysession.getId());

}else{

out.println("old session:"+mysession.getId());

}

out.println("appname="+mysession.getAttribute("appname"));

    %>

   </body>

 

5) 分別訪問兩台服務器：http://172.23.1.46:8081/mycluster

和http://172.23.1.46:8082/mycluster分別訪問得到結果如下就證明配置可以了。

訪問8081服務器：

 

頁面刷新后結果如下：

 

訪問8082服務器：

 

頁面刷新后結果如下：

 

到這里tomcat服務器就配置完成了，接下來就需要配置統一入口的負載均衡的web服務器，這里用的是apache 2.2.19（官網上可以直接下載）

近期由於公司項目，粗略研究了一下Apache配合tomcat構建一個能夠實現負載均衡的分布式webserver集群，在這里與大家分享一下，有不對的地方大家及時指正。

 

所需資料：Apache2.4+ tomcat6.x（7.x）

一：Apache相關配置

 

Apache安裝自行百度，非常簡單。

主要配置：Apache/conf/httpd.conf

A：放開相關模塊

將這個配置文件中的我們需要使用的功能模塊解開注釋，啟動時才能加載

LoadModule proxy_modulemodules/mod_proxy.so

LoadModule proxy_ajp_modulemodules/mod_proxy_ajp.so

LoadModule proxy_balancer_modulemodules/mod_proxy_balancer.so//這個模塊的是起負載均衡的核心模塊

LoadModule proxy_connect_modulemodules/mod_proxy_connect.so

//以上是代理相關及ajp協議相關的功能模塊，主要是在請求分發的過程中起作用

 

#LoadModule lbmethod_bybusyness_modulemodules/mod_lbmethod_bybusyness.so（按照繁忙程度，總是給活躍請求數最少的服務器）

LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so（按照請求次數）

#LoadModule lbmethod_bytraffic_modulemodules/mod_lbmethod_bytraffic.so（按照流量均衡）

 

//以上是不同的balance策略對應的模塊，具體實現的算法，請自行百度（不建議深究實現算法，意義不大，學好劍法不一定要知道怎么打鐵的）

 

B:配置均衡策略和地址

在配置文件的最后加上以下內容：

ProxyPass /balancer://proxy/ stickysession=JSESSIONID lbmethod=byrequests

<Proxybalancer://proxy>  

        BalancerMember ajp://127.0.0.1:10001/ loadfactor=3 route=137a

        BalancerMember ajp://10.88.8.137:10001/ loadfactor=1 route=61a

        BalancerMember ajp://10.88.8.137:10002/ loadfactor=1 route=61b status=+H

</Proxy>

 

解釋：

    ProxyPass / balancer://proxy/

        ProxyPass / 表示所有以 “/” 開頭的請求都適配proxy這個balance策略，標黃的部分是參數，是可變的，也就是說可以給不同的請求url匹配不同的均衡策略。

stickysession=JSESSIONIDlbmethod=byrequests

stickysession是說請求是否是session黏貼性的，就是當第一次請求負載后，以后的請求會按照session走，既同一個session的請求都訪問一個webserver（tomcat），如果是PHP實現的后台服務，JSESESIONID需要變成PHPSESSIONID,lbmethod后的參數還可以是bybusyness、bytraffic

 

BalancerMember ajp://10.88.8.137:10001/ loadfactor=1 route=61a

這個配置是匹配不同的tomca，我這里使用3個tomcat，需要注意的是使用ajp協議（Apache使用這個協議實現的代理），端口是tomcat中ajp配置的端口 ，loadfactor后面的值是權值，負載均衡的時候會根據這個權值去分配（1-100）。Route是一個命名，如果仔細查看sessionid的話，你能看的這個路由信息會跟在sessionid后面。

Status=+H 表示10.88.8.137:10002這台server是熱備服務器，正常業務不會分給它，但是一旦另外兩台服務器down了，這台服務器就會被使用到。

 

二、Tomcat配置

    主要是修改tomcat/conf/server.xml，這個文件我估計大家都不陌生，不再贅述，主要強調一下，除了修改server、http端口防止沖突意外，還要注意修改ajp的端口，和命名

一下是幾個主要的配片段：

<Server port="9005" shutdown="SHUTDOWN">

<Connector port="8080" protocol="HTTP/1.1"

<Connector port="10001" protocol="AJP/1.3"redirectPort="8443" />

<!-- You should set jvmRoute to support load-balancing viaAJP ie :

    <Engine name="Catalina"defaultHost="localhost" jvmRoute="jvm1">

    -->

<Enginename="Catalina" defaultHost="localhost" jvmRoute="137a">

這里注意一下，jvmRoute就是上面Apache配置的route，這個要對應上，還有10001這個端口，也是在上面Apache配置BalanceMember的時候需要用的。

 

 

測試：在3個tomcat中建一個文件夾tomcat/webapps/test再建一個jsp文件，我附在附件中了，再不同瀏覽器通過訪問Apache所在服務器的的地址/test/index.jsp會發現負載均衡的目的已經達到了。下面是我測試的截圖，61.b是熱備，所以正常的時候不會給它分配。主要的配置文件，我也附在附件中了。