碼上歡樂
相關內容    簡體    繁體

Tomcat(五)：nginx/httpd + tomcat及負載均衡tomcat

本文轉載自   查看原文   2018-02-04 19:20   1969    網站架構

Tomcat系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html

tomcat一般只提供動態資源處理功能，而靜態資源的請求則交給獨立的apache/httpd或nginx來處理。但tomcat與外界通信的唯一組件是連接器Connector，因此動態請求要轉發給tomcat時，需要和Connector通信。Connector與外界通信的協議有兩種：http/ajp。

1. Tomcat連接器協議類型

tomcat的Connector組件支持兩種協議類型的連接：http、ajp。

其中http又分為http/1.1和http/2，但因為Servlet的阻塞特性，使得每個http/2的請求都需要單獨的容器線程負責處理，因此目前使用http/2的性能還很差。而AJP又有ajp12、ajp13和ajp14，其中ajp12的功能太簡陋，ajp14又處於試驗期，因此目前都適用ajp13，或者稱為ajp 1.3。

基於IO模型，Connector又分為NIO/NIO2/APR三種類型。

設置連接器協議的方式如下：

<!-- 定義使用Http協議的連接器，其中"HTTP/1.1"表示自動選擇NIO/NIO2/APR -->
<connector port="8080" protocol="HTTP/1.1">
<connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol">
<connector port="8080" protocol="org.apache.coyote.http11.Http11Nio2Protocol">
<connector port="8080" protocol="org.apache.coyote.http11.Http11AprProtocol">

<!-- 定義使用AJP協議的連接器，其中"AJP/1.3"表示自動選擇NIO/NIO2/APR -->
<Connector port="8009" protocol="AJP/1.3"/>
<Connector port="8009" protocol="org.apache.coyote.ajp.AjpNioProtocol"/>
<Connector port="8009" protocol="org.apache.coyote.ajp.AjpNio2Protocol"/>
<Connector port="8009" protocol="org.apache.coyote.ajp.AjpAprProtocol"/>

2. Tomcat與httpd/nginx結合的方式

Tomcat連接器與外界通信的兩種協議中，ajp只能和apache基金會開發的部分項目通信，例如httpd。要與非apache基金會開發的程序通信，必須使用http協議。因此，tomcat+nginx時，tomcat連接器的協議類型只能是http。

對於tomcat+httpd，tomcat端的連接器既可以使用http，也可以使用ajp協議。但在httpd端，也支持多種通信模塊，最常用的是mod_proxy和mod_jk。

tomcat+httpd時，幾個需要注意的點：

  • (1).mod_jk一般只和tomcat的ajp協議配合來通信。而mod_proxy則不要求tomcat端的協議類型是http還是ajp。
  • (2).配置時，使用mod_jk比使用mod_proxy要復雜的多。
  • (3).使用mod_jk可以配置成只處理動態請求，而不處理靜態請求。但mod_proxy則只能將所有請求都轉發給tomcat。因此，在性能上mod_jk比mod_proxy好一些。不過由於前端可以使用反向代理工具，因此這種情況下的mod_jk和mod_proxy，性能無差別。

因此，如果滿足業務需求，建議使用mod_proxy，它配置起來比mod_jk要簡便的多，且可定制的功能更多。

稍作總結，apache和tomcat通信的實現方式有3種：

apache:mod_jk　　<--> tomcat:ajp(雖然可以和http配合，但不建議)
apache:mod_proxy <--> tomcat:ajp或http

下圖是httpd/nginx+tomcat在動靜分離時通常使用的架構模型。

左邊的模型中，nginx/httpd需要處理靜態請求，並將動態請求轉發給tomcat，同時實現負載均衡。右邊的模型中，添加一層反向代理層，無論是靜態請求還是動態請求都負載到各自的服務器組。后文的實驗都采用左邊的架構模型來完成。

3. Tomcat + nginx

測試環境如下：

[root@xuexi ~]# echo "[nginx]
name=nginx
baseurl=http://nginx.org/packages/centos/6/x86_64/
enable=1
gpgcheck=0" >/etc/yum.repos.d/nginx.repo

[root@xuexi ~]# yum install -y nginx
[root@xuexi ~]# vim /etc/nginx/conf.d/tomcat.conf
upstream tomcat_servers {
    server 192.168.100.22:8080 weight=1 max_fails=2 fail_timeout=2;
    server 192.168.100.23:8080 weight=2 max_fails=2 fail_timeout=2;
}

server {
    listen       80;
    server_name  192.168.100.17;
    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
    location ~* \.(jsp|jspx|do) {
        proxy_pass http://tomcat_servers;
    }
}

啟動nginx和tomcatA、tomcatB。然后在瀏覽器中分別訪問靜態資源和動態資源。

http://192.168.100.17
http://192.168.100.17/index.jsp

其中第二個訪問的是動態資源，頁面結果如下：

發現這個歡迎頁面缺失了很多內容。其實這些缺失的內容都是定義在index.jsp中的靜態資源，例如某些圖片。之所以會缺失，是因為客戶端發送請求給nginx后，nginx將請求轉發給tomcat，tomcat翻譯index.jsp為java源文件，然后執行該servlet。執行servlet時，將所需響應數據都回應給nginx，包括index.jsp中定義的圖片鏈接標簽。當客戶端收到這一次的響應數據后，還會繼續去請求圖片，但是這是靜態請求，nginx會自己處理而不會轉發給tomcat，但nginx本身不知道圖片在何處(tomcat才知道)。因此對於圖片部分，nginx將返回404錯誤，使得客戶端顯示的頁面缺失了一部分。

在生產環境下，不需要擔心這樣的二次靜態請求缺失問題，因為會將圖片等靜態數據存放在某個位置，並配置好nginx如何找到這些靜態數據。例如，上面的頁面中缺失了tomcat.{png,css,gif}等靜態文件，將它們從tomcat服務器的$CATALINA_HOME/webapps/ROOT/目錄下拷貝到nginx服務器的/usr/share/nginx/html目錄(上面配置文件的root指令指定的位置)下，並賦予讀取權限。再去訪問，就能正確顯示圖片。

4. Tomcat + httpd(mod_jk)

測試環境如下：

使用mod_jk模塊和tomcat連接時，tomcat的連接器一般都使用ajp協議類型。

mod_jk不是apache httpd的原生模塊，而是類似於第三方模塊，因此需要額外編譯mod_jk模塊到httpd中，就像將php模塊添加到httpd中一樣。

4.1 編譯mod_jk模塊

當前最新穩定版的mod_jk是1.2.42版本。

mod_jk下載地址：http://tomcat.apache.org/download-connectors.cgi。
mod_jk官方手冊：http://tomcat.apache.org/connectors-doc/。

httpd要擴展模塊需要借助apxs，它是httpd的開發包httpd-devel中工具，所以先要安裝httpd-devel。如果是編譯安裝的httpd，則devel包已經裝好，如果是yum安裝，則需要額外安裝httpd-devel包。

此處為了方便，httpd使用yum安裝。所以編譯mod_jk的方式如下：

yum -y install httpd httpd-devel tar xf tomcat-connectors-1.2.42-src.tar.gz cd tomcat-connectors-1.2.42-src/native/ ./configure --with-apxs=/usr/bin/apxs --prefix=/usr/local/tomcat/mod_jk make && make install

4.2 配置httpd與tomcat的ajp連接

此處暫先配置httpd與其中一個tomcat(192.168.100.22)連接。后文在說明負載均衡時再引入另一個tomcat。

先提供一個額外的httpd配置文件。

[root@xuexi ~]# cat /etc/httpd/conf.d/mod_jk.conf
LoadModule  jk_module  modules/mod_jk.so
JkWorkersFile  /etc/httpd/conf.d/workers.properties
JkLogFile  logs/mod_jk.log
JkLogLevel  debug
######### "JkMount /* TomcatA" will send all request to TomcatA ########
JkMount   /*.jsp        TomcatA
JkMount   /status/*     statA
JkUnMount /images/*     TomcatA
JkUnMount /css/*.*      TomcatA
JkUnMount /css_js/*     TomcatA
JkUnMount /*.html       TomcatA
JkUnMount /*.js         TomcatA

mod_jk的配置文件官方手冊：http://tomcat.apache.org/connectors-doc/reference/apache.html。以下是幾個常用的指令說明。

  • LoadModule指令用於裝載mod_jk相關模塊，除此之外還需要在httpd的配置文件中設置其它一些指令來配置其工作屬性。如：
  • JkWorkersFile用於指定保存了worker相關工作屬性定義(見下文)的配置文件。
  • JkLogFile用於指定mod_jk模塊的日志文件。
  • JkLogLevel用於指定日志級別（info,error,debug），此外還可以使用JkRequestLogFormat自定義日志信息格式。
  • JkMount（格式：JkMount ）則用於控制URL與Tomcat workers的對應關系。可以理解為轉發請求的意思，例如"/status/*"表示url地址后加上/status/可轉發至statA這個worker上。注意，JkMount匹配的URL是相對的。如果JkMount指令放在Location指令中，如<Location /app>，則JkMount將從/app的后面開始匹配。

JkMount和JkUnMount是很重要的指令，mod_jk性能之所以比mod_proxy好，就是因為通過這兩個指令可以實現動靜分離，使得只將動態請求轉發給tomcat。其中JkMount指定要轉發給tomcat處理的請求，JkUnMount指定明確不轉發給tomcat而是在本地處理的請求。雖然不指定JkUnMount時，也表示不轉發給tomcat，但如果有重疊時，則應該指定JkUnMount。例如下面的例子，除了/myapp/下的js文件，其他都轉發給tomcat1處理。

JkMount /myapp/* tomcat1
JkUnMount /myapp/*.js tomcat1

對於apache來說，每一個后端Tomcat實例中的engine都可以視作一個worker，而每一個worker的地址、Connector的端口等信息都需要在apache端指定以便可以識別並使用這些worker。配置這些信息的文件通常為"workers.properties"，其具體路徑是使用前面介紹過的JkWorkersFile指定的。在apache啟動時，mod_jk會掃描此文件獲取每一個worker配置信息。如這里使用/etc/httpd/conf.d/workers.properties。

workers.properties文件一般由兩類指令組成：一是mod_jk可以連接的各worker名稱列表，二是每一個worker的屬性配置信息。詳細的配置方法見官方手冊：http://tomcat.apache.org/connectors-doc/reference/workers.html。

以下是和上述/etc/httpd/conf.d/mod_jk.conf中配置相對應的/etc/httpd/conf.d/workers.properties。

[root@xuexi tomcat]# cat /etc/httpd/conf.d/workers.properties
worker.list=TomcatA,statA
worker.TomcatA.type=ajp13
worker.TomcatA.host=192.168.100.22
worker.TomcatA.port=8009
worker.TomcatA.lbfactor=1
worker.statA.type = status

關於worker的配置，它們分別遵循如下使用語法。

worker.list = <a comma separated list of worker_name>
worker.<worker_name>.<property>=<property value>

其中worker.list指令可以重復指定多次。worker_name是Tomcat中engine組件中jvmRoute屬性的值(jvmRoute可以不指定，此時worker_name僅用於標識worker)。

根據工作機制的不同，worker有多種不同的類型，每個worker都需要指定其類型，即設定woker..type項。常見的類型如下：其中ajp13是默認值。

  • ajp13：此類型是web server和tomcat首選的類型。此外，還有ajp12和ajp14，但它們一個廢棄一個處於測試階段。
  • lb：lb用於負載均衡場景中的worker；此worker並不真正負責處理用戶請求，而是將用戶請求調度給其它類型為ajp13的worker。
  • status：用戶顯示負載均衡中各worker工作狀態的特殊worker，它不處理任何請求，也不關聯到任何實際工作的tomcat實例。

由於status是狀態監控頁面，所以應該保證其安全性，可以在httpd的配置文件中加入以下控制列表：

# 注意，必須加上尾隨斜線，因為在mod_jk.conf中已經明確了"/status/*"
# For http 2.2
<Location /status/>
    Order deny,allow
    Deny from all
    Allow from 192.168.100.0/24
</Location>

# For http 2.4
<Location /status/>
    Requrie ip 192.168.100
</Location>

除了type屬性外，worker其它常見的屬性有：

除了type屬性外，worker其它常見的屬性有：

  • host：worker所在的主機，更具體的是tomcat上connector組件設置的ajp監聽地址；
  • port：worker的AJP1.3連接器監聽的端口；
  • connection_pool_minsize：最少要保存在連接池中的連接的個數；默認為pool_size/2；
  • connection_pool_timeout：連接池中連接的超時時長；
  • mount：由當前worker提供的context路徑，如果有多個則使用空格格開；可考慮在httpd端使用JkMount替代。
  • retries：錯誤發生時的重試次數；
  • socket_timeout：mod_jk等待worker響應的時長，默認為0，即無限等待；
  • socket_keepalive：是否啟用keep alive的功能，1表示啟用，0表示禁用；
  • lbfactor：worker的權重，可以在負載均衡的應用場景中為worker定義此屬性；

另外，在負載均衡模式中專用的屬性還有：

  • balance_workers：用於負載均衡模式中的各worker的名稱列表，需要注意的是，出現在此處的worker名稱一定不能在任何worker.list屬性列表中定義過，並且worker.list屬性中定義的worker名字必須包含負載均衡worker。
  • method：可以設定為R、T或B；默認為R，即根據請求的個數進行調度(wrr)；T表示根據已經發送給worker的實際流量大小進行調度；B表示根據實際負載情況進行調度(leastconn)。
  • sticky_session：將某請求調度至某worker后，此地址后續所有請求都將直接調度至此worker，實現將用戶session與某worker綁定。默認為值為true，即啟用此功能。如果后端的各worker之間支持session復制，則可設為false。

至此，一個基於mod_jk模塊與后端名為TomcatA的worker通信的配置已經完成，重啟httpd服務即可生效。

測試：在瀏覽器中輸入

http://192.168.100.17/
http://192.168.100.17/index.jsp
http://192.168.100.17/status/

如果都能獲取頁面，則表示apache通過mod_jk和tomcat基於ajp協議類型的連接已經成功。

4.3 通過mod_jk負載均衡tomcat

使用mod_jk實現tomcat的負載均衡有一個好處，tomcat上可以禁用http協議(將監聽此協議的Connector配置刪除即可)，防止外界直接通過http請求tomcat。

配置apache，使其支持負載均衡，修改/etc/httpd/conf.d/mod_jk.conf為如下內容：

LoadModule      jk_module  modules/mod_jk.so
JkWorkersFile   /etc/httpd/conf.d/workers.properties
JkLogFile       logs/mod_jk.log
JkLogLevel      notice
JkMount         /*.jsp     TomcatLB
JkMount         /status/*  statA

編輯/etc/httpd/conf.d/workers.properties，修改為如下內容：為測試負載效果，不啟用stick_session。

worker.list=TomcatLB,statA
worker.statA.type=status
worker.TomcatLB.type=lb
worker.TomcatLB.sticky_session=false
worker.TomcatLB.balance_workers=TomcatA,TomcatB
worker.TomcatA.type=ajp13
worker.TomcatA.host=192.168.100.22
worker.TomcatA.port=8009
worker.TomcatA.lbfactor=5
worker.TomcatB.type=ajp13
worker.TomcatB.host=192.168.100.23
worker.TomcatB.port=8009
worker.TomcatB.lbfactor=10

在mod_jk負載均衡中，后端tomcat的engine組件需要添加jvmRoute參數，該參數會為當前server實例設置全局惟一標識符，因此每一個實例的jvmRoute的值均不能相同，且jvmRoute的值必須等於balance_workers的成員值。對於上面的配置，Engine應該如下設置：此處還修改了name，但這不是要求要修改的。

<!-- 在tomcatA上設置 -->
<Engine name="Standalone" defaultHost="localhost" jvmRoute="TomcatA">
<!-- 在tomcatB上設置 -->
<Engine name="Standalone" defaultHost="localhost" jvmRoute="TomcatB">

為了演示效果，在TomcatA部署一個應用程序test。

[root@xuexi tomcat]# mkdir -p /usr/local/tomcat/webapps/test/WEB-INF/{classes,lib}

添加index.jsp，內容如下：

[root@xuexi tomcat]# cat /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" %>
<html>
  <head><title>TomcatA</title></head>
  <body>
    <h1><font color="red">TomcatA </font></h1>
    <table align="centre" border="1">
      <tr>
        <td>Session ID</td>
    <% session.setAttribute("abc","abc"); %>
        <td><%= session.getId() %></td>
      </tr>
      <tr>
        <td>Created on</td>
        <td><%= session.getCreationTime() %></td>
     </tr>
    </table>
  </body>
</html>

在TomcatB同樣也部署一個應用程序test。如下：

[root@xuexi tomcat]# mkdir -p /usr/local/tomcat/webapps/test/WEB-INF/{classes,lib}
[root@xuexi tomcat]# cat /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" %>
<html>
  <head><title>TomcatB</title></head>
  <body>
    <h1><font color="blue">TomcatB </font></h1>
    <table align="centre" border="1">
      <tr>
        <td>Session ID</td>
    <% session.setAttribute("abc","abc"); %>
        <td><%= session.getId() %></td>
      </tr>
      <tr>
        <td>Created on</td>
        <td><%= session.getCreationTime() %></td>
     </tr>
    </table>
  </body>
</html>

重啟httpd、tomcatA、tomcatB對應的服務程序。在瀏覽器中輸入192.168.100.17/test/index.jsp測試負載均衡是否生效。

測試時，輪調兩次tomcatB后輪調一次tomcatA。而且可以發現每次輪詢時Session ID每次都是變化的，因為沒有開啟sticky_session，所以session沒有進行綁定。

要綁定會話，將worker.properties中的sticky_session設置為true即可。

5. Tomcat+httpd(mod_proxy)

測試環境如下：

當httpd端采用mod_proxy和tomcat連接時，可以采用ajp或http協議進行連接。

要使用mod_proxy與Tomcat連接，需要apache已經裝載mod_proxy、mod_proxy_http、mod_proxy_ajp和proxy_balancer_module（實現Tomcat負載均衡時用到）等模塊。使用rpm包安裝的httpd一般默認已經啟用它們，如果是編譯httpd，則在編譯選項中加上以下對應幾項：

--enable-proxy --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer

如果是已經編譯好的Httpd，則可以使用apxs工具，向httpd中添加這幾個新模塊。添加方法見：httpd添加新模塊。

確保proxy相關的模塊已經加載了。

[root@xuexi ~]# httpd -M | grep proxy 
Syntax OK
 proxy_module (shared)
 proxy_balancer_module (shared)
 proxy_ftp_module (shared)
 proxy_http_module (shared)
 proxy_ajp_module (shared)
 proxy_connect_module (shared)

5.1 配置httpd代理到tomcat

基於ajp連接協議和tomcat連接時，向httpd添加以下配置文件。如果要基於http協議連接tomcat，將上面配置文件的ajp協議改為http協議，並修改端口即可。

[root@xuexi ~]# cat /etc/httpd/conf.d/ajp.conf
<Location /status>
  SetHandler balancer-manager
  Proxypass !              # 表示此Location的URL不進行反向代理
  Require ip 192.168.100
</Location>

ProxyVia Off
ProxyRequests Off
ProxyPreserveHost Off
  ProxyPassMatch    "^/(.*\.jsp)$"  ajp://192.168.100.22:8009/$1
  ProxyPassReverse  "^/(.*\.jsp)$"  ajp://192.168.100.22:8009/$1

<Proxy *>
  Require all granted
</Proxy>

重啟httpd。注意，重啟前將前面mod_jk實驗的配置文件刪除掉。

關於如上apache配置的幾個指令，解釋如下。httpd反向代理的詳細內容，可參見：詳細分析apache httpd反向代理的用法。

  • ProxyVia {On|Off|Full|Block}：用於控制在http首部是否使用"Via:"，主要用於在多級代理中控制代理請求的流向。默認為Off，即不啟用此功能；On表示每個請求和響應報文均添加"Via:"；Full表示每個"Via:"行都會添加當前apache服務器的版本號信息；Block表示每個代理請求報文中的"Via:"都會被移除。
  • ProxyRequests {On|Off}：是否開啟apache正向代理的功能；如果為apache設置了ProxyPass即反向代理，則必須將ProxyRequests設置為Off。
  • ProxyPreserveHost {On|Off}：如果啟用此功能，代理會將用戶請求報文中的"Host:"行發送給后端的服務器，而不再使用ProxyPass指定的服務器IP地址。如果后端一個IP上可能會有多個虛擬主機，則需要開啟此項明確轉發給哪台虛擬主機，否則就無需打開此功能。
  • ProxyPassReverse：在反向代理環境中必須使用此指令避免重定向報文繞過proxy服務器，屬性設置為ProxyPass一樣基本上就可以。
  • ProxyPass [path] !|[url [key=value key=value ...]]：將后端服務器某URL與當前服務器的某虛擬路徑關聯起來作為提供服務的路徑，path為當前服務器上的某虛擬路徑，url為后端服務器上某URL路徑。使用此指令時必須將ProxyRequests的值設置為Off。需要注意的是，如果path以"/"結尾，則對應的url也必須以"/"結尾，反之亦然。
  • ProxyPassMatch [regex] !|url [key=value [key=value ...]]：正則格式的ProxyPass。

5.2 通過mod_proxy負載均衡tomcat

關於httpd反向代理的負載均衡配置方式，參見詳細分析apache httpd反向代理的用法。

在httpd.conf中配置如下內容：

<proxy balancer://TomcatLB>
BalancerMember ajp://192.168.100.38:8009 loadfactor=5
BalancerMember ajp://192.168.100.36:8009 loadfactor=10
</proxy>

ProxyVia Off
ProxyRequests Off
ProxyPreserveHost Off
ProxyPassMatch   "^/(.*\.jsp)$" balancer://TomcatLB/$1 
ProxyPassReverse "^/(.*\.jsp)$" balancer://TomcatLB/$1

<Proxy *>
  Require all granted
</Proxy>

<Location /status>
  SetHandler balancer-manager
  Proxypass ! 
  Require ip 192.168.100
</Location>

重啟httpd並在瀏覽器中輸入192.168.100.17/test/index.jsp測試，測試時會輪調兩次tomcatB再輪調一次tomcatA。

如果要實現session粘滯(綁定)，則修改httpd配置文件如下：

<proxy balancer://TomcatLB>
BalancerMember ajp://192.168.100.22:8009 loadfactor=5  route=TomcatA
BalancerMember ajp://192.168.100.23:8009 loadfactor=10 route=TomcatB
ProxySet  lbmethod=byrequets
</proxy>

ProxyVia Off
ProxyRequests Off
ProxyPreserveHost Off
ProxyPassMatch   "^/(.*\.jsp)$" balancer://TomcatLB/$1 stickysession=JSESSIONID
ProxyPassReverse "^/(.*\.jsp)$" balancer://TomcatLB/$1 stickysession=JSESSIONID

<Proxy *>
  Require all granted
</Proxy>

<Location /status>
  SetHandler balancer-manager
  Proxypass ! 
  Require ip 192.168.100
</Location>

然后分別配置tomcatA和tomcatB的engine組件，分別加上jvmRoute="TomcatA"和jvmRoute="TomcatB"屬性。

<Engine name="Catalina" defaultHost="localhost" jvmRoute="TomcatA">
<Engine name="Catalina" defaultHost="localhost" jvmRoute="TomcatB">

重啟httpd和tomcatA、tomcatB，然后測試結果，再測試時同一客戶端將總是得到同一個結果，不會出現負載均衡。


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 Nginx/Httpd負載均衡tomcat配置 nginx多tomcat負載均衡 負載均衡環境：nginx + 2tomcat Nginx + Tomcat 負載均衡配置詳解 配置apache和nginx的tomcat負載均衡 使用Nginx實現Tomcat集群負載均衡 Nginx + Tomcat 動靜分離實現負載均衡 Nginx實現tomcat集群進行負載均衡 tomcat+nginx實現均衡負載 nginx配置分發Tomcat服務,負載均衡
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM