利用configmap覆盖tomcat项目数据库配置文件

利用configmap覆盖tomcat项目数据库配置文件

一、需求背景及问题引入

      这个实验之前本来是做一个k8s  jenkins发布tomcat项目的，想实现k8s的滚动升级：通过改pod 镜像名来触发系统完成deployment运行pod的滚动升级操作。（这个问题解决之后，后续会补充一篇结合jenkins发布整个流程的）

      大致交代下这篇文章的实验背景：测试项目来源于公司的一个线上举报违规项目，我特意在gitlab上克隆了一个专门做测试。数据库连接配置文件写的是天翼内网ip，线上项目也是部署在天翼云的机器上，也就是这个项目是通过内网方式连接数据库跑起来的。

     实验环境：基于公司个人办公电脑开的的vmware，开了4台虚拟机做的k8s集群（版本：v1.15.2），其中k8s-1，k8s-2既是工作节点也是master节点。

     所以要想把项目在pod上成功跑起来，肯定是不能用这个天翼内网ip去连数据库的，要把项目运行起来就要通过公网去连线上的数据库（包括mongo+mysql）  

     数据库内网ip：10.0.0.x；  外网ip：14.x.x.235  

 

二、实验尝试及报错

      实现环境说明：k8s已经部署好jenkins的pod（用的是blueocean的官方镜像），maven和jenkins通过nfs网络存储做了持久化，节点机器都已经挂载好对应的持久化目录。

       jenkins的持久化目录为：/data/nfs-volume/jenkins_home

       镜像tomcat1:v8.5.51事先从官方网站下载，上传到自己搭建的harbor仓库里（k8s-4），下载下来的tomcat镜像的工作目录默认在 /usr/local/tomcat/ 上。jenkins发布，pipeline脚本会把jenkins workspaces下maven编译好的项目war包（下图的 ./target/xx.war）复制到tomcat1:v8.5.51的镜像里面，形成需要跑应用项目的新镜像：tomcat-deploy:v1。最后通过交付给k8s资源文件把tomcat项目跑起来。

       这里我只发个tomcat项目的deployment.yaml的文件（这样子挂载上去是不认的），test-conf（spec.template.spec.volumes.name）引入的是configmap.yaml的配置文件内容

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: tomcat
  namespace: public
  labels: 
    name: tomcat
spec:
  replicas: 1
  selector:
    matchLabels: 
      name: tomcat
  template:
    metadata:
      labels: 
        app: tomcat 
        name: tomcat
    spec:
      volumes:
      - name: test-conf
        items:
        - key: application-pro.properties
          path: application-pro.properties
      containers:
      - name: tomcat 
        image: harbor.odljy.com/infra/tomcat-deploy:v1
        ports:
        - containerPort: 8080
          protocol: TCP
        volumeMounts:
        - name: test
          mountPath: /usr/local/tomcat/webapps/ROOT/WEB-INF/classes/config/application-pro.properties
          subpath: application-pro.properties
        

     曾经试过在交付资源清单给k8s之前，用sed去更改这个配置文件的内网数据库ip。无论是改pod里面配置文件/usr/local/tomcat/.../application-pro.properties（不支持sed命令），还是改外面的 /data/nfs-volume/jenkins_home/tomcat_home/WEB-INF/classes/config/application-pro.properties（说没有找到该文件，该目录是nfs给jenkins做的持久化目录），这个问题后面参考解决的文章有说。

 

 

 

三、实验最终解决方案

   这篇文章给了我解决思路（上面的一些错误文章也有说到）：https://www.cnblogs.com/xxz-blog/articles/14293312.html

   最关键的一点是保证pod启动前，要把配置文件覆盖过去，新增了一个tomcat的运行脚本负责解压war包，覆盖文件及跑起tomat

   主要实现思路：

 （1）以tomcat8.5.31为基础镜像，把项目war包和运行tomcat的脚本打到镜像里。

 （2）编写运行脚本（runtomcat.sh）解压war包到tomcat上的webapps目录上，然后利用k8s的configmap通过挂载需要替换成的配置文件到某个临时目录/tmp，覆盖项目数据库配置文件，最后执行catalina.sh启动tomcat项目。

经测试数据库配置文件有改成功，不然项目是会报jdbc连不上的错误

 

文件组织结构如下：

 

####### 1、构建发布镜像和启动服务脚本

（1）Dockerfile 文件

From harbor.odljy.com/public/tomcat:8.5.31
RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone

#将webapps下的全部清空
RUN rm -rf /usr/local/tomcat/webapps/*
COPY wdtz-0.0.1-SNAPSHOT.war /usr/local/tomcat/webapps/ROOT.war
ADD runtomcat.sh bin/runtomcat.sh
CMD ["sh", "bin/runtomcat.sh"]

 

 （2）runtomcat.sh（跟参考文章中复制路径不同，我直接复制到ROOT的，这样不需要带项目名，直接访问静态页面路径就行）

cd /usr/local/tomcat/webapps
unzip /usr/local/tomcat/webapps/ROOT.war -d ROOT 3 rm -rf ROOT.war
\cp /tmp/application-pro.properties /usr/local/tomcat/webapps/ROOT/WEB-INF/classes/config/application-pro.properties
cd /usr/local/tomcat
sh /usr/local/tomcat/bin/catalina.sh run

 

####### 2、 k8s 资源交付部分

（1）configmap.yaml（后面省略）

apiVersion: v1
kind: ConfigMap
metadata:
  name: tomcat-mysql-conf
  namespace: public 
  labels:
    name: tomcat-mysql-conf
data:
  application-pro.properties: |
    spring.datasource.url=jdbc:mysql://14.xx.xx.235:8xx5/数据库名?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true
    spring.datasource.username=yourusername
    spring.datasource.password=yourpwd
  。。。

（2）deployment.yaml

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: tomcat
  namespace: public 
  labels: 
    name: tomcat
spec:
  replicas: 1
  selector:
    matchLabels: 
      name: tomcat
  template:
    metadata:
      labels: 
        app: tomcat 
        name: tomcat
    spec:
      volumes:
      - name: tomcat-mysql-conf
        configMap:
          name: tomcat-mysql-conf
      containers:
      - name: tomcat
        image: tomcat:v2.0
        ports:
        - containerPort: 8080
          protocol: TCP
        volumeMounts:
        - name: tomcat-mysql-conf
          mountPath: /tmp/application-pro.properties 32           subPath: application-pro.properties   #这个不太清楚用法，先记下

（3）service.yaml（可要可不要，增加nodePort，为了给svc映射外网访问）

apiVersion: v1
kind: Service
metadata:
  name: tomcat
  namespace: public
spec:
  type: NodePort
  ports:
  - protocol: TCP
    port: 8080 
    targetPort: 8080
    nodePort: 3009
  selector:
    app: tomcat

（4）ingress.yaml（通过域名访问：tomcat.odljy.com）

kind: Ingress
apiVersion: extensions/v1beta1
metadata: 
  name: tomcat
  namespace: public
spec:
  rules:
  - host: tomcat.odljy.com
    http:
      paths:
      - path: /
        backend: 
          serviceName: tomcat
          servicePort: 8080

 

####### 3、交付资源清单给k8s后，及测试项目可用性

[root@k8s-1 tomcat]# kubectl get pods -n public
NAME                      READY   STATUS    RESTARTS   AGE
tomcat-5bfc545688-tt2n9   1/1     Running   0          17h


1、进去容器确认读了新的配置文件，证明数据库连接信息被覆盖了

 

2、 tomcat日志，没有jdbc连接错误

 

3、项目确实能跑起来了，测试发短信

 

 

 

4、证明项目能跑（不想搞坏数据库数据，就不提交了表单信息了）