Kubernetes服务部署案例实战

　　学习了K8S的基础知识，我们的目的就是解决我们服务的迁移，那么接下去通过几个案例来感受一下K8s部署带来的便捷与效率。

环境准备：

　　3个节点，然后我这边也安装了 Ingress。

部署wordpress+mysql（Service：NodePort模式）：

(1)创建wordpress命名空间

　　kubectl create namespace wordpress

　　kubectl get ns

(2)创建wordpress-db.yaml文件,根据wordpress-db.yaml创建资源[mysql数据库]

apiVersion: apps/v1beta1 kind: Deployment metadata: name: mysql-deploy namespace: wordpress labels: app: mysql spec: template: metadata: labels: app: mysql spec: containers: - name: mysql image: mysql:5.6 imagePullPolicy: IfNotPresent ports: - containerPort: 3306 name: dbport env: - name: MYSQL_ROOT_PASSWORD value: rootPassW0rd - name: MYSQL_DATABASE value: wordpress - name: MYSQL_USER value: wordpress - name: MYSQL_PASSWORD value: wordpress volumeMounts: - name: db mountPath: /var/lib/mysql volumes: - name: db hostPath: path: /var/lib/mysql --- apiVersion: v1 kind: Service metadata: name: mysql namespace: wordpress spec: selector: app: mysql ports: - name: mysqlport protocol: TCP port: 3306 targetPort: dbport

　　kubectl apply -f wordpress-db.yaml

　　kubectl get pods -n wordpress

　　kubectl get svc mysql -n wordpress

　　kubectl describe svc mysql -n wordpress 记录下 Endpoints的IP   或者IP ，需要配置到wordpress里面。

 

(3)创建wordpress.yaml文件,根据wordpress.yaml创建资源[wordpress]

apiVersion: apps/v1beta1 kind: Deployment metadata: name: wordpress-deploy namespace: wordpress labels: app: wordpress spec: template: metadata: labels: app: wordpress spec: containers: - name: wordpress image: wordpress imagePullPolicy: IfNotPresent ports: - containerPort: 80 name: wdport env: - name: WORDPRESS_DB_HOST value: 192.168.190.102:3306                     
        - name: WORDPRESS_DB_USER value: wordpress - name: WORDPRESS_DB_PASSWORD value: wordpress --- apiVersion: v1 kind: Service metadata: name: wordpress namespace: wordpress spec: type: NodePort selector: app: wordpress ports: - name: wordpressport protocol: TCP port: 80 targetPort: wdport

　　kubectl apply -f wordpress.yaml #修改其中mysql的ip地址,其实也可以使用service的name:mysql

　　kubectl get pods -n wordpress 

　　kubectl get svc -n wordpress # 获取到转发后的端口，如这里的30078

(6)访问测试,win上访问集群中任意宿主机节点的IP:30078

 

部署Spring Boot项目(Ingress):

 流程：确定服务-->编写Dockerfile制作镜像-->上传镜像到仓库-->编写K8S文件-->创建

(1)准备Spring Boot项目springboot-demo

@RestController @RequestMapping("wuzz") public class TestController { @RequestMapping(value = "/k8s", method = {RequestMethod.GET}) public String k8s() { return "Hello Kubernetes ....."; } }

(2) mvn clean install生成xxx.jar，并且上传到 linux 自定义目录下(我这边是 /mysoft)

(3)编写Dockerfile文件 cd /mysoft 下 vi Dockerfile

FROM openjdk:8-jre-alpine COPY springboot-demo-1.0-SNAPSHOT.jar /mysoft/springboot-demo.jar ENTRYPOINT ["java","-jar","/mysoft/springboot-demo.jar"]

(4)根据Dockerfile创建image

　　docker build -t springboot-demo-image .

(5)使用docker run创建container

　　docker run -d --name s1 springboot-demo-image

(6)访问测试

　　docker inspect s1

　　curl ip:8080/wuzz/k8s

(7)将镜像推送到镜像仓库

 # 登录阿里云镜像仓库

sudo docker login --username=随风去wuzz registry.cn-hangzhou.aliyuncs.com

docker tag springboot-demo-image registry.cn-hangzhou.aliyuncs.com/wuzz-docker/springboot-demo-image:v1.0

docker push registry.cn-hangzhou.aliyuncs.com/wuzz-docker/springboot-demo-image:v1.0

 

　　推送完成。

 

(8)编写Kubernetes配置文件vi springboot-demo.yaml

# 以Deployment部署Pod apiVersion: apps/v1 kind: Deployment metadata: name: springboot-demo spec: selector: matchLabels: app: springboot-demo replicas: 1 template: metadata: labels: app: springboot-demo spec: containers: - name: springboot-demo image: registry.cn-hangzhou.aliyuncs.com/wuzz-docker/springboot-demo-image:v1.0 ports: - containerPort: 8080
--- # 创建Pod的Service apiVersion: v1 kind: Service metadata: name: springboot-demo spec: ports: - port: 80 protocol: TCP targetPort: 8080 selector: app: springboot-demo --- # 创建Ingress，定义访问规则，一定要记得提前创建好nginx ingress controller apiVersion: extensions/v1beta1 kind: Ingress metadata: name: springboot-demo spec: rules: - host: tomcat.wuzz.com http: paths: - path: / backend: serviceName: springboot-demo servicePort: 80

　　生成 pod ：kubectl apply -f springboot-demo.yaml

(9)查看资源

　　kubectl get pods

　　kubectl get pods -o wide

　　curl 192.168.190.103:8080/wuzz/k8s

　　kubectl get svc

　　kubectl scale deploy springboot-demo --replicas=5

(10)win配置hosts文件[一定要记得提前创建好nginx ingress controller]  

　　192.168.1.102  tomcat.wuzz.com

(11)win浏览器访问

部署传统分布式服务(user/order)及注册中心(Nacos)：

　　将user/order服务注册到nacos，user服务能够找到order服务。

(1).启动两个Spring Boot项目，两者Pom.xml如下：

<properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <spring-cloud.version>Greenwich.SR1</spring-cloud.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>2.1.6.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.10</version>
        </dependency>
    </dependencies>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <!-- SpringCloud 所有子项目 版本集中管理. 统一所有SpringCloud依赖项目的版本依赖-->
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-alibaba-dependencies</artifactId>
                <version>0.9.0.RELEASE</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <version>2.1.6.RELEASE</version>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <version>2.1.6.RELEASE</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

　　application.properties ：user端口8081，order9090，记得修改对应application.name

server.port=8081 spring.application.name=user spring.cloud.nacos.discovery.server-addr=192.168.1.101:8848

　　user 需要提供一个接口以供测试：

@RestController public class TestController { @Autowired private DiscoveryClient discoveryClient; @RequestMapping(value = "/k8s", method = {RequestMethod.GET}) public String insert() { List<ServiceInstance> list = discoveryClient.getInstances("order"); ServiceInstance serviceInstance = list.get(0); URI uri = serviceInstance.getUri(); System.out.println(uri); testUri(uri.toString()); return list.toString(); } public void testUri(String uri) { URL url = null; try { url = new URL(uri); URLConnection urlConnection = url.openConnection(); urlConnection.connect(); System.out.println("连接可用"); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } }

　　然后查看nacos server的服务列表：

　　为了验证user能够发现order的地址，访问localhost:8081/k8s，查看日志输出，从而测试是否可以ping通order地址

 (2)  本地测试无误以后将两个项目打成 jar 包，丢到 linux 目录中。编写 Dockerfile 文件：

FROM openjdk:8-jre-alpine COPY user-1.0.0-SNAPSHOT.jar /user.jar ENTRYPOINT ["java","-jar","/user.jar"] ------- FROM openjdk:8-jre-alpine COPY order-0.0.1-SNAPSHOT.jar /order.jar ENTRYPOINT ["java","-jar","/order.jar"]

　　构建镜像：

docker build -t user-image:v1.0 . docker build -t order-image:v1.0 .

　　将镜像推送到远程私人仓库：我这里选择了阿里云

#打 tag docker tag user-image:v1.0 registry.cn-hangzhou.aliyuncs.com/wuzz-docker/user-image:v1.0 docker tag order-image:v1.0 registry.cn-hangzhou.aliyuncs.com/wuzz-docker/order-image:v1.0 #推送 docker push registry.cn-hangzhou.aliyuncs.com/wuzz-docker/user-image docker push registry.cn-hangzhou.aliyuncs.com/wuzz-docker/order-image 

(3) 编写  user.yaml ，order.yaml 文件:

　　user.yaml

# 以Deployment部署Pod apiVersion: apps/v1 kind: Deployment metadata: name: user spec: selector: matchLabels: app: user replicas: 1 template: metadata: labels: app: user spec: containers: - name: user image: registry.cn-hangzhou.aliyuncs.com/wuzz-docker/user-image:v1.0 ports: - containerPort: 8081
--- # 创建Pod的Service apiVersion: v1 kind: Service metadata: name: user spec: ports: - port: 80 protocol: TCP targetPort: 8081 selector: app: user --- # 创建Ingress，定义访问规则，一定要记得提前创建好nginx ingress controller apiVersion: extensions/v1beta1 kind: Ingress metadata: name: user spec: rules: - host: k8s.demo.gper.club http: paths: - path: / backend: serviceName: user servicePort: 80

　　order.yaml：

# 以Deployment部署Pod apiVersion: apps/v1 kind: Deployment metadata: name: order spec: selector: matchLabels: app: order replicas: 1 template: metadata: labels: app: order spec: containers: - name: order image: registry.cn-hangzhou.aliyuncs.com/wuzz-docker/order-image:v1.0 ports: - containerPort: 9090
--- # 创建Pod的Service apiVersion: v1 kind: Service metadata: name: order spec: ports: - port: 80 protocol: TCP targetPort: 9090 selector: app: order

(4) 构建 pods ：kubectl apply -f user.yaml

　　kubectl get pods  查看pods

　　kubectl get pods -o wide   查看pods详情 

　　kubectl get svc   查看service

　　kubectl get ingress  查看ingress网络

 　　这个时候我通过：kubectl logs -f <pod-name>   [主要是为了看日志输出，证明user能否访问order] 发现这个pod报错了，连接不上，经过测试  在本地跟直接在linux上通过java -jar 运行都是可以注册的 ，没问题。

 　　这个时候我们可以  docker exec -it    containerId   /bin/sh  进入对用容器  ping 一下 这里报错的地址，发现 ping 不通。这个时候获取到对应的 pod 的 IP：

　　在节点 192.168.190.114 增加一条路由规则：/sbin/iptables -t nat -I POSTROUTING -s 192.168.190.0/24 -j MASQUERADE

　　然后会发现注册成功：

 

 

 　　可以发现，注册到nacos server上的服务ip地址为pod的ip，比如192.168.190.114/192.168.190.115 .

 

 (5) 测试：通过浏览器访问我们配置的 Ingress 的对应路径

　　看一下 pod 的日志发现调用没问题。如果服务都是在K8s集群中，最终将pod ip注册到了nacos server，那么最终服务通过pod ip发现。

 

假如user现在不在K8s集群中，order在K8s集群中：

　　比如user使用本地idea中的，order使用上面K8s中的 。

• 启动本地idea中的user服务
• 查看nacos server中的user服务列表
• 访问本地的localhost:8081/ks，并且观察idea中的日志打印，发现访问的是order的pod id，此时肯定是不能进行服务调用的，怎么解决呢？

　　之所以访问不了，是因为order的pod ip在外界访问不了，怎么解决呢？

1. 可以将pod启动时所在的宿主机的ip写到容器中，也就是pod id和宿主机ip有一个对应关系
2. pod和宿主机使用host网络模式，也就是pod直接用宿主机的ip，但是如果服务高可用会有端口冲突问题[可以使用pod的调度策略，尽可能在高可用的情况下，不会将pod调度在同一个worker中]

　　我们来演示一个host网络模式的方式，修改order.yaml文件,修改之后apply之前可以看一下各个节点的9090端口是否被占用

apiVersion: apps/v1
kind: Deployment
metadata:
  name: order
spec:
  selector:
    matchLabels:
      app: order
  replicas: 1
  template:
    metadata:
      labels:
        app: order
    spec:
      #主要是加上host映射
      hostNetwork: true
      containers:
      - name: order
        image: registry.cn-hangzhou.aliyuncs.com/wuzz-docker/order-image:v1.0
        ports:
        - containerPort: 9090
---
# 创建Pod的Service
apiVersion: v1
kind: Service
metadata:
  name: order
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 9090
  selector:
    app: order

 　　构建之前记得把之前哪个删掉：kubectl apply -f order.yaml 

 　　kubectl get pods -o wide --->找到pod运行在哪个机器上，比如w2,查看w2上的9090端口是否启动

 　　构建完，启动本地的user服务，看是否注册上去：

 

 

　　访问本地发 user服务：

 

 　　查看控制台的输出信息：