在應用了容器技術的軟件開發過程中,控制容器鏡像的大小可是一件費時費力的事情。如果我們構建的鏡像既是編譯軟件的環境,又是軟件最終的運行環境,這是很難控制鏡像大小的。所以常見的配置模式為:分別為軟件的編譯環境和運行環境提供不同的容器鏡像。比如為編譯環境提供一個 Dockerfile.build,用它構建的鏡像包含了編譯軟件需要的所有內容,比如代碼、SDK、工具等等。同時為軟件的運行環境提供另外一個單獨的 Dockerfile,它從 Dockerfile.build 中獲得編譯好的軟件,用它構建的鏡像只包含運行軟件所必須的內容。這種情況被稱為構造者模式(builder pattern),本文將介紹如何通過 Dockerfile 中的 multi-stage 來解決構造者模式帶來的問題。
常見的容器鏡像構建過程
比如我們創建了一個 GO 語言編寫了一個檢查頁面中超級鏈接的程序 app.go(請從 sparkdev 獲取本文相關的代碼):
package main
import (
"encoding/json"
"fmt"
"log"
"net/http"
"net/url"
"os"
"strings"
"golang.org/x/net/html"
)
type scrapeDataStore struct {
Internal int `json:"internal"`
External int `json:"external"`
}
func isInternal(parsedLink *url.URL, siteUrl *url.URL, link string) bool {
return parsedLink.Host == siteUrl.Host || strings.Index(link, "#") == 0 || len(parsedLink.Host) == 0
}
func main() {
urlIn := os.Getenv("url")
if len(urlIn) == 0 {
urlIn = "https://www.cnblogs.com/"
log.Fatalln("Need a valid url as an env-var.")
}
siteUrl, parseErr := url.Parse(urlIn)
if parseErr != nil {
log.Fatalln(parseErr)
}
resp, err := http.Get(urlIn)
if err != nil {
log.Fatalln(err)
}
scrapeData := &scrapeDataStore{}
tokenizer := html.NewTokenizer(resp.Body)
end := false
for {
tt := tokenizer.Next()
switch {
case tt == html.StartTagToken:
// fmt.Println(tt)
token := tokenizer.Token()
switch token.Data {
case "a":
for _, attr := range token.Attr {
if attr.Key == "href" {
link := attr.Val
parsedLink, parseLinkErr := url.Parse(link)
if parseLinkErr == nil {
if isInternal(parsedLink, siteUrl, link) {
scrapeData.Internal++
} else {
scrapeData.External++
}
}
if parseLinkErr != nil {
fmt.Println("Can't parse: " + token.Data)
}
}
}
break
}
case tt == html.ErrorToken:
end = true
break
}
if end {
break
}
}
data, _ := json.Marshal(&scrapeData)
fmt.Println(string(data))
}
下面我們通過容器來構建它,並把它部署到生產型的容器鏡像中。
首先構建編譯應用程序的鏡像:
FROM golang:1.7.3 WORKDIR /go/src/github.com/sparkdevo/href-counter/ RUN go get -d -v golang.org/x/net/html COPY app.go . RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .
把上面的內容保存到 Dockerfile.build 文件中。
接着把構建好的應用程序部署到生產環境用的鏡像中:
FROM alpine:latest RUN apk --no-cache add ca-certificates WORKDIR /root/ COPY app . CMD ["./app"]
把上面的內容保存到 Dockerfile 文件中。
最后需要使用一個腳本把整個構建過程整合起來:
#!/bin/sh echo Building sparkdevo/href-counter:build # 構建編譯應用程序的鏡像 docker build --no-cache -t sparkdevo/href-counter:build . -f Dockerfile.build # 創建應用程序 docker create --name extract sparkdevo/href-counter:build
# 拷貝編譯好的應用程序 docker cp extract:/go/src/github.com/sparkdevo/href-counter/app ./app docker rm -f extract echo Building sparkdevo/href-counter:latest # 構建運行應用程序的鏡像 docker build --no-cache -t sparkdevo/href-counter:latest .
把上面的內容保存到 build.sh 文件中。這個腳本會先創建出一個容器來構建應用程序,然后再創建最終運行應用程序的鏡像。
把 app.go、Dockerfile.build、Dockerfile 和 build.sh 放在同一個目錄下,然后進入這個目錄執行 build.sh 腳本進行構建。構建后的容器鏡像大小:
從上圖中我們可以觀察到,用於編譯應用程序的容器鏡像大小接近 700M,而用於生產環境的容器鏡像只有 10.3 M,這樣的大小在網絡間傳輸的效率是很高的。
運行下面的命令可以檢查我們構建的容器是否可以正常的工作:
$ docker run -e url=https://www.cnblogs.com/ sparkdevo/href-counter:latest $ docker run -e url=http://www.cnblogs.com/sparkdev/ sparkdevo/href-counter:latest
OK,我們寫的程序正確的統計了博客園首頁和筆者的首頁中超級鏈接的情況。
采用上面的構建過程,我們需要維護兩個 Dockerfile 文件和一個腳本文件 build.sh。能不能簡化一些呢? 下面我們看看 docker 針對這種情況提供的解決方案:multi-stage。
在 Dockerfile 中使用 multi-stage
multi-stage 允許我們在 Dockerfile 中完成類似前面 build.sh 腳本中的功能,每個 stage 可以理解為構建一個容器鏡像,后面的 stage 可以引用前面 stage 中創建的鏡像。所以我們可以使用下面單個的 Dockerfile 文件實現前面的需求:
FROM golang:1.7.3 WORKDIR /go/src/github.com/sparkdevo/href-counter/ RUN go get -d -v golang.org/x/net/html COPY app.go . RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app . FROM alpine:latest RUN apk --no-cache add ca-certificates WORKDIR /root/ COPY --from=0 /go/src/github.com/sparkdevo/href-counter/app . CMD ["./app"]
把上面的內容保存到文件 Dockerfile.multi 中。這個 Dockerfile 文件的特點是同時存在多個 FROM 指令,每個 FROM 指令代表一個 stage 的開始部分。我們可以把一個 stage 的產物拷貝到另一個 stage 中。本例中的第一個 stage 完成了應用程序的構建,內容和前面的 Dockerfile.build 是一樣的。第二個 stage 中的 COPY 指令通過 --from=0 引用了第一個 stage ,並把應用程序拷貝到了當前 stage 中。接下來讓我們編譯新的鏡像:
$ docker build --no-cache -t sparkdevo/href-counter:multi . -f Dockerfile.multi
這次使用 href-counter:multi 鏡像運行應用:
$ docker run -e url=https://www.cnblogs.com/ sparkdevo/href-counter:multi $ docker run -e url=http://www.cnblogs.com/sparkdev/ sparkdevo/href-counter:multi
結果和之前是一樣的。那么新生成的鏡像有沒有特別之處呢:
好吧,從上圖我們可以看到,除了 sparkdevo/href-counter:multi 鏡像,還生成了一個匿名的鏡像。因此,所謂的 multi-stage 不過時多個 Dockerfile 的語法糖罷了。但是這個語法糖還好很誘人的,現在我們維護一個結構簡潔的 Dockerfile 文件就可以了!
使用命名的 stage
在上面的例子中我們通過 --from=0 引用了 Dockerfile 中第一個 stage,這樣的做法會讓 Dockerfile 變得不容易閱讀。其實我們是可以為 stage 命名的,然后就可以通過名稱來引用 stage 了。下面是改造后的 Dockerfile.mult 文件:
FROM golang:1.7.3 as builder WORKDIR /go/src/github.com/sparkdevo/href-counter/ RUN go get -d -v golang.org/x/net/html COPY app.go . RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app . FROM alpine:latest RUN apk --no-cache add ca-certificates WORKDIR /root/ COPY --from=builder /go/src/github.com/sparkdevo/href-counter/app . CMD ["./app"]
我們把第一個 stage 使用 as 語法命名為 builder,然后在后面的 stage 中通過名稱 builder 進行引用 --from=builder。通過使用命名的 stage, Dockerfile 更容易閱讀了。
總結
Dockerfile 中的 multi-stage 雖然只是些語法糖,但它確實為我們帶來了很多便利。尤其是減輕了 Dockerfile 維護者的負擔(要知道實際生產中的 Dockerfile 可不像 demo 中的這么簡單)。需要注意的是舊版本的 docker 是不支持 multi-stage 的,只有 17.05 以及之后的版本才開始支持。好了,是不是該去升級你的 docker 版本了?
參考:
Use multi-stage builds
Builder pattern vs. Multi-stage builds in Docker