MinIO 搭建


MinIO 是一個基於 Apache License v2.0 開源協議的對象存儲服務。它兼容亞馬遜 S3 雲存儲服務接口,非常適合於存儲大容量非結構化的數據,例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾 kb 到最大 5T 不等。

MinIO 是一個非常輕量的服務,可以很簡單的和其他應用的結合,類似 NodeJS, Redis 或者 MySQL。

官方對 Minio 的定義是一個高性能的對象存儲。

Build high performance data infrastructure
for machine learning, analytics and
application data workloads with MinIO 。

Minio 的官方網站是 https://min.io ,
Minio 的官方文檔是 https://docs.min.io/cn/ ,
GitHub 倉庫地址是:https://github.com/minio/minio ,目前有 18.8k Stars (2019.11.9)

Minio 的 benchmark 說明:

https://min.io/resources/docs/MinIO-vs-HDFS-MapReduce-performance-comparison.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-NVMe-SSD.pdf
https://min.io/resources/docs/Performance-comparison-Starburst-Presto-SQL.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-HDD.pdf
https://min.io/resources/docs/Performance-comparison-Apache-Spark.pdf

快速開始一個單節點的 MinIO

MinIO 分為服務端和客戶端,服務端提供一個對象存儲,也提供一個 Web 的管理頁面。客戶端是用來管理、查看服務端的一個工具。服務端的二進制文件是 minio ,客戶端的二進制文件是 mc 。

使用二進制文件啟動

首先先下載服務端的二進制文件,其次准備一個用來存儲的磁盤或者目錄,

下載好以后賦予執行權限,可以使用如下命令快速啟動。

chmod +x minio ./minio server /data

啟動后可以通過訪問 http://localhost:9000 來訪問你的對象存儲。

使用 Docker 啟動

MinIO 需要一個持久卷來存儲配置和應用數據。不過, 如果只是為了測試一下, 您可以通過簡單地傳遞一個目錄(在下面的示例中為 /erdong/data)啟動 MinIO 。這個目錄會在容器啟動時在容器的文件系統中創建,不過所有的數據都會在容器退出時丟失。

要創建具有永久存儲的 MinIO 容器,您需要將本地持久目錄從主機操作系統映射到虛擬配置 ~/.minio 並導出 /data 目錄。 為此,請運行以下命令

docker run -p 9000:9000 --name minio \ -e "MINIO_ACCESS_KEY=minioadmin" \ -e "MINIO_SECRET_KEY=minioadminpassword" \ -v /minio/data:/data \ -v /minio/config:/root/.minio \ minio/minio server /data

啟動后,即可訪問 http://localhost:9000 來訪問你的對象存儲。

上述命令中設置了如下參數:

  • MINIO_ACCESS_KEY 管理員的訪問秘鑰
  • MINIO_SECRET_KEY 管理員的秘鑰
  • /erdong/minio/data:/data 掛載持久化數據目錄
  • /erdong/minio/config:/root/.minio 掛載配置文件
  • server 啟動 Server 模式,除了該模式還有一個 Gateway 模式。
  • /data 指定數據目錄

如果需要指定端口可以使用如下參數

--address ":9000"

使用 TLS 安全訪問 MinIO 服務

接下來我們看看如何在 linux 上配置 MinIO 服務使用 TLS 。

使用 TLS 的前提是先下載好 MinIO Server 。

如果你已經有私鑰和公鑰證書,你需要將他們拷貝到 MinIO 的 $HOME/.minio/certs 文件夾,私鑰的名字必須是 private.key ,公鑰證書的名字必須是 public.crt 。 MinIO 在 Linux 只支持使用 PEM 格式的秘鑰和證書,在 Windows 上只支持 PEM 格式的秘鑰和證書,目前不支持 PFX 證書。

如果這個證書是被證書機構簽發的,public.crt 應該是服務器的證書。

Linux 可以使用如下工具來生成證書

  • Let‘s Encrypt
  • generate_cert.go
  • OpenSSL

Windows 可以使用如下工具來生成證書

  • GnuTLS

Minio 也可以配置成連接其它服務,不管是 Minio 節點還是像 NATs、Redis 這些。如果這些服務用的不是在已知證書機構注冊的證書,你可以讓 Minio 服務信任這些 CA ,怎么做呢,將這些證書放到Minio配置路徑下(~/.minio/certs/CAs/ Linux 或者 C:\Users<Username>.minio\certs\CAs Windows).

如何使用 OpenSSL 來生成自簽證書

使用如下命令生成私鑰,私鑰會生成在執行命令的目錄下

openssl genrsa -out private.key 2048

生成自簽名的證書,證書會生成在執行命令的目錄下

openssl req -new -x509 -days 3650 -key private.key -out public.crt -subj "/C=US/ST=state/L=location/O=organization/CN=domain"

其中相關內容可以按照實際情況修改,比如 /C 是國家,中國是 CN ,/ST 是州或者省, /L 是市或者區, /CN 是域名。

秘鑰和證書生成好以后,按照上邊的要求放置在對應的目錄即可。

Q&A

Thanos 在連接 MinIO 的時候遇到了一些問題,日志里有很多錯誤提示,列在下邊供參考。

1. 提示冒號太多

日志報錯如下所示:

level=info ts=2019-11-08T02:43:40.981858805Z caller=main.go:170 msg="Tracing will be disabled" level=info ts=2019-11-08T02:43:40.982326667Z caller=factory.go:39 msg="loading bucket configuration" level=error ts=2019-11-08T02:43:40.982682262Z caller=main.go:200 err="store command failed: create bucket client: create S3 client: initialize s3 client: address http://127.0.0.1:9000: too many colons in address"

日志描述直譯過來就是冒號太多了,原因是在配置文件中,填寫了 MinIO 提供的 S3 協議的 endpoint 的時候,多填寫了 http:// ,導致提示該錯誤。本意是在內網使用, HTTP 協議就可以了,不需要要開啟 HTTPS ,但是 Thanos 在連接 S3 存儲的時候默認是使用 HTTPS 的,不能通過這種方式來使用 HTTP 。

錯誤的配置如下:

type: S3 config: bucket: "disk1" endpoint: "http://127.0.0.1:9000"

正確的配置如下:

type: S3 config: bucket: "disk1" endpoint: "127.0.0.1:9000"

2. 提示對方沒有使用 HTTPS

日志報錯如下

level=info ts=2019-11-08T02:42:04.366000876Z caller=main.go:170 msg="Tracing will be disabled" level=info ts=2019-11-08T02:42:04.366417674Z caller=factory.go:39 msg="loading bucket configuration" level=info ts=2019-11-08T02:42:04.384413714Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64 level=error ts=2019-11-08T02:42:04.385632149Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://127.0.0.1:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: http: server gave HTTP response to HTTPS client"

這是 Thanos 連接的對象存儲只提供了 HTTP ,沒有提供 HTTPS,這個時候需要讓對象存儲添加證書,啟用 HTTPS 。

3. 不能夠認證某個域名

日志報錯如下:

level=info ts=2019-11-08T03:06:57.90508837Z caller=main.go:170 msg="Tracing will be disabled" level=info ts=2019-11-08T03:06:57.905445182Z caller=factory.go:39 msg="loading bucket configuration" level=info ts=2019-11-08T03:06:57.923283984Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64 level=error ts=2019-11-08T03:06:57.927125234Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://10.23.80.18:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: x509: cannot validate certificate for minio-erdong.site because it doesn't contain any IP SANs"

因為 Thanos 連接 Minio 的 HTTP 配置里,有一個 insecure_skip_verify 選項,該選項默認為 false ,需要對域名的證書進行驗證,由於使用了自簽證書,沒有在權威的 CA 機構做認證,所以在連接過程中會提示不安全,將值改為 true,跳過這個驗證就可以了。

 http_config:  idle_conn_timeout: 90s  response_header_timeout: 2m  insecure_skip_verify: true

end


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM