以項目驅動學習,以實踐檢驗真知
對象存儲的應用范圍非常廣泛,小至圖床、文件服務,大至大數據應用。無論是個人還是企業,搭建一個對象存儲服務器都是非常有必要的。
國內許多雲廠商提供了對象存儲服務:阿里 OSS、騰訊 COS、華為 OBS,等等,它們都能對海量數據進行存儲與管理,搭建和使用起來也非常方便,然而就是價格並不便宜。為了節約成本,許多人開始自建對象存儲服務器,可自建的話要么性能不好、要么搭建麻煩,難以讓人滿意。
有沒有什么辦法可以既免費又便捷還高性能呢?當然是有的,它就是本篇文章要講解的 MinIO。
MinIO 號稱全世界最快的對象存儲服務器。官方稱,在標准硬件上,讀/寫速度分別可達到 183 GB / s 和 171 GB / s,其性能不言而喻。
性能優異外,MinIO 還開源免費,最難得的是,其搭建和使用方式極其方便,可以說是自建對象文件存儲服務器的不二之選!
接下來螃蟹會手把手教大家使用 MinIO 自建對象存儲服務器,讀完本文你能收獲:
- MinIO 的搭建與配置;
- 文件外鏈(圖床)的實現;
- 集成 Spring Boot。
本文所有代碼都放在了 Github 上,克隆下來即可運行。
安裝和部署
MinIO 提供了多種安裝方式,Windows、Mac、Linux、Docker 等,這里我們選用最簡單方便的 Docker 方式。
若服務器已經安裝好 Docker,我們只需一行命令即可安裝並啟用 MinIO:
docker run -d -v /data/minio:/data/minio -p 9000:9000 minio/minio server /data/minio
該命令將主機 /data/minio
目錄映射到容器中的 /data/minio
目錄中,並啟用了 9000
端口。如果想指定別的目錄和端口當然也是可以的。
MinIO 還提供了圖形管理界面,在瀏覽器輸入 ip:9000
即可查看。
不管是圖形界面操作,還是客戶端操作,默認賬號密碼都為 minioadmin
。驗證通過后即可進入管理界面:
如果要修改默認的賬號密碼,在啟動容器時指定參數即可:
# 自定義賬號密碼,賬號不能小於 3 字符,密碼不能小於 8 字符
docker run -d -p 9000:9000 \
-v /data/minio:/data/minio \
-e "MINIO_ROOT_USER=root" \
-e "MINIO_ROOT_PASSWORD=rudecrab" \
minio/minio server /data/minio
圖形界面
編寫代碼調用 API 前,我們先看下圖形界面的操作。
界面右下角有兩個操作按鈕,一個是用來創建存儲空間 Bucket,一個是用來上傳文件。
對象存儲服務器的數據都存儲在一個個的 Bucket 中,所以上傳文件前,我們得先創建一個 Bucket。點擊最下面的黃色按鈕即可創建:
Bucket 名稱隨意,這里我們創建一個名為 file
的 Bucket。創建完畢后就可以在左側的導航欄中看到已創建的 Bucket :
然后我們可以點擊左下角第一個黃色按鈕進行文件上傳:
選中文件上傳后,即可在文件列表查看:
點擊文件操作按鈕,可以直接預覽、下載,還可以生成分享鏈接,供他人訪問。非常方便地就完成了圖床功能!
點擊分享按鈕后,即可生成分享鏈接。
分享鏈接可以設置預覽時限,最多可公開 7 天:
點擊 Copy Link
復制鏈接后,可以在瀏覽器查看效果:
這種屬於臨時鏈接,過一段時間后便會失效。有沒有什么辦法可以生成永久鏈接呢?當然是有的。
每個 Bucket 都可以設置其訪問權限:只讀、只寫、讀寫。權限設置后即使不登錄,也可以進行相應的操作。我們只需將 Bucket 設置為只讀權限,那該 Bucket 下所有文件便可以直接訪問,並且沒有時長限制!
點擊 Bucket 即可進行配置:
在彈出的對話框中,選擇 Read Only
只讀權限,然后點擊 Add
按鈕,即可完成配置。注意哦,第一個對話框中的訪問前綴需要配置成星號 *
,否則會無法訪問:
配置完成后,在瀏覽器直接輸入文件路徑,即可訪問:
集成 Spring Boot
圖形管理界面固然方便,不過有時候我們並不想讓用戶直接操作管理界面。比如我只想在項目中集成一個文件系統,只提供上傳、下載接口,這時我們便需要進行代碼編寫。
MinIO 幾乎提供了所有主流開發語言的 SDK ,Java 自然也不例外。
要使用 MinIO 的 SDK,得導入其依賴包。為了方便操作 I/O流,我們同時導入一個工具包:
<!-- MinIO SDK-->
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.0.3</version>
</dependency>
<!-- I/O工具包,方便I/O操作-->
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.7</version>
</dependency>
關於 MinIO 的一切操作都得通過 MinioClient
對象來進行,創建該對象的方式如下:
MinioClient minioClient = MinioClient.builder()
.endpoint("服務地址")
.credentials("賬號", "密碼")
.build();
然后通過該對象,指定 Bucket 即可進行相應的操作。比如判斷 Bucket 是否已存在:
boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket("Bucekt名稱").build());
在實際開發中,系統一旦運行,服務地址、賬號、密碼這些數據一般不會發生變化,甚至 Bucekt 也不會變更。既然如此,我們完全可以在應用啟動時將 MinioClient
對象配置好,整個系統共享一個對象即可,並且可以將常用方法封裝起來,以便調用。
首先,我們將服務地址這些數據放到 application.yml
配置文件中定義,避免硬編碼:
minio:
url: http://rudecrab.com:9000 # 服務地址
access: minioadmin # 賬號
secret: minioadmin # 密碼
bucket: file # Bucket
然后創建一個 MinioService
類,進行代碼封裝。以下代碼復制粘貼即可放在自己項目中使用:
@Service
public class MinioService {
Logger log = LoggerFactory.getLogger(MinioService.class);
private final String bucket;
private final MinioClient minioClient;
public MinioService(@Value("${minio.url}") String url,
@Value("${minio.access}") String access,
@Value("${minio.secret}") String secret,
@Value("${minio.bucket}") String bucket) throws Exception {
this.bucket = bucket;
minioClient = MinioClient.builder()
.endpoint(url)
.credentials(access, secret)
.build();
// 初始化Bucket
initBucket();
}
private void initBucket() throws Exception {
// 應用啟動時檢測Bucket是否存在
boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
// 如果Bucket不存在,則創建Bucket
if (!found) {
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
log.info("成功創建 Bucket [{}]", bucket);
}
}
/**
* 上傳文件
* @param is 輸入流
* @param object 對象(文件)名
* @param contentType 文件類型
*/
public void putObject(InputStream is, String object, String contentType) throws Exception {
long start = System.currentTimeMillis();
minioClient.putObject(PutObjectArgs.builder()
.bucket(bucket)
.object(object)
.contentType(contentType)
.stream(is, -1, 1024 * 1024 * 10) // 不得小於 5 Mib
.build());
log.info("成功上傳文件至雲端 [{}],耗時 [{} ms]", object, System.currentTimeMillis() - start);
}
/**
* 獲取文件流
* @param object 對象(文件)名
* @return 文件流
*/
public GetObjectResponse getObject(String object) throws Exception {
long start = System.currentTimeMillis();
GetObjectResponse response = minioClient.getObject(GetObjectArgs.builder()
.bucket(bucket)
.object(object)
.build());
log.info("成功獲取 Object [{}],耗時 [{} ms]", object, System.currentTimeMillis() - start);
return response;
}
/**
* 刪除對象(文件)
* @param object 對象(文件名)
*/
public void removeObject(String object) throws Exception {
minioClient.removeObject(RemoveObjectArgs.builder()
.bucket(bucket)
.object(object)
.build());
log.info("成功刪除 Object [{}]", object);
}
}
業務方法封裝好后,接口的編寫就很方便了。
上傳、下載、刪除接口的寫法如下:
@RestController
@RequestMapping("/file")
public class FileController {
@Autowired
private MinioService minioService;
// 上傳,上傳成功會返回文件名
@PostMapping
public String upload(MultipartFile file) throws Exception {
// 獲取文件后綴名
String extension = FilenameUtils.getExtension(file.getOriginalFilename());
// 為了避免文件名重復,使用UUID重命名文件,將橫杠去掉
String fileName = UUID.randomUUID().toString().replace("-", "") + "." + extension;
// 上傳
minioService.putObject(file.getInputStream(), fileName, file.getContentType());
// 返回文件名
return fileName;
}
// 根據文件名下載文件
@GetMapping("{fileName}")
public void download(HttpServletRequest request, HttpServletResponse response, @PathVariable("fileName") String fileName) throws Exception {
// 設置響應類型
response.setCharacterEncoding(request.getCharacterEncoding());
response.setContentType("application/octet-stream");
response.setHeader("Content-Disposition", "attachment; filename=" + fileName);
// 獲取文件流
GetObjectResponse objectResponse = minioService.getObject(fileName);
// 將文件流輸出到響應流
IOUtils.copy(objectResponse, response.getOutputStream());
// 結束
response.flushBuffer();
objectResponse.close();
}
// 根據文件名刪除文件
@DeleteMapping("{fileName}")
public String remove(@PathVariable("fileName") String fileName) throws Exception {
minioService.removeObject(fileName);
return "success";
}
}
編寫完接口,我們啟動項目,然后在 PostMan 測試一下:
文件成功上傳,並返回了文件名。在 MinIO 中也可以看到文件已經上傳成功:
我們復制文件名,再測試下載接口:
請求發送后,彈出下載框,證明下載接口沒有問題!
Java SDK 的介紹就到這了,其實 MinIO 還支持 JavaScript SDK,前端也可以直接調用,有興趣的可以在 MinIO 官網 https://min.io/ 進行了解。
開發中是前端直接調用 MinIO,還是通過后端調用,這個根據業務來定,都可以的。
收尾
上面的內容已經滿足絕大多數需求了,MinIO 還支持分布式部署,如果大家感興趣,螃蟹后續再出相關實踐。
所有代碼都已放在了 Github 上,克隆下來即可運行。倉庫中還有許多其他【項目實踐】哦,歡迎 star~
本文到這里就結束了,我是「RudeCrab」,一只粗魯的螃蟹,我們下篇文章再見。
關注「RudeCrab」微信公眾號,和螃蟹一起橫行霸道。