Spring Boot使用mongo的GridFS模塊

1. GridFS簡介

GridFS是Mongo的一個子模塊,使用GridFS可以基於MongoDB來持久存儲文件。並且支持分布式應用(文件分布存儲和讀取)。作為MongoDB中二進制數據存儲在數據庫中的解決方案，通常用來處理大文件，對於MongoDB的BSON格式的數據(文檔)存儲有尺寸限制，最大為16M。但是在實際系統開發中，上傳的圖片或者文件可能尺寸會很大，此時我們可以借用GridFS來輔助管理這些文件。

GridFS不是MongoDB自身特性，只是一種將大型文件存儲在MongoDB的文件規范，所有官方支持的驅動均實現了GridFS規范。GridFS制定大文件在數據庫中如何處理，通過開發語言驅動來完成、通過API接口來存儲檢索大文件。

2. GridFS使用場景

(1) 如果您的文件系統在一個目錄中存儲的文件的數量有限，你可以使用GridFS存儲盡可能多的文件。

(2) 當你想訪問大型文件的部分信息，卻不想加載整個文件到內存時，您可以使用GridFS存儲文件，並讀取文件部分信息，而不需要加載整個文件到內存。

(3) 當你想讓你的文件和元數據自動同步並部署在多個系統和設施，你可以使用GridFS實現分布式文件存儲。

3. GridFS存儲原理

GridFS使用兩個集合（collection）存儲文件。一個集合是chunks, 用於存儲文件內容的二進制數據；一個集合是files，用於存儲文件的元數據。

GridFS會將兩個集合放在一個普通的buket中，並且這兩個集合使用buket的名字作為前綴。MongoDB的GridFs默認使用fs命名的buket存放兩個文件集合。因此存儲文件的兩個集合分別會命名為集合fs.files ,集合fs.chunks。

當然也可以定義不同的buket名字，甚至在一個數據庫中定義多個bukets，但所有的集合的名字都不得超過mongoDB命名空間的限制。

MongoDB集合的命名包括了數據庫名字與集合名字，會將數據庫名與集合名通過“.”分隔(eg:<database>.<collection>)。而且命名的最大長度不得超過120bytes。

當把一個文件存儲到GridFS時，如果文件大於chunksize （每個chunk塊大小為256KB），會先將文件按照chunk的大小分割成多個chunk塊，最終將chunk塊的信息存儲在fs.chunks集合的多個文檔中。然后將文件信息存儲在fs.files集合的唯一一份文檔中。其中fs.chunks集合中多個文檔中的file_id字段對應fs.files集中文檔”_id”字段。

讀文件時，先根據查詢條件在files集合中找到對應的文檔，同時得到“_id”字段，再根據“_id”在chunks集合中查詢所有“files_id”等於“_id”的文檔。最后根據“n”字段順序讀取chunk的“data”字段數據，還原文件。

4. 存儲過程

fs.files 集合存儲文件的元數據，以類json格式文檔形式存儲。每在GridFS存儲一個文件，則會在fs.files集合中對應生成一個文檔。
fs.files集合中文檔的存儲內容如下：

fs.chunks 集合存儲文件文件內容的二進制數據，以類json格式文檔形式存儲。每在GridFS存儲一個文件，GridFS就會將文件內容按照chunksize大小（chunk容量為256k）分成多個文件塊，然后將文件塊按照類json格式存在.chunks集合中，每個文件塊對應fs.chunk集合中一個文檔。一個存儲文件會對應一到多個chunk文檔。
fs.chunks集合中文檔的存儲內容如下：

為了提高檢索速度 MongoDB為GridFS的兩個集合建立了索引。fs.files集合使用是“filename”與“uploadDate” 字段作為唯一、復合索引。fs.chunk集合使用的是“files_id”與“n”字段作為唯一、復合索引。

5. 注意事項

(1) GridFs不會自動處理md5值相同的文件，也就是說，同一個文件進行兩次put命令，將會在GridFS中對應兩個不同的存儲，對於存儲來說，這是一種浪費。對於md5相同的文件，如果想要在GridFS中只有一個存儲，需要通過API進行擴展處理。

(2) MongoDB 不會釋放已經占用的硬盤空間。即使刪除db中的集合 MongoDB也不會釋放磁盤空間。同樣，如果使用GridFS存儲文件，從GridFS存儲中刪除無用的垃圾文件，MongoDB依然不會釋放磁盤空間的。這會造成磁盤一直在消耗，而無法回收利用的問題。

如何釋放磁盤空間？

(1) 可以通過修復數據庫來回收磁盤空間，即在mongo shell中運行db.repairDatabase()命令或者db.runCommand({ repairDatabase: 1 })命令。（此命令執行比較慢）。

使用通過修復數據庫方法回收磁盤時需要注意，待修復磁盤的剩余空間必須大於等於存儲數據集占用空間加上2G，否則無法完成修復。因此使用GridFS大量存儲文件必須提前考慮設計磁盤回收方案，以解決mongoDB磁盤回收問題。

(2) 使用dump & restore方式，即先刪除mongoDB數據庫中需要清除的數據，然后使用mongodump備份數據庫。備份完成后，刪除MongoDB的數據庫，使用Mongorestore工具恢復備份數據到數據庫。

當使用db.repairDatabase()命令沒有足夠的磁盤剩余空間時，可以采用dump & restore方式回收磁盤資源。如果MongoDB是副本集模式，dump & restore方式可以做到對外持續服務，在不影響MongoDB正常使用下回收磁盤資源。

6. 代碼示例

代碼基於spring boot，主要實現GridFS的基本操作。

(1) application.properties配置如下：

spring.data.mongodb.uri=mongodb://localhost:27017/test

(2) Spring Boot的啟動函數

package com.ws;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

(3) Spring Boot的domain域，主要定義返回標識

package com.ws;

public class Response {
    private String name;

    public Response(String name) {
        this.name = name;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

}

(4) Spring Boot的Controller層，定義接口函數

package com.ws;

import com.mongodb.BasicDBObject;
import com.mongodb.DBObject;
import com.mongodb.gridfs.GridFSDBFile;
import org.apache.commons.io.IOUtils;
import org.apache.log4j.Logger;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.data.mongodb.gridfs.GridFsTemplate;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import java.io.IOException;
import java.io.InputStream;
import java.util.Date;
import java.util.List;
import java.util.UUID;

@RestController
@RequestMapping("/api")
public class GridFSApi {
    private static Logger LOGGER = Logger.getLogger(GridFSApi.class);
    @Autowired
    private GridFsTemplate gridFsTemplate;

    @RequestMapping(value = "/save", method = RequestMethod.POST, produces = MediaType.APPLICATION_JSON_VALUE)
    public Response save(@RequestParam(value = "file", required = true) MultipartFile file) {

        LOGGER.info("Saving file..");
        DBObject metaData = new BasicDBObject();
        metaData.put("createdDate", new Date());

        String fileName = UUID.randomUUID().toString();

        LOGGER.info("File Name: " + fileName);

        InputStream inputStream = null;
        try {
            inputStream = file.getInputStream();
            gridFsTemplate.store(inputStream, fileName, "image", metaData);
            LOGGER.info("File saved: " + fileName);
        } catch (IOException e) {
            LOGGER.error("IOException: " + e);
            throw new RuntimeException("System Exception while handling request");
        }
        LOGGER.info("File return: " + fileName);
        return new Response(fileName);
    }

    @RequestMapping(value = "/get", method = RequestMethod.GET, produces = MediaType.IMAGE_JPEG_VALUE)
    public byte[] get(@RequestParam(value = "fileName", required = true) String fileName) throws IOException {
        LOGGER.info("Getting file.." + fileName);
        List<GridFSDBFile> result = gridFsTemplate
                .find(new Query().addCriteria(Criteria.where("filename").is(fileName)));
        if (result == null || result.size() == 0) {
            LOGGER.info("File not found" + fileName);
            throw new RuntimeException("No file with name: " + fileName);
        }
        LOGGER.info("File found " + fileName);
        return IOUtils.toByteArray(result.get(0).getInputStream());
    }

    @RequestMapping(value = "/delete", method = RequestMethod.DELETE)
    public void delete(@RequestParam(value = "fileName", required = true) String fileName) {
        LOGGER.info("Deleting file.." + fileName);
        gridFsTemplate.delete(new Query().addCriteria(Criteria.where("filename").is(fileName)));
        LOGGER.info("File deleted " + fileName);
    }
}