cronicle 后端存儲是可配置的 ，通過使用不同的存儲配置，我們可以解決多實例部署以及數據共享的問題 cronicle 的后端存儲模型，設計的特別方便，包含了基於文件的，基於s3 的，同時我們也可以開發自己的 存儲引擎 以下是一個集成minio s3 部署單master ...

nginx 自己出了一個s3 的gateway ，原理上是基於njs 編寫的，同時利用了xsl 模塊功能上是一個不錯的選擇但是就是有點太弱了，而且s3 的兼容性是一個問題（不好說能兼容多少，需要測試） 主要的使用場景 可選認證 cache 壓縮 限速 說明 官方目前 ...

minio update meta info 更新minio S3對象存儲meta的實現方法 應用場景 對象存儲就不多作介紹了 亞馬遜，阿里雲，金山雲，都有相應的對象存儲服務 常見的方案有ceph,minio等 amazon S3 是事實上的標准，金山雲，minio都支持S3協議 通常 ...

文件上傳是我們日常中比較常見的問題，而且我們很多時候是要進行額外的處理的比如縮略圖，數據加工（數據分析類的應用），按照傳統的模式（本地數據盤，或者一些已知開源工具）是不能很好的支持變動處理的，對於此類情況，我們基於s3 gateway 的webhook 能力，可以方便的實現通知集成簡化系統處理 ...

minio 是一個aws s3 兼容的對象存儲系統，我們可以通過s3fs 進行數據桶的掛載，這樣可以做好多方便的事情 環境准備 使用docker-compose 運行 minio docker-compose 文件 安裝s ...

0 背景 通常我們使用tensorflow訪問的基本都是本地文件，亦或是給定hdfs路徑，讓其訪問hdfs文件，而新晉的minio可很好地生成s3兼容的api接口，從而讓tensorflow直接讀取minio建立的分布式文件系統。本文簡單基於單機minio形式講解如何從頭讓tensorflow ...

一. Minio S3介紹 Minio 是一個基於Apache License v2.0開源協議的對象存儲服務。它兼容亞馬遜S3雲存儲服務接口，非常適合於存儲大容量非結構化的數據，例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等，而一個對象文件可以是任意大小，從幾kb到最大5T不等 ...

Gateway library）和librados，允許應用程序與ceph對象存儲建立連接。RGW為應用程序 ...