文件存储服务器: FastDFS

文件存储方案FastDFS

1. FastDFS介绍

• 用c语言编写的一款开源的轻量级分布式文件系统。
• 功能包括：文件存储、文件访问（文件上传、文件下载）、文件同步等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
• 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。
• 可以帮助我们搭建一套高性能的文件服务器集群，并提供文件上传、下载等服务。

 

 

• FastDFS架构 包括Client、Tracker server和Storage server。
  • Client请求Tracker进行文件上传、下载，Tracker再调度Storage完成文件上传和下载。
• Client： 客户端，业务请求的发起方，通过专有接口，使用TCP/IP协议与Tracker或Storage进行数据交互。FastDFS提供了upload、download、delete等接口供客户端使用。
• Tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。
• Storage server：存储服务器（存储节点或数据服务器），文件和文件属性都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。
  • Storage群中的横向可以扩容，纵向可以备份。

 

 

2. FastDFS上传和下载流程

 

 

 

 

3. FastDFS文件索引

 

 

• FastDFS上传和下载流程 可以看出都涉及到一个数据叫文件索引（file_id）。
  • 文件索引（file_id）是客户端上传文件后Storage返回给客户端的一个字符串，是以后访问该文件的索引信息。
• 文件索引（file_id）信息包括：组名、虚拟磁盘路径、数据两级目录、文件名等信息。
  • 组名：文件上传后所在的 Storage 组名称。
  • 虚拟磁盘路径：Storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。
  • 数据两级目录：Storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
  • 文件名：由存储服务器根据特定信息生成，文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

 

 

 

二、FastDFS的安装

1、使用docker安装

1.获取FastDFS镜像

# 从仓库拉取镜像
$ sudo docker image pull delron/fastdfs
# 解压教学资料中本地镜像
$ sudo docker load -i 文件路径/fastdfs_docker.tar

 

2.开启tracker容器

• 我们将 tracker 运行目录映射到宿主机的 /var/fdfs/tracker目录中。

 

$ sudo docker run -dit --name tracker --network=host -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker

 

 

 

3.开启storage容器

• TRACKER_SERVER=Tracker的ip地址:22122（Tracker的ip地址不要使用127.0.0.1）
• 我们将 storage 运行目录映射到宿主机的 /var/fdfs/storage目录中。

$ sudo docker run -dti --name storage --network=host -e TRACKER_SERVER=192.168.103.158:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage

 

 

4.查看宿主机映射路径

 

 

 

 

 

 

注意：如果无法重启storage容器，可以删除/var/fdfs/storage/data目录下的fdfs_storaged.pid 文件，然后重新运行storage。

 

2. FastDFS客户端上传文件

• Python版本的FastDFS客户端使用参考文档

1.安装FastDFS客户端扩展

• 安装准备好的fdfs_client-py-master.zip到虚拟环境中

$ pip install fdfs_client-py-master.zip
$ pip install mutagen
$ pip isntall requests

 

2.准备FastDFS客户端扩展的配置文件

• meiduo_mall.utils.fastdfs.client.conf

 

base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行Tracker服务的机器ip:22122

3.FastDFS客户端实现文件存储

# 使用 shell 进入 Python交互环境
$ python manage.py shell

 

# 1. 导入FastDFS客户端扩展
from fdfs_client.client import Fdfs_client
# 2. 创建FastDFS客户端实例
client = Fdfs_client('meiduo_mall/utils/fastdfs/client.conf')
# 3. 调用FastDFS客户端上传文件方法
ret = client.upload_by_filename('/Users/zhangjie/Desktop/kk.jpeg')

 

ret = {
'Group name': 'group1',
'Remote file_id': 'group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg',
'Status': 'Upload successed.',
'Local file name': '/Users/zhangjie/Desktop/kk.jpeg',
'Uploaded size': '69.00KB',
'Storage IP': '192.168.103.158'
 }

 

ret = {
'Group name': 'Storage组名',
'Remote file_id': '文件索引，可用于下载',
'Status': '文件上传结果反馈',
'Local file name': '上传文件全路径',
'Uploaded size': '文件大小',
'Storage IP': 'Storage地址'
 }

 

 

 

 

3. 浏览器下载并渲染图片

思考：如何才能找到在Storage中存储的图片？

• 协议：
  • http
• IP地址：192.168.103.158
  • Nginx服务器的IP地址。
  • 因为 FastDFS 擅长存储静态文件，但是不擅长提供静态文件的下载服务，所以我们一般会将 Nginx 服务器绑定到 Storage ，提升下载性能。
• 端口：8888
  • Nginx服务器的端口。
• 路径：group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg
  • 文件在Storage上的文件索引。
• 完整图片下载地址
  • http://192.168.103.158:8888/group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg

编写测试代码：meiduo_mall.utils.fdfs_t.html

 

<img src="http://192.168.103.158:8888/group1/M00/00/00/wKhnnlxw_gmAcoWmAAEXU5wmjPs35.jpeg" width="320" height="480">