原文:JDFS:一款分布式文件管理系统,第三篇(流式云存储)

一 前言 看了一下,距离上一篇博客的发表已经过去了 个月,时间过得好快啊。本篇博客是JDFS系列的第三篇博客,JDFS的目的是为了实现一个分布式的文件管理系统,前两篇实现了基本的上传 下载功能,但是那还不能算作分布式文件管理。本篇博客将在前两篇的基础上增加一系列分布式的功能,比如流式云存储,就是客户端把本地的文件切分成若干片后,以冗余的方式存储到分布式数据结点上 所谓的流式传递读者可以在网上搜索一 ...

2017-09-25 22:59 6 834 推荐指数:

查看详情

JDFS:一款分布式文件管理系统,第五(整体架构描述)

一 前言   截止到目前为止,虽然并不完美,但是JDFS已经初步具备了完整的分布式文件管理功能了,包括:文件的冗余存储文件元信息的查询、文件的下载、文件的删除等。本文将对JDFS做一个总体的介绍,主要是介绍JDFS的整体架构,流程图等,另外还会介绍如何安装部署运行JDFS.当然正如前面几篇博客 ...

Sun Oct 08 03:25:00 CST 2017 1 1644
JDFS:一款分布式文件管理实用程序第一(线程池、epoll、上传、下载)

一 前言   截止目前,笔者在博客园上面已经发表了3关于网络下载的文章,这三博客实现了基于socket的http多线程远程断点下载实用程序。笔者打算在此基础上开发出一款分布式文件管理实用程序,截止目前,已经实现了 服务端/客户端 的上传、下载部分的功能逻辑。涉及到的知识点包括线程池技术 ...

Sat May 20 07:46:00 CST 2017 0 1646
ICE分布式文件管理系统——ICE环境搭建(其二)

上一博文,我们讲述了ICE这个中间件的基本认识。 接下来我们讲述开发环境搭建。 其过程主要分为三步:   安装GCC-4.4.6、安装ICE-3.4.2、安装QT-4.7.3。   (本 ...

Sat Nov 05 06:35:00 CST 2016 2 1138
HDFS(hadoop分布式文件管理系统)

HDFS结构 概述:是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上 pc server高容错性 :自动保存多个副本来增加容错性 如果某一个副本丢失,HDFS机制会复制其他机器上的副本,透明实现 ...

Mon Jan 28 20:51:00 CST 2019 0 1101
手把手教你用 FastDFS 构建分布式文件管理系统

说起分布式文件管理系统,大家可能很容易想到 HDFS、GFS 等系统,前者是 Hadoop 的一部分,后者则是 Google 提供的分布式文件管理系统。除了这些之外,国内淘宝和腾讯也有自己的分布式文件管理系统,都叫 TFS(Taobao File System 和 Tencent File ...

Sun Mar 01 19:58:00 CST 2020 1 1271
文件管理系统开源

一般10M以下的文件上传通过设置Web.Config,再用VS自带的FileUpload控件就可以了,但是如果要上传100M甚至1G的文件就不能这样上传了。我这里分享一下我自己开发的一套大文件上传控件供大家参考。 此控件PC全平台支持包括mac,linux系统文件上传,文章末尾将附上各种版本控件 ...

Mon Aug 05 22:16:00 CST 2019 0 2022
Java文件管理系统

上一个版本设计参照了 windows 资源管理器的原则,使用了多年。也发现了少许问题,也许是我们应用场景不一样... 目前的设计结合了目前的概念。目录采用的是虚拟方式和实际的目录无关,只是存在一定的逻辑关系。如图: 文件存储只与实际的用户的路径有关: 文件管理 ...

Thu Apr 13 17:48:00 CST 2017 1 12085
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM