hdfs-over-ftp是一個開源,簡單易用的實現了對HDFS系統的下載和上傳功能的小工具。可以作為管理工具來使用,快捷方便。
1 安裝jdk(1.6以上版本)並配置環境變量
分別執行java -version和javac -version,若顯示版本正確,則說明安裝和配置成功
2 安裝hadoop,並將服務啟動並配置環境變量
執行hadoop version,若顯示正確版本號,說明安裝和配置成功
3 安裝maven(3.0.4)並配置環境變量
執行mvn --version,若顯示正確版本,說明安裝和配置成功
4 下載hdfs-over-ftp-master.tar.gz,地址 https://github.com/iponweb/hdfs-over-ftp
5 tar -zvxf hdfs-over-ftp-master.tar.gz
6 vi hdfs-over-ftp-master/src/main/resources/users.properties
7 將紅色字體的值設置成你想設置的密碼的MD5加密值,下面的密碼為123456的MD5加密值
ftpserver.user.firstuser.userpassword=e10adc3949ba59abbe56e057f20f883e
ftpserver.user.firstuser.homedirectory=/
ftpserver.user.firstuser.enableflag=true
ftpserver.user.firstuser.writepermission=true
ftpserver.user.firstuser.maxloginnumber=0
ftpserver.user.firstuser.maxloginperip=0
ftpserver.user.firstuser.idletime=0
ftpserver.user.firstuser.uploadrate=0
ftpserver.user.firstuser.downloadrate=0
ftpserver.user.firstuser.groups=firstuser,users
ftpserver.user.agladyshev.userpassword=e10adc3949ba59abbe56e057f20f883e
ftpserver.user.agladyshev.homedirectory=/
ftpserver.user.agladyshev.enableflag=true
ftpserver.user.agladyshev.writepermission=true
ftpserver.user.agladyshev.maxloginnumber=0
ftpserver.user.agladyshev.maxloginperip=0
ftpserver.user.agladyshev.idletime=0
ftpserver.user.agladyshev.uploadrate=0
ftpserver.user.agladyshev.downloadrate=0
ftpserver.user.agladyshev.groups=agladyshev,users
8 修改文件hdfs-over-ftp-master/src/main/resources/hdfs-over-ftp.properties的配置,紅色為修改后值
#uncomment this to run ftp server
port = 2222
data-ports = 2223
#uncomment this to run ssl ftp server
#ssl-port = 2226
#ssl-data-ports = 2227
# hdfs uri
hdfs-uri = hdfs://localhost:9000
# have to be a user which runs HDFS
# this allows you to start ftp server as a root to use 21 port
# and use hdfs as a superuser
superuser = agladyshev
9 修改文件hdfs-over-ftp-master/pom.xml的配置,紅色字體為修改部分,如果不修改的話可能在服務器運行時無法找到部分包
<dependency>
<groupId>org.apache.mina</groupId>
<artifactId>mina-core</artifactId>
<version>2.0.0-M2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
10 執行sh hdfs-over-ftp-master/hdfs-over-ftp.sh,下載所有的包后服務器將啟動(注意:安裝ftp服務的機器必須能連接外網)
11 如果顯示服務器已啟動,就可以任何ftp客戶端或命令登錄了
啟動服務器后,使用 ftp://localhost:2222 進入hdfs系統。根據小僧親測。。方便是很方便,但經常會有bug,比如有時會進入失敗,沒法登陸,或者下載和上傳無響應都需要重啟服務。因此工具還未夠穩定。