Linux本地數據上傳到阿里雲OSS


這篇文章主要是介紹如何將服務器本地的數據上傳到阿里雲OSS的指定bucket中,最重要的參考文檔是數據遷移單機部署。我第一次上傳數據到OSS上時,步驟要比前面的鏈接中介紹的要麻煩,ossimport工具還是v2.1,現在已經更新到了v2.2,而且阿里雲的工程師將很多步驟封裝了起來,因此流程簡化了不少,大家可以直接參考前面的文檔。我這份主要是針對linux服務器單機模式數據上傳的,Windows的請直接移步前方鏈接。

1. 環境配置和工具下載

第一步,要確保Linux本地已經有了Java 1.7及以上的運行環境。查看本機java版本,使用命令 java -version 即可。如果沒有,請去網上搜相應的安裝教程,有很多,這個不難;

第二步,請從ossimport-2.2.1.zip此鏈接處下載ossimport工具,使用wget命令即可。

下載到本地后,新建一個my_oss_work文件夾,再利用下述命令

unzip -o ossimport-2.2.1.zip -d my_oss_work

將壓縮文件解壓到my_oss_work文件夾,完畢。

2. ossimport的相關配置

這一步主要是配置local_job.cfg和sys.properties這兩個文件,它們都在上一步解壓的my_oss_work/conf文件夾下。

第一步,修改local_job.cfg文件:首先,一定不要修改local_job.cfg的名稱和位置,保持不動即可。然后利用vim打開該文件,更改如下設置

srcType=local     //因為是本地上傳,所以此處設置為local

srcPrefix=/home/my_name/my_data    //這里是你本地需要上傳的文件夾

destAccessKey=LTAI******bLeL     //這個是你阿里雲賬戶的access key,需要你去你的阿里雲賬戶上去找

destSecretKey=A3Ludf*********qbvEUz08DR  //這個是你阿里雲賬戶的secret key,也需要你去你自己的賬戶上去查找。access key 和secret key都是用來對你的身份進行驗證的,相當於你傳數據到阿里雲上時的鑰匙,這個鑰匙能唯一確定你的OSS

destDomain=http://oss-cn-beijing.aliyuncs.com  //這一步很重要,這是你的endpoint,是由你的實際OSS區域確定的。如果你購買了阿里雲ECS服務,且是將你ECS主機上的數據上傳到OSS,那么這里設置http://oss-cn-beijing-internal.aliyuncs.com;如果你不僅購買了ECS,還設置有VPC專有網絡,那么此處設置http://vpc100-oss-cn-beijing.aliyuncs.com;如果你是將自己的服務器(並不是阿里雲的ECS主機)比如你學院里的機房上的數據上傳到OSS,那么這里設置http://oss-cn-beijing.aliyuncs.com。這些信息都可以在你的OSS賬戶里面查到。endpoint中的beijing說明我購買的是OSS區域在華北,如果你的在杭州,那么就改為hangzhou。這些都是可以在你的賬戶里查到的。

destBucket=my_bucket  //這是你的OSS的bucket名,你要把數據傳到這個bucket上,注意,不要在bucket名字后面加斜線/

destPrefix=my_oss_data  //這是你的目標文件夾,你要講數據傳到上面指定的my_bucket的my_oss_data文件夾下,注意此處文件夾開頭不要加斜線/

jobName=local_test  //這是你的任務名稱,注意,此處不需要修改,保持不變即可!!ossimport v2.2單機模式要求這個名稱不能更改!!

除了上面幾個需要設置和注意以外,其它的都不需要動!保持不變即可!

第二步,修改sys.properties文件

workerMaxThroughput(KB/s)=0  //這是設置你的上傳速度上限,設置為0表示不限制。

注意,sys.properties中的配置項workingDir、workerUserName、workerPassword、privateKeyFile請不要修改!!保持不變即可!!

到此,ossimport的配置到此結束。

3. 運行ossimport和上傳數據

使用下述命令

cd my_oss_work

切換到剛才解壓的文件夾下,即與import.sh這個文件保持同級,你當前目錄下存在着一個叫做import.sh的文件。這個文件將數據上傳的操作封裝在了一起,你無須管它里面寫了什么,只要你前面local_job.cfg和sys_properties這兩個文件正確設置了,那么運行命令

bash import.sh

ossimport工具就會依據你之前的設定,將你本地/home/my_name/my_data文件夾下的所有數據上傳到你阿里雲OSS的my_bucket的my_oss_data文件夾下。整個過程持續的時間,取決於你文件的大小和數量。

上傳完畢之后,你就可以去你的OSS上去查看了。

4. 查看上傳數據的狀態

如果數據量很大,上傳需要花費很多時間,我們就可以選擇暫時斷開連接。斷開后,ossimport仍會繼續上傳數據。當我們再次登陸時,想看一下數據上傳的進度,這時就可以切換到my_oss_work文件夾下(也即ossimport的工作目錄下),執行下述命令

bash console.sh stat

如果數據仍在上傳,則會顯示出當前的工作狀態和正在運行的任務;如果已經上傳結束了,就會顯示 JobState:Succeed

5. 其他情況

上述是一鍵上傳,其實也可以逐步上傳,這個數據遷移單機部署這個鏈接處也有介紹,但是要麻煩很多,不建議新手去嘗試,直接采用上述一鍵上傳的步驟即可。是否上傳成功,取決於你在上面的每一步配置是否正確!



作者:余含軍
鏈接:https://www.jianshu.com/p/ab75de4cb1a6
來源:簡書
簡書著作權歸作者所有,任何形式的轉載都請聯系作者獲得授權並注明出處。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM