樹莓派ZeroW上傳數據文件到阿里雲對象存儲OSS（Python）

>> [目錄] 數據遠程采集 Step by Step

樹莓派型號：Zero W

樹莓派系統：Raspbian，2018-11-13-raspbian-stretch-lite.img

SD卡：閃迪32G class10 高速Micro SD卡（TF卡）

存儲工具：阿里雲->對象存儲

---

阿里雲的SDK文檔（有各種語言的版本，這里選的是Python），提供了上傳數據的樣例程序：

https://help.aliyun.com/document_detail/32027.html?spm=a2c4g.11186623.2.24.5c741c62a5XKqp#concept-32027-zh

# -*- coding: utf-8 -*-
import oss2

# 阿里雲主賬號AccessKey擁有所有API的訪問權限，風險很高。強烈建議您創建並使用RAM賬號進行API訪問或日常運維，請登錄 https://ram.console.aliyun.com 創建RAM賬號。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州為例，其它Region請按實際情況填寫。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

# <yourObjectName>上傳文件到OSS時需要指定包含文件后綴在內的完整路徑，例如abc/efg/123.jpg。
# <yourLocalFile>由本地文件路徑加文件名包括后綴組成，例如/users/local/myfile.txt。
bucket.put_object_from_file('<yourObjectName>', '<yourLocalFile>')

功能需求

---

間隔一段時間掃描一次<待上傳>目錄，如果該目錄下有數據文件，就將第一個文件上傳到對象存儲指定bucket（考慮到以后會有幾十台數據采集裝置，為了便於管理，每個裝置在bucket上有一個專屬的二級子目錄），上傳成功后將這個文件移動到<已上傳>目錄下。

環境准備

---

手動創建兩個工作目錄，分別用於存放<待上傳>和<已上傳>的數據文件：

mkdir -p ~/project/data/updating

mkdir -p ~/project/data/updated

updating目錄下用touch指令創建一個測試文件test.db：

pi@raspberrypi:~ $ cd ~/project/data/updating

pi@raspberrypi:~/project/data/updating $ touch test.db

程序文件

---

切換到主目錄下，創建test_upload.py文件，復制內容進去，保存退出

注意：<yourAccessKeyId>、<yourAccessKeySecret>、<yourBucketName>要改成自己的

pi@raspberrypi:~/project/data/updating $ cd ~

pi@raspberrypi:~ $ sudo nano test_upload.py

# -*- coding: utf-8 -*-
import os
import time
import shutil
import oss2
import ConfigParser

PRODUCT_TYPE = 'NULL'
DEVICE_ID = 999 #default

#----
def UploadFile_oss2(localfile):
  global PRODUCT_TYPE
  global DEVICE_ID

  access_key = '<yourAccessKeyId>'
  secret_key = '<yourAccessKeySecret>'

  try:
    auth = oss2.Auth(access_key, secret_key)
    bucket = oss2.Bucket(auth, 'oss-cn-beijing.aliyuncs.com', '<yourBucketName>')

    # 文件是否存在
    print '>> uploading local file: ' + localfile
    if False == os.path.exists(localfile):
      print '>> local file not exist: ' + localfile
      return False

    # 根據產品類型、樹莓派編號，生成二級目錄
    objectname = PRODUCT_TYPE + '_' + str(DEVICE_ID).rjust(3,'0') \
                 + '/' + os.path.basename(localfile)
    print '>> upload result...'
    result = bucket.put_object_from_file(objectname, localfile)

    print result

    # result.status 200 表示上傳成功
    if result.status == 200:
      return True
    else:
      return False
  except:
    return False

#----
def UploadFile(localfile):
  return UploadFile_oss2(localfile)

#----
def main():
  global PRODUCT_TYPE
  global DEVICE_ID

  DB_UPDATING_DIR = '/home/pi/project/data/updating/'
  DB_UPDATED_DIR  = '/home/pi/project/data/updated/'
  CONFIG_FILE     = '/home/pi/project/config.ini'
  file_path       = ''

  # time.sleep(10)
  # 讀取產品類型、樹莓派編號
  GetDeviceInfo(CONFIG_FILE)

  print '>> uploading scheduler start...'
  while True:
    filelist = os.listdir(DB_UPDATING_DIR)
    if len(filelist) > 0:
      # 獲得<待上傳>文件夾下的第一個數據文件
      file_path = os.path.join(DB_UPDATING_DIR, filelist[0])
      if os.path.exists(file_path):
        print '>> file need upload: ' + file_path
        if True == UploadFile(file_path):
          # 上傳成功，將數據文件放到<已上傳>文件夾中
          MoveFile(file_path, DB_UPDATED_DIR)
          print '>> upload succeed: '+ file_path

    # 每隔一段時間掃描一次<待上傳>文件夾（每小時生成一個新的數據文件）
    time.sleep(30)

#----
def GetDeviceInfo(file_path):
  global PRODUCT_TYPE
  global DEVICE_ID

  # 讀取配置信息
  PRODUCT_TYPE = 'NULL'
  DEVICE_ID = 999
  '''
  try:
    config = ConfigParser.ConfigParser()
    config.read(file_path)
    if "device" in config.sections():
      PRODUCT_TYPE = config.get("device", "type")
      DEVICE_ID    = config.getint("device", "id")
  except:
    # 配置文件加載異常，使用默認參數：產品類型NULL 樹莓派編號999
    PRODUCT_TYPE = 'NULL'
    DEVICE_ID = 999
  '''

#----
def MoveFile(src_file_path, dst_folder_path):
  try:
    if not os.path.exists(dst_folder_path):
      os.mkdir(dst_folder_path)
    shutil.move(src_file_path, dst_folder_path)
  except:
    return

#----
if __name__ == '__main__':
  main()

>> def UploadFile_oss2(localfile):

這個函數把本地文件上傳到阿里雲對象存儲的buckek空間。

基本是按照官方提供的樣例程序寫的，加了一些防止異常的冗余代碼。

上傳時使用二次子目錄，直接在objectname加上目錄就可以了 ：

objectname = 'NULL_999/' + os.path.basename(localfile)

上傳結果result.status為200表示上傳成功。

>> def UploadFile(localfile):

調用UploadFile_oss2，隔離一下，萬一要改成其他雲。

>> def GetDeviceInfo(file_path):

獲取設備信息：產品信號、設備編號，每個設備根據這個信息，可以在bucket空間上創建專屬的二級子目錄，便於管理數據。

這些設置信息保存在一個配置文件中，用ConfigParser庫進行訪問，為了簡化操作現在這段代碼暫時注釋掉了，直接使用默認的設備信息。

>> def MoveFile(src_file_path, dst_folder_path):

文件上傳成功后，從<待上傳>移動到<已上傳>。

如果目標目錄不存在，使用os庫創建該目錄；使用shutil庫進行文件移動操作。

>> def main():

間隔一段時間掃描一次<待上傳>目錄，上傳該目錄下的第一個文件。

filelist = os.listdir(DB_UPDATING_DIR)，獲得該目錄下的文件清單

os.path.join(DB_UPDATING_DIR, filelist[0])，獲得第一個文件的路徑

運行測試

---

運行test_upload.py，顯示數據上傳成功

pi@raspberrypi:~ $ python test_upload.py

切換到updated目錄下，文件已經移動過來了

pi@raspberrypi:~ $ cd ~/project/data/updated

pi@raspberrypi:~/project/data/updated $ ls

打開阿里雲app，管控->文件管理->xxxx_bucket_name，多了一個NULL_999的二級目錄，進入該目錄，test.db文件已經上傳成功了。