用urllib下載遠程文件並轉存到hdfs服務器,在下載時,下載地址中不一定包含文件名,需要從連接信息中獲取。
1 file_url = request.form.get('file_url')
2 fo = urllib.urlopen(file_url) 3 blob = fo.read() 4 file_size = len(blob) 5 if fo.info().has_key('Content-Disposition'): 6 file_name = fo.info()['Content-Disposition'].split('filename=')[1] 7 file_name = file_name.replace('"', '').replace("'", "") 8 print '-in header' 9 else: 10 file_name= os.path.basename(file_url) 11 12 file_ext = get_file_ext(file_name.lower()) 13 remark = request.form.get("remark", '') 14 # 存儲到hdfs