python批量處理氣象站點降雨數據2——批量處理長時間序列的特定區域降水數據

1、將批量下載好的原始數據保存在data文件夾，數據如圖：，總共有196101-201612長達56年的長時間序列數據。

2、需要將原始的數據按照索引數據進行批量處理好可用的月降水數據。具體代碼如下：

3、運行結果列表如圖：

python對地理數據的處理非常實用，有強大的數據分析工具包。不過具體的實現代碼需要有一定的python編程知識，本文代碼的撰寫來自代碼開頭聲明的作者，轉載需要注明該作者的版權。其中涉及到python對excel數據的讀取和存儲的應用，主要學習網址如下：https://pandas.pydata.org/pandas-docs/version/0.23/?tdsourcetag=s_pctim_aiomsg 。該實驗操作具體代碼如下：

import os,sys
import numpy as np
import pandas as pd
import csv
def txt_to_array(values):
    return np.array([[i for i in filter(None,data[0].split(' '))] for data in values])

def csv_write(path,data,index_array):
    df=open(path,'w',newline='')
    csv_writer=csv.writer(df)
    header=['id','row','col','x','y','values']
    csv_writer.writerow(header)
    for item in index_array:
        item[-1]=data[int(item[1]),int(item[2])]
        csv_writer.writerow(item)
    df.close()



if __name__=="__main__":

    # 研究區域位置索引文件，用arcgis處理得到，如果該文件和該運行文件在同一目錄，可以直接用文件名
    #index_filename=r'index.txt'
    index_filename=r'E:\rainfull\index.txt' #某地理位置區域的地理索引數據
    #降雨數據所在的--目錄（dir）
    rainfull_dir=r'E:\rainfull\data'#批量下載好的氣象數據網中的插值站點數據
    #處理結果存放目錄
    out_path=r'E:\rainfull\TRHrainfull40'
    #最后的數據格式文件
    out_file=r'E:\rainfull\TRHrainfull40\datahebing.txt'#將處理得到的每年的所有站點數據合並的文件


    if os.path.exists(out_path)==False:
        os.makedirs(out_path)
    index_array=pd.read_csv(index_filename,header=0)
    columns=index_array.columns.tolist()
    row_index=columns.index('row')
    index_array=index_array.values[:,(row_index-1):]
    files=os.listdir(rainfull_dir)
    for rainfull_filename in files:
        (filename,extension)=os.path.splitext(rainfull_filename)
        if extension=='.txt':
            print(filename)
            rainfull_path=os.path.join(rainfull_dir,rainfull_filename)
            rainfull_array=pd.read_csv(rainfull_path,header=list(range(6)))
            rainfull_array=rainfull_array.values
            rainfull_array=txt_to_array(rainfull_array)
            csv_write(os.path.join(out_path,filename+'.csv'),rainfull_array,index_array)
    csv_file_list=os.listdir(out_path)
    year_dict={}
    site_count=0
    for file in csv_file_list:
        (filename,extension)=os.path.splitext(file)
        if extension=='.csv':
            year_mouth=filename.split('-')[-1]
            file_path=os.path.join(out_path,file)
            data=pd.read_csv(file_path,header=0)
            data=data.values
            data=data[:,-1].T
            site_count=len(data)
            year_dict[year_mouth]=data
    with open(out_file,'w') as df:
        df.write('Year,Mouth,')
        for i in range(site_count):
            df.write("site_"+str(i))
        df.write('\n')

        for key,value in year_dict.items():
            year=key[0:4]
            mouth=key[4:]
            df.write(year+","+mouth+",")
            value=','.join([str(i) for i in value.tolist()])
            df.write(value)
            df.write('\n')