使用python依次讀取文件中的所有csv格式的數據

使用python依次讀取文件中的所有csv格式的數據：

#coding=gbk import pandas as pd import os path = r'D:\ml_datasets\PHM\c6' def get_file(): #創建一個空列表 files =os.listdir(path) files.sort() #排序 list= [] for file in files: if not os.path.isdir(path +file): #判斷該文件是否是一個文件夾 f_name = str(file) # print(f_name) tr = '\\' #多增加一個斜杠 filename = path + tr + f_name list.append(filename) return list list = get_file() print('\\') print(list[:6]) data = pd.read_csv(list[2]) print(data.head())

接下里就可以對 list 進行循環讀取每個文件了。

輸出為：

#輸出為： # \ # ['D:\\ml_datasets\\PHM\\c6\\c_6_001.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_002.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_003.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_004.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_005.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_006.csv'] # -0.031 -1.071 0.361 -0.113 -0.124 -0.132 -0.005 # 0 0.030 -0.995 0.354 0.098 0.071 0.088 -0.005 # 1 0.141 -0.903 0.422 -0.040 -0.078 -0.059 -0.005 # 2 0.223 -0.822 0.419 -0.153 -0.161 -0.172 -0.004 # 3 0.354 -0.699 0.461 0.045 0.039 0.035 -0.005 # 4 0.408 -0.606 0.444 -0.031 -0.047 -0.035 -0.005

對於一些文件名為數字開頭的，可能不會依次輸出每個文件，可以使用sort() 方法：

path = 'D:\ml_datasets\PHM\c6_new_train' path_list=os.listdir(path) for filename in path_list: print(os.path.join(path,filename)) # D:\ml_datasets\PHM\c6_new_train\1.csv # D:\ml_datasets\PHM\c6_new_train\12.csv # D:\ml_datasets\PHM\c6_new_train\121.csv # D:\ml_datasets\PHM\c6_new_train\123.csv # D:\ml_datasets\PHM\c6_new_train\2.csv # D:\ml_datasets\PHM\c6_new_train\3.csv # D:\ml_datasets\PHM\c6_new_train\4.csv # D:\ml_datasets\PHM\c6_new_train\6.csv path_list.sort(key=lambda x:int(x[:-4])) #對讀取的路徑進行排序 for filename in path_list: print(os.path.join(path,filename)) # D:\ml_datasets\PHM\c6_new_train\1.csv # D:\ml_datasets\PHM\c6_new_train\2.csv # D:\ml_datasets\PHM\c6_new_train\3.csv # D:\ml_datasets\PHM\c6_new_train\4.csv # D:\ml_datasets\PHM\c6_new_train\6.csv # D:\ml_datasets\PHM\c6_new_train\12.csv # D:\ml_datasets\PHM\c6_new_train\121.csv # D:\ml_datasets\PHM\c6_new_train\123.csv 

python文件和目錄操作方法：

#coding=gbk ''' Created on 2018年12月1日 @author: Administrator ''' #python 文件和目錄操作方法 import os # 1.得到當前工作目錄，即當前Python腳本工作的目錄路徑: os.getcwd() # 2.返回指定目錄下的所有文件和目錄名:os.listdir() # 3.函數用來刪除一個文件:os.remove() # 4.刪除多個目錄：os.removedirs（r“c：\python”） # 5.檢驗給出的路徑是否是一個文件：os.path.isfile() # 6.檢驗給出的路徑是否是一個目錄：os.path.isdir() # 7.判斷是否是絕對路徑：os.path.isabs() # 8.檢驗給出的路徑是否真地存:os.path.exists() # 9.返回一個路徑的目錄名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 結果：('/home/swaroop/byte/code', 'poem.txt') # 10.分離擴展名：os.path.splitext() file_name = r'D:\liteide' print(os.getcwd()) # 獲取當前工作目錄 print(os.listdir(file_name)) # 返回指定目錄下的所有文件和目錄名, ['bin', 'CONTRIBUTORS', 'LGPL_EXCEPTION.TXT', 'lib', 'LICENSE.LGPL', 'README.md', 'share', 'test_remove.txt'] # os.remove(r'D:\liteide\test_remove.txt') #刪除指定文件 # print(os.listdir(path)) print(os.path.isfile(file_name)) # False print(os.path.isdir(file_name)) #True 是一個目錄 print(os.path.isabs(file_name)) #True 絕對路徑 # 9.返回一個路徑的目錄名和文件名:os.path.split() print(os.path.split(r'D:\liteide\LGPL_EXCEPTION.TXT')) # ('D:\\liteide', 'LGPL_EXCEPTION.TXT') print(os.path.splitext(r'D:\liteide\LGPL_EXCEPTION.TXT')) #('D:\\liteide\\LGPL_EXCEPTION', '.TXT') # 11.獲取路徑名：os.path.dirname() print(os.path.dirname(file_name)) # D:\ # 12.獲取文件名：os.path.basename() print(os.path.basename(file_name)) # liteide # 13.運行shell命令: os.system() print(os.system('cd D:\python1')) #0,返回0 ，表示可以使用 # 14.讀取和設置環境變量:os.getenv() 與os.putenv() # 15.給出當前平台使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r' print(os.linesep) # 16.指示你正在使用的平台：os.name 對於Windows，它是'nt'，而對於Linux/Unix用戶，它是'posix' print(os.name) #nt # 17.重命名：os.rename（old， new） # print(os.rename(r'D:\liteide\old_name', r'D:\liteide\new_name')) #修改文件夾的名字 # 18.創建多級目錄：os.makedirs（r“c：\python\test”） # print(os.makedirs(r'D:\liteide\hello_makedirs')) #創建了一個文件夾 # 19.創建單個目錄：os.mkdir（“test”） # print(os.mkdir(r'D:\liteide\hah')) # 20.獲取文件屬性：os.stat（file） print(os.stat(file_name)) # 21.修改文件權限與時間戳：os.chmod（file） # 22.終止當前進程：os.exit（） # 23.獲取文件大小：os.path.getsize（filename） print(os.path.getsize(file_name)) # 4096

---

​

 

2.文件操作

def test_file(): file=r'D:\liteide\test.txt' with open(file, mode='r+', encoding='utf-8') as f: for line in f.readlines(200): #還可以設置讀取的大小 print(line) f.writelines('append somthing') f.flush()

w：以寫方式打開，
a：以追加模式打開 (從 EOF 開始, 必要時創建新文件)
r+：以讀寫模式打開
w+：以讀寫模式打開 (參見 w )
a+：以讀寫模式打開 (參見 a )
rb：以二進制讀模式打開
wb：以二進制寫模式打開 (參見 w )
ab：以二進制追加模式打開 (參見 a )
rb+：以二進制讀寫模式打開 (參見 r+ )
wb+：以二進制讀寫模式打開 (參見 w+ )
ab+：以二進制讀寫模式打開 (參見 a+ )

 

fp.read([size])                     #size為讀取的長度，以byte為單位
fp.readline([size])                 #讀一行，如果定義了size，有可能返回的只是一行的一部分
fp.readlines([size])                #把文件每一行作為一個list的一個成員，並返回這個list。其實它的內部是通過循環調用readline()來實現的。如果提供size參數，size是表示讀取內容的總長，也就是說可能只讀到文件的一部分。
fp.write(str)                       #把str寫到文件中，write()並不會在str后加上一個換行符
fp.writelines(seq)                  #把seq的內容全部寫到文件中(多行一次性寫入)。這個函數也只是忠實地寫入，不會在每行后面加上任何東西。
fp.close()                          #關閉文件。python會在一個文件不用后自動關閉文件，不過這一功能沒有保證，最好還是養成自己關閉的習慣。  如果一個文件在關閉后還對其進行操作會產生ValueError
fp.flush()                          #把緩沖區的內容寫入硬盤
fp.fileno()                         #返回一個長整型的”文件標簽“
fp.isatty()                         #文件是否是一個終端設備文件（unix系統中的）
fp.tell()                           #返回文件操作標記的當前位置，以文件的開頭為原點
fp.next()                           #返回下一行，並將文件操作標記位移到下一行。把一個file用於for … in file這樣的語句時，就是調用next()函數來實現遍歷的。
fp.seek(offset[,whence])            #將文件打操作標記移到offset的位置。這個offset一般是相對於文件的開頭來計算的，一般為正數。但如果提供了whence參數就不一定了，whence可以為0表示從頭開始計算，1表示以當前位置為原點計算。2表示以文件末尾為原點進行計算。需要注意，如果文件以a或a+的模式打開，每次進行寫操作時，文件操作標記會自動返回到文件末尾。
fp.truncate([size])                 #把文件裁成規定的大小，默認的是裁到當前文件操作標記的位置。如果size比文件的大小還要大，依據系統的不同可能是不改變文件，也可能是用0把文件補到相應的大小，也可能是以一些隨機的內容加上去。

3.目錄操作方法

import shutil # 目錄操作方法 # 1.創建目錄 # os.mkdir("file") # os.mkdir(r'D:\liteide\mkdir_file') # 2.復制文件： # shutil.copyfile("oldfile","newfile") #oldfile和newfile都只能是文件 # shutil.copy("oldfile","newfile") #oldfile只能是文件夾，newfile可以是文件，也可以是目標目錄 # 3.復制文件夾： # 4.shutil.copytree("olddir","newdir") #olddir和newdir都只能是目錄，且newdir必須不存在 # 5.重命名文件（目錄） # os.rename("oldname","newname") #文件或目錄都是使用這條命令 # 6.移動文件（目錄） # shutil.move("oldpos","newpos") # 7.刪除文件 # os.remove("file") # 8.刪除目錄 # os.rmdir("dir") #只能刪除空目錄 # shutil.rmtree("dir") #空目錄、有內容的目錄都可以刪 # shutil.rmtree(r'D:\liteide\mkdir_file') # shutil.rmtree(r'D:\liteide\hello_makedirs') # 9.轉換目錄 # os.chdir("path") #換路徑 s = ['h', 'j', 'k'] t = '.'.join(s) print(t) # h.j.k print(t.split('.')) # ['h', 'j', 'k']