原文地址： https://www.cnblogs.com/xinchrome/p/5011304.html
文件操作對編程語言的重要性不用多說，如果數據不能持久保存，信息技術也就失去了意義。按照本人經驗，IO也是蠻頭疼的一件事，因為不會用得太多，所以總是記不住API，每次都要重新google就會打斷思路，還不一定每次都快速得到正確的文章。
本文內容包括：
文件的讀寫操作
文件的各種系統操作
存儲對象
遍歷文件
上代碼：
import os
import os.path
rootdir = "d:/code/su/data" # 指明被遍歷的文件夾
for parent,dirnames,filenames in os.walk(rootdir): #三個參數：分別返回1.父目錄 2.所有文件夾名字（不含路徑） 3.所有文件名字
for dirname in dirnames: #輸出文件夾信息
print "parent is:" + parent
print "dirname is" + dirname
for filename in filenames: #輸出文件信息
print "parent is:" + parent
print "filename is:" + filename
print "the full name of the file is:" + os.path.join(parent,filename) #輸出文件路徑信息
按照博主的理解，每個元組代表的含義是線程處於某一個狀態的影像。目錄樹的遍歷過程就是由這一個一個的狀態構成的。在每個狀態下， 線程獲得一個目錄節點，同時獲得這個目錄節點下的所有目錄節點和文件節點。
如果只需要獲得單個目錄節點的子節點：
os.listdir(rootdir)
基於字符read & write
最基本的文件操作當然就是在文件中讀寫數據。這也是很容易掌握的。現在打開一個文件以進行寫操作：
1. fileHandle = open ( 'test.txt', 'w' )
fileHandle = open ( 'test.txt', 'w' )
‘w'是指文件將被寫入數據，語句的其它部分很好理解。下一步就是將數據寫入文件：
1. fileHandle.write ( 'This is a test.\nReally, it is.' )
fileHandle.write ( 'This is a test.\nReally, it is.' )
這個語句將“This is a test.”寫入文件的第一行，“Really, it is.”寫入文件的第二行。最后，我們需要做清理工作，並且關閉文件：
1. fileHandle.close()
fileHandle.close()
正如你所見，在Python的面向對象機制下，這確實非常簡單。需要注意的是，當你再次使用“w”方式在文件中寫數據，所有原來的內容都會被刪除。如果想保留原來的內容，可以使用“a”方式在文件中結尾附加數據：
1. fileHandle = open ( 'test.txt', 'a' )
2. fileHandle.write ( '\n\nBottom line.' )
3. fileHandle.close()
fileHandle = open ( 'test.txt', 'a' )
fileHandle.write ( '\n\nBottom line.' )
fileHandle.close()
然后，我們讀取test.txt，並將內容顯示出來：
1. fileHandle = open ( 'test.txt' )
2. print fileHandle.read()
3. fileHandle.close()
fileHandle = open ( 'test.txt' )
print fileHandle.read()
fileHandle.close()
以上語句將讀取整個文件並顯示其中的數據。
基於行的讀寫 line
1. fileHandle = open ( 'test.txt' )
2. print fileHandle.readline() # "This is a test."
3. fileHandle.close()
fileHandle = open ( 'test.txt' )
print fileHandle.readline() # "This is a test."
fileHandle.close()
同時，也可以將文件內容保存到一個list中：
1. fileHandle = open ( 'test.txt' )
2. fileList = fileHandle.readlines()
3. for fileLine in fileList:
4. print '>>', fileLine
5. fileHandle.close()
fileHandle = open ( 'test.txt' )
fileList = fileHandle.readlines()
for fileLine in fileList:
print '>>', fileLine
fileHandle.close()
或者在文件中一次讀取幾個字節的內容：
1. fileHandle = open ( 'test.txt' )
2. print fileHandle.read ( 1 ) # "T"
3. fileHandle.seek ( 4 )
4. print FileHandle.read ( 1 ) # " "(原文有錯)
fileHandle = open ( 'test.txt' )
print fileHandle.read ( 1 ) # "T"
fileHandle.seek ( 4 )
print FileHandle.read ( 1 ) # " "(原文有錯)
隨機訪問文件中的位置 seek
Python在讀取一個文件時，會記住其在文件中的位置，如下所示：
1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.readline() # "Really, it is."fileHandle.close()
fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.readline() # "Really, it is."fileHandle.close()
可以看到，只有第二行顯示出來。然而，我們可以讓Python從頭開始讀來解決這個問題：
1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.seek ( 0 )
4. print fileHandle.readline() # "This is a test."
5. fileHandle.close()
fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.seek ( 0 )
print fileHandle.readline() # "This is a test."
fileHandle.close()
在上面這個例子中，我們讓Python從文件第一個字節開始讀取數據。所以，第一行文字顯示了出來。當然，我們也可以獲取Python在文件中的位置：
1. fileHandle = open ( 'test.txt' )
2. print fileHandle.readline() # "This is a test."
3. print fileHandle.tell() # "17"
4. print fileHandle.readline() # "Really, it is."
fileHandle = open ( 'test.txt' )
print fileHandle.readline() # "This is a test."
print fileHandle.tell() # "17"
print fileHandle.readline() # "Really, it is."
二進制方式讀寫
在Windows和Macintosh環境下，有時可能需要以二進制方式讀寫文件，比如圖片和可執行文件。此時，只要在打開文件的方式參數中增加一個“b”即可：
1. fileHandle = open ( 'testBinary.txt', 'wb' )
2. fileHandle.write ( 'There is no spoon.' )
3. fileHandle.close()
fileHandle = open ( 'testBinary.txt', 'wb' )
fileHandle.write ( 'There is no spoon.' )
fileHandle.close()
1. fileHandle = open ( 'testBinary.txt', 'rb' )
2. print fileHandle.read()
3. fileHandle.close()
fileHandle = open ( 'testBinary.txt', 'rb' )
print fileHandle.read()
fileHandle.close()
python本身並沒有對二進制進行支持，不過提供了一個模塊來彌補，就是struct模塊。
python沒有二進制類型，但可以存儲二進制類型的數據，就是用string字符串類型來存儲二進制數據，這也沒關系，因為string是以1個字節為單位的。
import struct
a=12.34
#將a變為二進制
bytes=struct.pack('i',a)
此時bytes就是一個string字符串，字符串按字節同a的二進制存儲內容相同。
再進行反操作
現有二進制數據bytes，（其實就是字符串），將它反過來轉換成python的數據類型：
a,=struct.unpack('i',bytes)
注意，unpack返回的是tuple
所以如果只有一個變量的話：
bytes=struct.pack('i',a)
那么，解碼的時候需要這樣
a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)
如果直接用a=struct.unpack('i',bytes)，那么 a=(12.34,) ，是一個tuple而不是原來的浮點數了。
如果是由多個數據構成的，可以這樣：
a='hello'
b='world!'
c=2
d=45.123
bytes=struct.pack('5s6sif',a,b,c,d)
此時的bytes就是二進制形式的數據了，可以直接寫入文件比如 binfile.write(bytes)
然后，當我們需要時可以再讀出來，bytes=binfile.read()
再通過struct.unpack()解碼成python變量
a,b,c,d=struct.unpack('5s6sif',bytes)
'5s6sif'這個叫做fmt，就是格式化字符串，由數字加字符構成，5s表示占5個字符的字符串，2i，表示2個整數等等，下面是可用的字符及類型，ctype表示可以與python中的類型一一對應。
===============================================================================================
各種系統操作
注意：雖然python中提供了各種拼接目錄的函數，但是經本人實驗，函數並不能保證字符編碼不出問題，很大可能導致程序錯誤。所以最好還是自己拼接。
python中對文件、文件夾（文件操作函數）的操作需要涉及到os模塊和shutil模塊。
得到當前工作目錄，即當前Python腳本工作的目錄路徑: os.getcwd()
返回指定目錄下的所有文件和目錄名:os.listdir()
函數用來刪除一個文件:os.remove()
刪除多個目錄：os.removedirs（r“c：\python”）
檢驗給出的路徑是否是一個文件：os.path.isfile()
檢驗給出的路徑是否是一個目錄：os.path.isdir()
判斷是否是絕對路徑：os.path.isabs()
檢查是否快捷方式os.path.islink ( filename )
檢驗給出的路徑是否真地存:os.path.exists()
返回一個路徑的目錄名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 結果：('/home/swaroop/byte/code', 'poem.txt')
分離擴展名：os.path.splitext()
獲取路徑名：os.path.dirname()
獲取文件名：os.path.basename()
運行shell命令: os.system()
讀取和設置環境變量:os.getenv() 與os.putenv()
給出當前平台使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
指示你正在使用的平台：os.name 對於Windows，它是'nt'，而對於Linux/Unix用戶，它是'posix'
重命名：os.rename（old， new）
創建多級目錄：os.makedirs（r“c：\python\test”）
創建單個目錄：os.mkdir（“test”）
獲取文件屬性：os.stat（file）
修改文件權限與時間戳：os.chmod（file）
終止當前進程：os.exit（）
獲取文件大小：os.path.getsize（filename）
文件操作：
os.mknod("test.txt") 創建空文件
fp = open("test.txt",w) 直接打開一個文件，如果文件不存在則創建文件
關於open 模式：
w 以寫方式打開，
a 以追加模式打開 (從 EOF 開始, 必要時創建新文件)
r+ 以讀寫模式打開
w+ 以讀寫模式打開 (參見 w )
a+ 以讀寫模式打開 (參見 a )
rb 以二進制讀模式打開
wb 以二進制寫模式打開 (參見 w )
ab 以二進制追加模式打開 (參見 a )
rb+ 以二進制讀寫模式打開 (參見 r+ )
wb+ 以二進制讀寫模式打開 (參見 w+ )
ab+ 以二進制讀寫模式打開 (參見 a+ )
fp.read([size]) #size為讀取的長度，以byte為單位
fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分
fp.readlines([size]) #把文件每一行作為一個list的一個成員，並返回這個list。其實它的內部是通過循環調用readline()來實現的。如果提供size參數，size是表示讀取內容的總長，也就是說可能只讀到文件的一部分。
fp.write(str) #把str寫到文件中，write()並不會在str后加上一個換行符
fp.writelines(seq) #把seq的內容全部寫到文件中(多行一次性寫入)。這個函數也只是忠實地寫入，不會在每行后面加上任何東西。
fp.close() #關閉文件。python會在一個文件不用后自動關閉文件，不過這一功能沒有保證，最好還是養成自己關閉的習慣。 如果一個文件在關閉后還對其進行操作會產生ValueError
fp.flush() #把緩沖區的內容寫入硬盤
fp.fileno() #返回一個長整型的”文件標簽“
fp.isatty() #文件是否是一個終端設備文件（unix系統中的）
fp.tell() #返回文件操作標記的當前位置，以文件的開頭為原點
fp.next() #返回下一行，並將文件操作標記位移到下一行。把一個file用於for … in file這樣的語句時，就是調用next()函數來實現遍歷的。
fp.seek(offset[,whence]) #將文件打操作標記移到offset的位置。這個offset一般是相對於文件的開頭來計算的，一般為正數。但如果提供了whence參數就不一定了，whence可以為0表示從頭開始計算，1表示以當前位置為原點計算。2表示以文件末尾為原點進行計算。需要注意，如果文件以a或a+的模式打開，每次進行寫操作時，文件操作標記會自動返回到文件末尾。
fp.truncate([size]) #把文件裁成規定的大小，默認的是裁到當前文件操作標記的位置。如果size比文件的大小還要大，依據系統的不同可能是不改變文件，也可能是用0把文件補到相應的大小，也可能是以一些隨機的內容加上去。
目錄操作：
os.mkdir("file") 創建目錄
復制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夾，newfile可以是文件，也可以是目標目錄
復制文件夾：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目錄，且newdir必須不存在
重命名文件（目錄）
os.rename("oldname","newname") 文件或目錄都是使用這條命令
移動文件（目錄）
shutil.move("oldpos","newpos")
刪除文件
os.remove("file")
刪除目錄
os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir") 空目錄、有內容的目錄都可以刪
轉換目錄
os.chdir("path") 換路徑
ps: 文件操作時，常常配合正則表達式：
img_dir = img_dir.replace('\\','/')
===============================================================================================
存儲對象
使用前一節中介紹的模塊，可以實現在文件中對字符串的讀寫。
然而，有的時候，你可能需要傳遞其它類型的數據，如list、tuple、dictionary和其它對象。在Python中，你可以使用Pickling來完成。你可以使用Python標准庫中的“pickle”模塊完成數據編組。
下面，我們來編組一個包含字符串和數字的list：
1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()
import pickle
fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
pickle.dump ( testList, fileHandle )
fileHandle.close()
拆分編組同樣不難：
1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()
import pickle
fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()
現在試試存儲更加復雜的數據：
1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()
import pickle
fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
pickle.dump ( testList, fileHandle )
fileHandle.close()
1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()
import pickle
fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()
如上所述，使用Python的“pickle”模塊編組確實很簡單。眾多對象可以通過它來存儲到文件中。如果可以的話，“cPickle”同樣勝任這個工作。它和“pickle”模塊一樣，但是速度更快：
1. import cPickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. cPickle.dump ( 1776, fileHandle )
5. fileHandle.close()
import cPickle
fileHandle = open ( 'pickleFile.txt', 'w' )
cPickle.dump ( 1776, fileHandle )
fileHandle.close()
字符串匹配
對於簡單的數據，使用流文本文件而不是數據庫更簡單明了，也就少不了文件操作和字符串匹配的需求。
re模塊的search和match方法是匹配到就返回，而不是去匹配所有，而findall()則匹配所有返回數組。
>>> m=re.findall("^a\w+","abcdfa\na1b2c3",re.MULTILINE)
>>> m
['abcdfa', 'a1b2c3']