超全!python的文件和目錄操作總結

文件的基本讀寫

path = r'C:\Users\Brady\Documents\tmp'
with open(path + r'\demo.txt', 'r', encoding='utf-8') as f:
    content = f.read()
print(content)

open()函數

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) Open file and return a corresponding file object. If the file cannot be opened, an OSError is raised.

open函數用於打開一個文件,並返回文件句柄.

文件打開的mode主要有以下幾種方式:

mode	含義
'r'	讀取(默認)
'w'	寫入(會截斷之前的文件內容)
'x'	寫入(如果文件已經存在會產生異常)
'a'	追加,將新內容寫入到文件末尾
'b'	二進制模式
't'	文本模式(默認)
'+'	更新,可讀可寫

這里關於newline做一個解釋. newline是換行符,windows系統的換行符和類unix系統的換行符是不一樣的. windows默認使用\r\n做為換行符. 而類unix系統使用\n作為換行符.

關於換行符的使用,文檔給出了如下解釋:

• 如果newline為None,則 \r \n \r\n都會被識別為換行符,並統一翻譯為 \n.
• 如果newline為'',則直接返回源文件中的換行符

關於換行符\r\n 和\n 的歷史要追溯到計算機出現之前的電傳打印機. \r的意思代表回車,也就是打印頭回到初始位置. \n的意思表示換行,也就是紙張往上卷一行. 在windows中保留了這種老傳統. 真正的換行符需要\r\n 而類unix中則選擇使用\n作為換行符

write()函數

with open(path+r'\demo2.txt','w',encoding='utf-8') as f:
    content = 'this is a demo for write function'
    res=f.write(content)
print(res)
 

file對應的方法

• file.close(): 關閉文件
• file.flush():講緩沖區的內容立即寫入文件
• file.readline():讀取整行
• file.readlines():按行讀取,並返回列表.可以設定讀取的字節數
• file.seek()設置游標位置
• file.tell()顯式當前游標位置
• file.truncate()截取文件

目錄相關操作

獲取目錄列表

with os.scandir(path2) as entries:
    for item in entries:
        print(item.name)

scandir()返回的是一個生成器.

同樣也可以使用pathlib庫.

enties = Path(path2)
for entry in enties.iterdir():
    print(entry.name)

獲取目錄下的文件

for entry in os.listdir(basepath):
    if os.path.isfile(os.path.join(basepath,entry)):
        print(entry)
with os.scandir(basepath) as entries:
 for entry in entries:
 if entry.is_file():
 print(entry.name)
base_path = Path(basepath)
 for entry in base_path.iterdir():
 if entry.is_file():
 print(entry.name)
base_path = Path(basepath)
 files_in_basepath = (entry for entry in base_path.iterdir() if entry.is_file())
 for item in files_in_basepath:
 print(item.name)
 

以上四種辦法都可以.

獲取子目錄

for entry in os.listdir(basepath):
    if os.path.isdir(os.path.join(basepath,entry)):
        print(entry)
with os.scandir(basepath) as entries:
 for entry in entries:
 if entry.is_dir():
 print(entry.name)
base_path = Path(basepath)
for entry in base_path.iterdir():
 if entry.is_dir():
 print(entry.name)
 

獲取文件屬性

with os.scandir(basepath) as entries:
    for entry in entries:
        info = entry.stat()
        print(entry.name,timestamp2datetime(info.st_mtime))
base_path = Path(basepath)
for entry in base_path.iterdir():
 info = entry.stat()
 print(entry.name,timestamp2datetime(info.st_mtime))
 

os.scandir()返回一個os.dirEntry對象. os.dirEntry對象大概有以下屬性和方法:

• name:文件(目錄)名
• path:文件(目錄)路徑
• is_file()
• is_dir()
• stat()返回一個stat_result對象.

而stat_result對象又有N多關於文件的屬性,比如時間戳相關的屬性:

• st_atime:最近訪問時間
• st_mtime:最近修改時間
• st_ctime:創建時間

創建目錄

在os和pathlib的模塊中都包含了創建目錄的函數.

• os.mkdir() 創建單個子目錄
• os.makedirs() 創建多個目錄,包括中間目錄
• Pathlib.Path.mkdir() 創建單個或者多個目錄

創建單個目錄

os.chdir(basepath)
if not os.path.exists(os.path.join(basepath,'c')):
    os.mkdir('c')
base_path = Path(basepath+r'\d')
try:
 base_path.mkdir()
 except FileExistsError :
 pass
 

通過os.mkdir()和Path.mkdir()都可以創建單個目錄. 如果目錄已經存在,則會報FileExistsError異常. 也可以使用exist_ok=True 參數來忽略這個異常

創建多個目錄

可以使用os.makedirs()來創建包含中間目錄在內的所有目錄,類似mkdir -p

os.makedirs('2020/3/2')

也可以使用Path.mkdir()方法來創建多層目錄.只需要指定parents=True比如

from pathlib import Path 
p = Path('2018/10/05') 
p.mkdir(parents=True, exist_ok=True)

文件名的模式匹配

使用字符串方法

python有一些內置的修改和操作字符串的方法,在操作文件名的時候,可以先遍歷拿到文件名,然后使用字符串的方式進行匹配.

for item in os.listdir(basepath):
    if item.endswith('.txt'):
        print(item)

使用fnmatch庫

另外還可以使用fnmatch庫,fnmatch庫支持類unix的通配符.

通配符	含義
*	匹配所有字符
?	匹配任意一個字符
[seq]	匹配一個序列
[!seq]	匹配一個不包含seq的序列

import fnmatch
for item in os.listdir(basepath):
    if fnmatch.fnmatch(item,"*.txt"):
        print(item)

使用glob庫

總的來說,glob庫和fnmatch庫差不多,但是glob庫提供了遞歸功能,可以查詢目錄下子目錄的文件名. glob.glob(pathname, *, recursive=False)

另外在pathlib中也提供了類似glob的方法.

總結:

函數	描述
startswith()	是否以一個特定的序列開頭
endswith()	是否以一個特定的序列結尾
dnmatch.fnmatch(filename,pattern)	測試文件名是否滿足正則表達式
glob.glob()	返回匹配的文件列表
pathlib.Path.glob()	返回一個匹配該模式的生成器對象

遍歷和處理文件

os.walk(top, topdown=True, onerror=None, followlinks=False)

os.chdir(basepath)
for dirpath,dirname,files in os.walk('.'):
    print(f'found directory:{dirpath}')
    for filename in files:
        print(filename)

walk()方法返回一個三元組(dirpath,dirnames,filenames)

• dirpath:當前目錄的名稱
• dirnames:當前目錄中子目錄的列表
• 當前目錄中文件的列表

創建臨時文件和目錄

臨時文件和臨時目錄就是程序運行時創建,在程序運行結束之后會自動刪除的文件和目錄. 可以使用tempfile模塊來進行操作.

from tempfile import TemporaryFile
from tempfile import TemporaryDirectory
fp = TemporaryFile('w+t')
 fp.write('hello world')
 fp.seek(0)
 data = fp.read()
 print(data)
 fp.close()
with TemporaryFile('w+t',encoding='utf-8') as tf:
 tf.write('hello world')
 tf.seek(0)
 print(tf.read())
tmp=''
 with TemporaryDirectory() as tmpdir:
 print("create a temp directory{0}".format(tmpdir))
 tmp = tmpdir
 print(os.path.exists(tmp))
print(os.path.exists(tmp))
 

臨時文件作為一個臨時的硬盤上的緩存,一般不需要命名. 但是如果需要使用帶文件名的臨時文件時,可以使用tempfile.NamedTemporaryFile()

在windows平台下,臨時文件一般存放在C:/TEMP或者C:/TMP. 其他平台上,一般存放順序為/tmp,/var/tmp,/usr/tmp 如果以上路徑都找不到的話,python會默認在當前目錄中存放臨時文件和臨時目錄.

注意,TemporaryFile()等方法也是支持with..in這種上下文管理器的.

刪除文件和目錄

刪除文件

要刪除單個文件有三種辦法:pathlib.Path.unlink() , os.remove() 還有 os.unlink()方法

這里需要注意的是,os.remove()和os.unlink()沒有什么區別. unlink是類unix系統中的早期叫法.

os.remove(os.path.join(basepath,'demo.txt'))
os.unlink(os.path.join(basepath,'demo2.txt'))

或者使用pathlink.Path.unlink()方法

from pathlib import Path
p = Path(basepath+r'\1-demo.txt')
p.unlink()

注意,以上方法只能刪除文件,如果刪除的不是文件而是目錄的話,會報IsADirectoryError異常

刪除目錄或目錄樹

三個方法:

• os.rmdir()
• pathlib.Path.rmdir()
• shutil.rmtree()

在os.rmdir()和pathlib.Path.rmdir()中,如果刪除的是非空目錄,會報OSError異常.

os.rmdir(os.path.join(basepath,'a'))
p = Path(basepath+r'\b')
p.rmdir()

如果想刪除非空目錄或者目錄樹的話,可以是用shutil.rmtree()方法

shutil.rmtree(os.path.join(basepath,'2020'))

復制,移動和重命名文件和目錄

這里我們要使用到shutil模塊,shutil模塊提供了類似shell的一些功能.

復制文件

import os
import shutil
src = os.path.join(basepath,'0-demo.txt')
dst = os.path.join(basepath,'c')
shutil.copy(src,dst)

這個不需要多講了,類似cp命令. 如果dst是文件,則覆蓋原文件,如果dst是目錄的話,則拷貝到該目錄下.

copy()方法不會復制元數據. 如果要連文件信息等元數據一起復制的話,則需要使用copy2()方法.

復制目錄

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')
shutil.copytree(src,dst)
 

這里需要注意的是,目標目錄不能是已存在的目錄. 而且在復制的時候,不帶原目標目錄的父目錄. 說人話就是上面這段代碼在執行的時候,只會講c目錄內的內容復制到bak目錄里去.

移動文件和目錄

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')
shutil.move(src,dst)
 

跟shell中的mv用法一樣一樣一樣的. 如果目的目錄存在,則會將源目錄移動到目的目錄中去. 如果目的目錄不存在,那就是源目錄的重命名.

重命名文件和目錄

可是使用os模塊中的rename()方法,也可以使用pathlib.Path.rename()方法.

os.chdir(basepath)
os.rename('3-demo.txt','demo3.txt')
p = Path('0-demo.txt')
p.rename('demo0.txt')

歸檔

所謂歸檔就是打包. 最常見的兩種打包方式就是zip和tar.(嗯...不要說rar...)

讀取zip文件

python提供了zipfile的內置模塊用來處理zip文件.

import os
import zipfile
os.chdir(basepath)
with zipfile.ZipFile('d.zip','r') as zf:
 filelist=zf.namelist()
 bar_file_info = zf.getinfo('d/bak/0-demo.txt')
 print(type(bar_file_info))
 print(bar_file_info.file_size)
 print(filelist)
 

提取zip文件

通過zipfile.extract()和zipfile.extractall()可以從zip文件中提取一個或多個文件.

with zipfile.ZipFile('d.zip','r') as zipobj:
    zipobj.extract('d/bak/0-demo.txt')    
    zipobj.extractall(path=r'./zip/')

創建新的zip文件

直接使用write()方法就可以了.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
with zipfile.ZipFile('demo.zip','w') as zipobj:
 for txt_file in file_list:
 zipobj.write(txt_file)
 

tarfile庫的操作

tar文件在linux中比較常用,可以使用gzip,bzip2和lzma等壓縮方法進行壓縮. python同樣內置了tarfile庫用於處理tar文件.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
# 創建一個tar包
with tarfile.open('demo.tar.gz',mode='w:gz') as tf:
    for file_name in file_list:
        tf.add(file_name)
# 讀取tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    for member in tf.getmembers():
        print(member.name)
# 解壓縮tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    tf.extract('2-demo.txt',path=r'./d/demo')
    tf.extractall(path=r'./d/extractall')

關於打開模式的解釋,懶得翻譯了.

mode	action
'r' or 'r:*'	Open for reading with transparent compression (recommended).
'r:'	Open for reading exclusively without compression.
'r:gz'	Open for reading with gzip compression.
'r:bz2'	Open for reading with bzip2 compression.
'r:xz'	Open for reading with lzma compression.
'x' or 'x:'	Create a tarfile exclusively without compression. Raise an FileExistsError exception if it already exists.
'x:gz'	Create a tarfile with gzip compression. Raise an FileExistsError exception if it already exists.
'x:bz2'	Create a tarfile with bzip2 compression. Raise an FileExistsError exception if it already exists.
'x:xz'	Create a tarfile with lzma compression. Raise an FileExistsError exception if it already exists.
'a' or 'a:'	Open for appending with no compression. The file is created if it does not exist.
'w' or 'w:'	Open for uncompressed writing.
'w:gz'	Open for gzip compressed writing.
'w:bz2'	Open for bzip2 compressed writing.
'w:xz'	Open for lzma compressed writing.

shutil庫創建存檔

shutil庫的make_archive()方法同樣可以創建歸檔. shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

shutil.unpack_archive(filename[, extract_dir[, format]])

shutil.make_archive(r'.\d\backup','tar',r'.\d')
shutil.unpack_archive(r'.\d\backup.tar')

吾碼2016