Pathlib模塊

Python 文件路徑處理問題

由於許多不同的原因，使用文件和與文件系統交互很重要。 最簡單的情況可能只涉及讀取或寫入文件，但有時候會有更復雜的任務。 也許你需要列出給定類型的目錄中的所有文件，查找給定文件的父目錄，或者創建一個尚不存在的唯一文件名。

一般情況，Python 使用常規文本字符串表示文件路徑。 一般在使用 os,glob 和 shutil 等庫的時候會使用到路徑拼接的操作，使用os模塊拼接起來顯得略顯復雜，以下示例僅需要三個 import 語句來將所有文本文件移動到歸檔目錄：

import os
import glob
import shutil

for file_name in glob.glob("*.txt"):
    new_path = os.path.join('archive', file_name)
    shutil.move(file_name, new_path)

使用常規的字符串去拼接路徑是可以的，但是由於不同的操作系統使用的分隔符不同，這樣就容易出現問題，所以一般我們使用最多的還是使用 os.path.join()。

Python 3.4 中引入了 pathlib 模塊（PEP 428）再一次的優化了路徑的拼接。使用 pathlib 庫的 Path 方法，可以將一個普通的字符串轉換為 pathlib.Path 對象類型的路徑

創建路徑

from pathlib import Path

.cwd（當前工作目錄）和 .home（用戶的主目錄）：

from pathlib import Path

now_path = Path.cwd()
home_path = Path.home()

print("當前目錄", now_path, type(now_path))
print("home目錄", home_path, type(home_path))

輸出：

當前目錄 C:\Users\huangm\Desktop <class 'pathlib.WindowsPath'>
home目錄 C:\Users\huangm <class 'pathlib.WindowsPath'>

可以通過把字符串類型的路徑，轉換為 Pathlib.Path 類型的路徑

import pathlib
DIR_PATH = pathlib.Path('/Users/huangm/Untitled.ipynb')
print(DIR_PATH, type(DIR_PATH))

輸出：

\Users\huangm\Untitled.ipynb <class 'pathlib.WindowsPath'>

讀文件和寫文件

open 來操作文件讀寫操作的時候,不僅可以使用字符串格式的路徑，對於 pathlib 生成的路徑完全可以直接使用:

import pathlib

path = pathlib.Path.cwd() / '123.txt'
with open(path, mode='r') as fid:
    headers = [line.strip() for line in fid if line.startswith('#')]

print('\n'.join(headers))

或者在 pathlib 的基礎使用 open,我們推薦使用下面的方式

import pathlib

DIR_PATH = pathlib.Path("/Users/huangm") / "Desktop" / "123.txt"
with DIR_PATH.open('r') as fs:
    data = fs.read()
print(data)

實際上這里的 open 方法，底層也是調用了 os.open 的方法

可以不用再使用 with open 的形式即可以進行讀寫。

import pathlib

DIR_PATH = pathlib.Path("/Users/huangm") / "Desktop" / "123.txt"
print(DIR_PATH.read_text()) #找到對應的路徑然后打開文件，讀成str格式。等同open操作文件的"r"格式。
print(DIR_PATH.read_bytes()) #讀取字節流的方式。等同open操作文件的"rb"格式
print(DIR_PATH.write_text("妹子")) #文件的寫的操作，等同open操作文件的"w"格式。
print(DIR_PATH.write_bytes(b'#\xb4\xb2\xb5\xe6 \xd0\xe8\xd2\xaa 1\r\n\r\n\xc1\xb9\xcf\xaf ')) #文件的寫的操作，等同open操作文件的"wb"格式。

使用 resolve 可以通過傳入文件名，來返回文件的完整路徑，使用方式如下

import pathlib
text_path = pathlib.Path('123.txt')
print(text_path.resolve())

輸出：

C:\Users\huangm\Desktop\123.txt

需要注意的是 “123.txt” 文件要和我當前的程序文件在同一級目錄。

選擇路徑的不同組成部分

pathlib 還提供了很多路徑操作的屬性，這些屬性可以選擇路徑的不用部位，如

.name: 可以獲取文件的名字，包含拓展名。
.parent: 返回上級文件夾的名字
.stem: 獲取文件名不包含拓展名
.suffix: 獲取文件的拓展名
.anchor: 類似盤符的一個東西,

import pathlib

now_path = pathlib.Path.cwd() / '123.txt'
print("name", now_path.name)
print("stem", now_path.stem)
print("suffix", now_path.suffix)
print("parent", now_path.parent)
print("anchor", now_path.anchor)

輸出：

name 123.txt
stem 123
suffix .txt
parent C:\Users\huangm\Desktop
anchor C:\

移動和刪除文件

當然 pathlib 還可以支持文件其他操作，像移動，更新，甚至刪除文件，但是使用這些方法的時候要小心因為，使用過程不用有任何的錯誤提示即使文件不存在也不會出現等待的情況。

使用 replace 方法可以移動文件，如果文件存在則會覆蓋。為避免文件可能被覆蓋，最簡單的方法是在替換之前測試目標是否存在。

import pathlib

destination = pathlib.Path.cwd() / "123.txt"
source = pathlib.Path.cwd() / "123.txt"
if not destination.exists():
    source.replace(destination)

但是上面的方法存在問題就是，在多個進程多 destination 進行的操作的時候就會現問題，可以使用下面的方法避免這個問題。也就是說上面的方法適合單個文件的操作。

import pathlib

destination = pathlib.Path.cwd() / "123.txt"
source = pathlib.Path.cwd() / "123.txt"
with destination.open(mode='xb') as fid:
    #xb表示文件不存在才操作
    fid.write(source.read_bytes())

當 destination文件存在的時候上面的代碼就會出現 FileExistsError 異常。
從技術上講，這會復制一個文件。 要執行移動，只需在復制完成后刪除源即可。
使用 with_name 和 with.shuffix 可以修改文件名字或者后綴。

import pathlib
source = pathlib.Path.cwd() / "demo.py"
source.replace(source.with_suffix(".txt")) #修改后綴並移動文件，即重命名

可以使用 .rmdir() 和 .unlink() 來刪除文件。

import pathlib
 
destination = pathlib.Path.cwd() / "target" 
source = pathlib.Path.cwd() / "demo.txt"
source.unlink()

幾個 pathlib 的使用例子

統計文件個數

我們可以使用.iterdir方法獲取當前文件下的所以文件.

import pathlib
from collections import Counter
now_path = pathlib.Path.cwd()
gen = (i.suffix for i in now_path.iterdir())
print(now_path)
print(Counter(gen))

pathlib 也有 glob 方法和 rglob 方法，不同的是 glob 模塊里的 glob 方法結果是列表形式的，iglob 是生成器類型，在這里 pathlib 的 glob 模塊返回的是生成器類型，然后 pathlib 還有一個支持遞歸操作的 rglob 方法。

下面的這個操作我通過使用 glob 方法，設定規則進行文件的匹配。

import pathlib

from collections import Counter
gen = (p.suffix for p in pathlib.Path.cwd().glob('*.py'))
print(gen)
print(Counter(gen))

輸出：

<generator object <genexpr> at 0x000001B3D528F8B8>
Counter({'.py': 6})

展示目錄樹

下一個示例定義了一個函數 tree()，該函數的作用是打印一個表示文件層次結構的可視樹，該樹以一個給定目錄為根。因為想列出其子目錄，所以我們要使用 .rglob() 方法：

import pathlib


from collections import Counter
def tree(directory):
    print(f'+ {directory}')
    for path in sorted(directory.rglob('*')):
        # print(path.relative_to(directory))
        # print(path.relative_to(directory).parts)
        depth = len(path.relative_to(directory).parts)
        spacer = '    ' * depth
        print(f'{spacer}+{path.name}')

tree(pathlib.Path.cwd())

其中 relative_to 的方法的作用是返回 path 相對於 directory 的路徑。
parts 方法可以返回路徑的各部分。例如

import pathlib
now_path = pathlib.Path.cwd()
if __name__ == '__main__':
    print(now_path.parts)

輸出：

('C:\\', 'Users', 'huangm', 'Desktop')

獲取文件最后一次修改時間

iterdir(),.glob()和.rglob()方法非常適合於生成器表達式和列表理解。
使用stat()方法可以獲取文件的一些基本信息，使用.stat().st_mtime可以獲取文件最后一次修改的信息

import pathlib
now_path = pathlib.Path.cwd()
from datetime import datetime
time, file_path = max((f.stat().st_mtime, f) for f in now_path.iterdir())
print(datetime.fromtimestamp(time), file_path)

甚至可以使用類似的表達式獲取上次修改的文件內容

import pathlib
from datetime import datetime
now_path =pathlib.Path.cwd()
result = max((f.stat().st_mtime, f) for f in now_path.iterdir())[1]
print(result.read_text())

其他內容

關於 pathlib.Path 格式路徑轉換為字符串類型

因為通過 pathlib 模塊操作生成的路徑，不能直接應用字符串的一些操作，所以需要轉換成字符串，雖然可以使用 str() 函數進行轉換，但是安全性不高，建議使用 os.fspath() 方法，因為如果路徑格式非法的，可以拋出一個異常。str()就不能做到這一點。

拼接符號”/”背后的秘密

/ 運算符由 __truediv__ 方法定義。 實際上，如果你看一下 pathlib 的源代碼，你會看到類似的東西。

class PurePath(object):
 
    def __truediv__(self, key):
        return self._make_child((key,))

參考文章：

https://realpython.com/python-pathlib/