一、subprocess以及常用的封裝函數
運行python的時候,我們都是在創建並運行一個進程。像Linux進程那樣,一個進程可以fork一個子進程,並讓這個子進程exec另外一個程序。在Python中,我們通過標准庫中的subprocess包來fork一個子進程,並運行一個外部的程序。
subprocess包中定義有數個創建子進程的函數,這些函數分別以不同的方式創建子進程,所以我們可以根據需要來從中選取一個使用。另外subprocess還提供了一些管理標准流(standard stream)和管道(pipe)的工具,從而在進程間使用文本通信。
subprocess.call()
父進程等待子進程完成
返回退出信息(returncode,相當於Linux exit code)
subprocess.check_call()
父進程等待子進程完成
返回0
檢查退出信息,如果returncode不為0,則舉出錯誤subprocess.CalledProcessError,該對象包含有returncode屬性,可用try…except…來檢查
subprocess.check_output()
父進程等待子進程完成
返回子進程向標准輸出的輸出結果
檢查退出信息,如果returncode不為0,則舉出錯誤subprocess.CalledProcessError,該對象包含有returncode屬性和output屬性,output屬性為標准輸出的輸出結果,可用try…except…來檢查。
這三個函數的使用方法相類似,下面來以subprocess.call()舉例說明:
>>> import subprocess
>>> retcode = subprocess.call(["ls", "-l"])
#和shell中命令ls -a顯示結果一樣
>>> print retcode
0
將程序名(ls)和所帶的參數(-l)一起放在一個表中傳遞給subprocess.call()
shell默認為False,在Linux下,shell=False時, Popen調用os.execvp()執行args指定的程序;shell=True時,如果args是字符串,Popen直接調用系統的Shell來執行args指定的程序,如果args是一個序列,則args的第一項是定義程序命令字符串,其它項是調用系統Shell時的附加參數。
上面例子也可以寫成如下:
在Windows下,不論shell的值如何,Popen調用CreateProcess()執行args指定的外部程序。如果args是一個序列,則先用list2cmdline()轉化為字符串,但需要注意的是,並不是MS Windows下所有的程序都可以用list2cmdline來轉化為命令行字符串。
subprocess.Popen()
class Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)
實際上,上面的幾個函數都是基於Popen()的封裝(wrapper)。這些封裝的目的在於讓我們容易使用子進程。當我們想要更個性化我們的需求的時候,就要轉向Popen類,該類生成的對象用來代表子進程。
與上面的封裝不同,Popen對象創建后,主程序不會自動等待子進程完成。我們必須調用對象的wait()方法,父進程才會等待 (也就是阻塞block),舉例:
>>> child = subprocess.Popen(['ping','-c','4','blog.linuxeye.com'])
>>> print 'parent process'
從運行結果中看到,父進程在開啟子進程之后並沒有等待child的完成,而是直接運行print。
對比等待的情況:
>>> child = subprocess.Popen('ping -c4 blog.linuxeye.com',shell=True)
>>> child.wait()
>>> print 'parent process'
從運行結果中看到,父進程在開啟子進程之后並等待child的完成后,再運行print。
此外,你還可以在父進程中對子進程進行其它操作,比如我們上面例子中的child對象:代碼如下:
child.poll() # 檢查子進程狀態
child.kill() # 終止子進程
child.send_signal() # 向子進程發送信號
child.terminate() # 終止子進程
子進程的PID存儲在child.pid
二、子進程的文本流控制
子進程的標准輸入、標准輸出和標准錯誤如下屬性分別表示:
child.stdin
child.stdout
child.stderr
可以在Popen()建立子進程的時候改變標准輸入、標准輸出和標准錯誤,並可以利用subprocess.PIPE將多個子進程的輸入和輸出連接在一起,構成管道(pipe),如下2個例子:
>>> child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
>>> print child1.stdout.read(),
#或者child1.communicate()
>>> import subprocess
>>> child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
>>> child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
>>> out = child2.communicate()
subprocess.PIPE實際上為文本流提供一個緩存區。child1的stdout將文本輸出到緩存區,隨后child2的stdin從該PIPE中將文本讀取走。child2的輸出文本也被存放在PIPE中,直到communicate()方法從PIPE中讀取出PIPE中的文本。
注意:communicate()是Popen對象的一個方法,該方法會阻塞父進程,直到子進程完成
subprocess 模塊首先推薦使用的是它的 run 方法,更高級的用法可以直接使用 Popen 接口。
run 方法語法格式如下:
subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None)
- args:表示要執行的命令。必須是一個字符串,字符串參數列表。
- stdin、stdout 和 stderr:子進程的標准輸入、輸出和錯誤。其值可以是 subprocess.PIPE、subprocess.DEVNULL、一個已經存在的文件描述符、已經打開的文件對象或者 None。subprocess.PIPE 表示為子進程創建新的管道。subprocess.DEVNULL 表示使用 os.devnull。默認使用的是 None,表示什么都不做。另外,stderr 可以合並到 stdout 里一起輸出。
- timeout:設置命令超時時間。如果命令執行時間超時,子進程將被殺死,並彈出 TimeoutExpired 異常。
- check:如果該參數設置為 True,並且進程退出狀態碼不是 0,則彈 出 CalledProcessError 異常。
- encoding: 如果指定了該參數,則 stdin、stdout 和 stderr 可以接收字符串數據,並以該編碼方式編碼。否則只接收 bytes 類型的數據。
- shell:如果該參數為 True,將通過操作系統的 shell 執行指定的命令。
run 方法調用方式返回 CompletedProcess 實例,和直接 Popen 差不多,實現是一樣的,實際也是調用 Popen,與 Popen 構造函數大致相同,例如:
實例
>>> subprocess.run(["ls", "-l", "/dev/null"])
crw-rw-rw- 1 root wheel 3, 2 5 4 13:34 /dev/null
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0)
returncode: 執行完子進程狀態,通常返回狀態為0則表明它已經運行完畢,若值為負值 "-N",表明子進程被終。
簡單實例:
實例
def runcmd(command):
ret = subprocess.run(command,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE,encoding="utf-8",timeout=1)
if ret.returncode == 0:
print("success:",ret)
else:
print("error:",ret)
runcmd(["dir","/b"])#序列參數
runcmd("exit 1")#字符串參數
輸出結果如下:
success: CompletedProcess(args=['dir', '/b'], returncode=0, stdout='test.py\n', stderr='') error: CompletedProcess(args='exit 1', returncode=1, stdout='', stderr='')
Popen() 方法
Popen 是 subprocess的核心,子進程的創建和管理都靠它處理。
構造函數:
class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0,restore_signals=True, start_new_session=False, pass_fds=(), *, encoding=None, errors=None)
常用參數:
- args:shell命令,可以是字符串或者序列類型(如:list,元組)
- bufsize:緩沖區大小。當創建標准流的管道對象時使用,默認-1。
0:不使用緩沖區
1:表示行緩沖,僅當universal_newlines=True時可用,也就是文本模式
正數:表示緩沖區大小
負數:表示使用系統默認的緩沖區大小。 - stdin, stdout, stderr:分別表示程序的標准輸入、輸出、錯誤句柄
- preexec_fn:只在 Unix 平台下有效,用於指定一個可執行對象(callable object),它將在子進程運行之前被調用
- shell:如果該參數為 True,將通過操作系統的 shell 執行指定的命令。
- cwd:用於設置子進程的當前目錄。
- env:用於指定子進程的環境變量。如果 env = None,子進程的環境變量將從父進程中繼承。
創建一個子進程,然后執行一個簡單的命令:
實例
>>> p = subprocess.Popen('ls -l', shell=True)
>>> total 164
-rw-r--r-- 1 root root 133 Jul 4 16:25 admin-openrc.sh
-rw-r--r-- 1 root root 268 Jul 10 15:55 admin-openrc-v3.sh
...
>>> p.returncode
>>> p.wait()
0
>>> p.returncode
這里也可以使用 p = subprocess.Popen(['ls', '-cl']) 來創建子進程。
Popen 對象方法
- poll(): 檢查進程是否終止,如果終止返回 returncode,否則返回 None。
- wait(timeout): 等待子進程終止。
- communicate(input,timeout): 和子進程交互,發送和讀取數據。
- send_signal(singnal): 發送信號到子進程 。
- terminate(): 停止子進程,也就是發送SIGTERM信號到子進程。
- kill(): 殺死子進程。發送 SIGKILL 信號到子進程。
實例
import subprocess
def cmd(command):
subp = subprocess.Popen(command,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE,encoding="utf-8")
subp.wait(2)
if subp.poll() == 0:
print(subp.communicate()[1])
else:
print("失敗")
cmd("java -version")
cmd("exit 1")
輸出結果如下:
java version "1.8.0_31" Java(TM) SE Runtime Environment (build 1.8.0_31-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.31-b07, mixed mode) 失敗