python調用外部子進程，通過管道實現異步標准輸入和輸出的交互

我們通常會遇到這樣的需求：通過C++或其他較底層的語言實現了一個復雜的功能模塊，需要搭建一個基於Web的Demo，方法查詢數據。由於Python語言的強大和簡潔，其用來搭建Demo非常合適，Flask框架和jinja2模塊功能為python提供了方便的web開發能力。同時，python能夠很方便的同其他語言的代碼交互。因此我們選擇python作為開發Demo的工具。假設我們需要調用的模塊（提供底層服務）通過標准輸入循環讀入數據，處理完畢后把結果寫出到標出輸出，這樣的場景在Linux環境下很常見，依賴於Linux強大的重定向能力。然而，非常不幸的是，底層模塊有一個很重的初始化過程，因此我們不能夠每次查詢請求都去重新生成調用底層模塊的子進程。解決方案就是只生成一次子進程，然后對每個請求通過管道（pipe）來和子進程交互。

Python的subprocess模塊可以很容易地生成子進程，類似Linux系統調用fork和exec。subprocess模塊的Popen對象可能以非阻塞的方式調用外部可執行程序，因此我們使用Poen對象來實現需求。如果我們想要把數據寫入子進程的標准輸入stdin，那么在創建Popen對象的時候就需要指定參數stdin為subprocess.PIPE；同樣，如果我們需要從子進程的標准輸出中讀取數據，那么在創建Popen對象的時候就需要指定參數stdout為subprocess.PIPE。先看一個簡單的例子：

from subprocess import Popen, PIPE

p = Popen('less', stdin=PIPE, stdout=PIPE)
p.communicate('Line number %d.\n' % x)

communicate函數返回一個二元組(stdoutdata, stderrdata)，包含了子進程的標准輸出和標出錯誤的輸出數據。然而，由於Popen對象的communicate函數會阻塞父進程，同時還會關閉管道，因此每個Popen對象只能調用一次communicate函數，如果有多個請求必須重新生成Popen對象（重新初始化子進程），不能滿足我們的需求。

因此，我們只有往Popen對象的stdin和stdout對象里寫入和讀取數據才能實現我們的需求。然而，不幸的是subprocess模塊默認情況下只運行在子進程結束的時候讀取一次標准輸出。Both subprocess and os.popen* only allow input and output one time, and the output to be read only when the process terminates. 

進過一番研究之后我發現通過fcntl模塊的fcntl函數可以把子進程的標准輸出改為非阻塞的方式，從而達到我們的目的。這樣困擾我許久的問題終於得到了完美解決。代碼如下：

#!/usr/bin/python                                                                                                                                                      
# -*- coding: utf-8 -*-
# author: 
from subprocess import Popen, PIPE
import select
import fcntl, os
import time

class Server(object):
  def __init__(self, args, server_env = None):
    if server_env:
      self.process = Popen(args, stdin=PIPE, stdout=PIPE, stderr=PIPE, env=server_env)
    else:
      self.process = Popen(args, stdin=PIPE, stdout=PIPE, stderr=PIPE)
    flags = fcntl.fcntl(self.process.stdout, fcntl.F_GETFL)
    fcntl.fcntl(self.process.stdout, fcntl.F_SETFL, flags | os.O_NONBLOCK)

  def send(self, data, tail = '\n'):
    self.process.stdin.write(data + tail)
    self.process.stdin.flush()

  def recv(self, t=.1, stderr=0):
    r = ''
    pr = self.process.stdout
    if stderr:
      pr = self.process.stdout
    while True:
      if not select.select([pr], [], [], 0)[0]:
        time.sleep(t)
        continue
      r = pr.read()
      return r.rstrip()
    return r.rstrip()

if __name__ == "__main__":
  ServerArgs = ['/path/to/server', '/path/to/args']
  server = Server(ServerArgs)
  test_data = '拿鐵', '咖啡'
  for x in test_data:
    server.send(x)
    print x, server.recv()     

 另外，調用一些外部程序時，可能需要指定相應的環境變量，方式如下：

  my_env = os.environ
  my_env["LD_LIBRARY_PATH"] = "/path/to/lib"
  server = server.Server(cmd, my_env)