用 C# 來守護 Python 進程


背景

目前我主要負責的一個項目是一個 C/S 架構的客戶端開發,前端主要是通過 WPF 相關技術來實現,后端是通過 Python 來實現,前后端的數據通信則是通過 MQ 的方式來進行處理。由於 Python 進程是需要依賴客戶端進程來運行,為了保證后端業務進程的穩定性,就需要通過一個 守護進程 來守護 Python 進程,防止其由於未知原因而出現進程退出的情況。這里簡單記錄一下我的一種實現方式。

實現

對於我們的系統而言,我們的 Python 進程只允許存在一個,因此,對應的服務類型要采用單例模式,這一部分代碼相對簡單,就直接貼出來了,示例代碼如下所示:

public partial class PythonService
{
    private static readonly object _locker = new object();

    private static PythonService _instance;
    public static PythonService Current
    {
        get
        {
            if (_instance == null)
            {
                lock (_locker)
                {
                    if (_instance == null)
                    {
                        _instance = new PythonService();
                    }
                }
            }
            return _instance;
        }
    }

    private PythonService()
    {

    }
}

創建獨立進程

由於后端的 Python 代碼運行需要安裝一些第三方的擴展庫,所以為了方便,我們采用的方式是總結將 python 安裝文件及擴展包和他們的代碼一並打包到我們的項目目錄中,然后創建一個 Python 進程,在該進程中通過設置環境變量的方式來為 Python 進程進行一些環境配置。示例代碼如下所示:

public partial class PythonService
{
    private string _workPath => Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "scripts");
    private string _pythonPath => Path.Combine(_workPath, "python27");

    private bool isRunning = false;
    private int taskPID = -1;

    public void Start()
    {
        taskPID = CreateProcess();
        isRunning = taskPID != -1;

        var msg = isRunning ? "服務啟動成功..." : "服務啟動失敗...";
        Trace.WriteLine(msg);
    }

    public void Stop()
    {
        KillProcessAndChildren(taskPID);

        isRunning = false;
        taskPID = -1;
    }

    private int CreateProcess()
    {
        KillProcessAndChildren(taskPID);

        int pid = -1;
        var psi = new ProcessStartInfo(Path.Combine(_pythonPath, "python.exe"))
        {
            UseShellExecute = false,
            WorkingDirectory = _workPath,
            ErrorDialog = false
        };

        psi.CreateNoWindow = true;

        var path = psi.EnvironmentVariables["PATH"];
        if (path != null)
        {
            var array = path.Split(new[] { ';' }).Where(p => !p.ToLower().Contains("python")).ToList();
            array.AddRange(new[] { _pythonPath, Path.Combine(_pythonPath, "Scripts"), _workPath });
            psi.EnvironmentVariables["PATH"] = string.Join(";", array);
        }
        var ps = new Process { StartInfo = psi };
        if (ps.Start())
        {
            pid = ps.Id;
        }
        return pid;
    }

    private static void KillProcessAndChildren(int pid)
    {
        // Cannot close 'system idle process'.
        if (pid <= 0)
        {
            return;
        }

        ManagementObjectSearcher searcher = new ManagementObjectSearcher("Select * From Win32_Process Where ParentProcessID=" + pid);
        ManagementObjectCollection moc = searcher.Get();
        foreach (ManagementObject mo in moc)
        {
            KillProcessAndChildren(Convert.ToInt32(mo["ProcessID"]));
        }
        try
        {
            Process proc = Process.GetProcessById(pid);
            proc.Kill();
        }
        catch (ArgumentException)
        {
            // Process already exited.
        }
        catch (Win32Exception)
        {
            // Access denied
        }
    }
}

這里有一點需要注意一下,建議使用 PID 來標識我們的 Python 進程,因為如果你使用進程實例或其它方式來對當前運行的進程設置一個引用,當該進程出現一些未知退出,這個時候你通過哪個引用來進行相關操作是會出問題的。

創建守護進程

上面我們的通過記錄當前正在運行的進程的 PID 來標識我們的進程,那對應守護進程,我們就可以通過進程列表查詢的方式來進行創建,在輪詢的過程中,如果未找到對應 PID 的進程則表明該進程已經退出,需要重新創建該進程,否則就不執行任何操作,示例代碼如下所示:

public partial class PythonService
{
    private CancellationTokenSource cts;

    private void StartWatch(CancellationToken token)
    {
        Task.Factory.StartNew(() =>
        {
            while (!token.IsCancellationRequested)
            {
                var has = Process.GetProcesses().Any(p => p.Id == taskPID);
                Trace.WriteLine($"MQ狀態:{DateTime.Now}-{has}");
                if (!has)
                {
                    taskPID = CreateProcess(_reqhost, _subhost, _debug);
                    isRunning = taskPID > 0;

                    var msg = isRunning ? "MQ重啟成功" : "MQ重啟失敗,等待下次重啟";
                    Trace.WriteLine($"MQ狀態:{DateTime.Now}-{msg}");
                }

                Thread.Sleep(2000);
            }
        }, token);
    }
}

這里我使用的是 Thread.Sleep(2000) 方式來繼續線程等待,你也可以使用 await Task.Delay(2000,token),但是使用這種方式在發送取消請求時會產生一個 TaskCanceledException 的異常。所以為了不產生不必要的異常信息,我采用第一種解決方案。

接着,完善我們的 StartStop 方法,示例代碼如下所示:

public void Start()
{
    taskPID = CreateProcess();
    isRunning = taskPID != -1;

    if (isRunning)
    {
        cts = new CancellationTokenSource();
        StartWatch(cts.Token);
    }

    var msg = isRunning ? "服務啟動成功..." : "服務啟動失敗...";
    Trace.WriteLine(msg);
}

public void Stop()
{
    cts?.Cancel(false);
    cts?.Dispose();

    KillProcessAndChildren(taskPID);
    taskPID = -1;

    isRunning = false;
}

最后,上層調用就相對簡單一下,直接調用 Start 方法和 Stop 方法即可。

總結

在我們的實際項目代碼中,PythonService 的代碼要比上面的代碼稍微復雜一些,我們內部還添加了一個 MQ 的 消息隊列。所以為了演示方便,我這里只列出了和本文相關的核心代碼,在具體的使用過程中,可以依據本文提供的一種實現方法來進行加工處理。

相關參考

補充

這篇文章很榮幸能被 張隊 轉載到他的公眾號上面讓更多的技術愛好者看到了。我看到文章的評論區里有朋友說了為什么不用 pythonnet 這種第三方集成框架以及為什么需要守護進程,這里我對這兩個問題解答一下

  • 為什么不使用 pythonnet 這種第三方的成熟框架?

這里我需要說明一下,我們的客戶端對應的后端服務是 python 寫的,並且腳本數量巨多無比,每個腳本之間又是相互獨立的模塊,相關的依賴庫都不一樣,所以這就導致一個問題,如果使 pythonnetironpython 這種集成框架,那么每個模塊需要使用到的依賴包就需要放到我們客戶端來維護管理安裝。從工程設計的角度來講,這個工作由我們客戶端組來做是不太合適的,雖然技術上是可行的,但是這無疑是一個坑。

  • 為什么需要一個守護進程?

因為我們的 python 后端服務調用的很多第三方組件(部分是非自研)是多種類型的,后端服務無法保證能穩定調用每一個第三方組件不崩潰,這就要求我們客戶端必須要做一個守護進程來監測后端服務進程的狀態,當其崩潰后要能重新啟動。

我很能理解為什么有很多朋友會有上面兩個疑惑,其實做技術的很多都會陷入一個誤區:單純的考慮技術實現,而不關注業務解耦。這個怎么說呢,有好處也有不好的地方,但是我個人覺得,如果只是關注技術,而不切入業務,最后即使每個技術細節實現的很完美,但是業務緊耦合,這個項目依舊難以 可持續發展


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM