嘗試php命令行腳本多進程並發執行

php不支持多線程，但是我們可以把問題轉換成“多進程”來解決。由於php中的pcntl_fork只有unix平台才可以使用，所以本文嘗試使用popen來替代。 
 
下面是一個例子：
  
被並行調用的子程序：

<?php
if($argc==1){
         echo("argv\n");
}
$arg = $argv[1];
for($i=0; $i<10; $i++)
{
echo($i.".1.".time()." exec $arg \n");
if($arg=='php2')
{
sleep(1);
echo($i.".2.".time()." exec $arg \n");
sleep(1);
}else{
sleep(1);
}
?>

----------------------------
主調用者程序，由他調用子進程，同時並發的收集子程序的輸出 

 

<?php
error_reporting(E_ALL);

$handle1 = popen('php sub.php php1', 'r');
$handle2 = popen('php sub.php php2', 'r');
$handle3 = popen('php sub.php php3', 'r');

echo "'$handle1'; " . gettype($handle1) . "\n";
echo "'$handle2'; " . gettype($handle2) . "\n";
echo "'$handle3'; " . gettype($handle3) . "\n";

//sleep(20);
while(!feof($handle1) || !feof($handle2) || !feof($handle3) ){
$read = fgets($handle1);
echo $read;

$read = fgets($handle2);
echo $read;

$read = fgets($handle3);
echo $read;
}


pclose($handle1);
pclose($handle2);
pclose($handle3);
?>

-------------------

下面是我機器上的輸出：

> php exec.php
'Resource id #4'; resource
'Resource id #5'; resource
'Resource id #6'; resource
0.1.1147935331 exec php1
0.1.1147935331 exec php2
0.1.1147935331 exec php3
1.1.1147935332 exec php1
0.2.1147935332 exec php2
1.1.1147935332 exec php3
2.1.1147935333 exec php1
1.1.1147935333 exec php2
2.1.1147935333 exec php3
3.1.1147935334 exec php1
1.2.1147935334 exec php2
3.1.1147935334 exec php3
4.1.1147935335 exec php1
2.1.1147935335 exec php2
4.1.1147935335 exec php3
5.1.1147935336 exec php1
2.2.1147935336 exec php2
5.1.1147935336 exec php3
6.1.1147935337 exec php1
3.1.1147935337 exec php2
6.1.1147935337 exec php3
7.1.1147935338 exec php1
3.2.1147935338 exec php2
7.1.1147935338 exec php3
8.1.1147935339 exec php1
4.1.1147935339 exec php2
8.1.1147935339 exec php3
9.1.1147935340 exec php1
4.2.1147935340 exec php2
9.1.1147935340 exec php3
5.1.1147935341 exec php2
5.2.1147935342 exec php2
6.1.1147935343 exec php2
6.2.1147935344 exec php2
7.1.1147935345 exec php2
7.2.1147935346 exec php2
8.1.1147935347 exec php2
8.2.1147935348 exec php2
9.1.1147935349 exec php2
9.2.1147935350 exec php2

**總結：**

**主程序循環等待子進程， 通過fgets或fread 把子進程的輸出獲取出來 ， 從時間戳上看，的確實現了並發執行。**
  
-----------------------------------------------
改進：
  
*  popen打開的句柄是單向的，如果需要向子進程交互，可以使用proc_open
*  使用數組和子函數代替while(!feof($handle1) || !feof($handle2) || !feof($handle3) )這種齷齪的寫法
*  用fread一次把子進程已經產生的輸出取完，而不是每次一行。

這是另一個改進：
一個並發執行shell任務的調度者,本程序讀取一個任務文件,把里面的每行命令並發執行, 可以設置同時存在的子進程數目:

<?
/*
         主任務管理器
         並發的執行子任務列表
*/

include("../common/conf.php");
include("../common/function.php");

//開啟的進程數
$exec_number = 40 ;

/***** main ********/
if($argc==1){
         echo("argv\n");
}
$taskfile = $argv[1];


//tasklist
$tasklist = file($taskfile);


$tasklist_len = count($tasklist);
$tasklist_pos = 0;


$handle_list = array();


while(1){


         //子進程列表有空閑,則填充補齊子進程列表
         if($exec_number > count($handle_list) &&
                             $tasklist_pos < $tasklist_len)
         {
                 for($i=$tasklist_pos; $i<$tasklist_len; )
                     {
                             $command = $tasklist[$i] ;
                             $handle_list[] = popen($command , "r" );
                             tolog("begin task \t ".$tasklist[$i]);
                             $i++;
                             if($exec_number == count($handle_list)) break;
                     }
                     $tasklist_pos = $i;
         }


         //如果子進程列表空，退出
         if(0 == count($handle_list))
         {
                     break;
         }


         //檢查子進程列表的輸出，把停掉的子進程關閉並記錄下來
         $end_handle_keys = array();
         foreach($handle_list as $key => $handle)
         {
                     //$str = fgets($handle, 65536);
                     $str = fread($handle, 65536);
                     echo($str);


                     if(feof($handle))
                     {
                             $end_handle_keys[] = $key;
                             pclose($handle);
                     }
         }


         //踢出停掉的子進程
         foreach($end_handle_keys as $key)
         {
                     unset($handle_list[$key]);
                     //var_dump($handle_list);
                     //exit;
         }



}

tolog("\n\n*******************end**********************\n\n", "" ,     true);
?>