Parallel Python——一個簡單的分布式計算系統

如何建立一個高速的分布式計算平台？Parallel python此目的。

Parallel Python（http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS）是Python進行分布式計算的開源模塊。可以將計算壓力分布到多核CPU或集群的多台計算機上。可以很方便的在內網中搭建一個自組織的分布式計算平台。

在不同節點執行server程序，並自己主動發現執行server的節點。命令例如以下：

    node-1> ./ppserver.py -a

    node-2> ./ppserver.py -a

    node-3> ./ppserver.py -a

client

    import pp

    ppservers=("*",)  #自己主動發現模式

    job_server = pp.Server(ppservers=ppservers) 

   提交運行的任務

    f1 = job_server.submit(func1, args1, depfuncs1, modules1)

    f2 = job_server.submit(func1, args2, depfuncs1, modules1)

    f3 = job_server.submit(func2, args3, depfuncs2, modules2) 

    檢索結果

    r1 = f1()

    r2 = f2()

    r3 = f3() 

版權聲明：本文博客原創文章，博客，未經同意，不得轉載。