【Linux】單計算機安裝PBS系統(Torque)與運維


1、此次使用torque-5.0.0-1_43d8f09a.tar.gz這個版本http://www.adaptivecomputing.com/downloading/?file=/torque/torque-5.0.0-1_43d8f09a.tar.gz,我所使用的linux系統是centos6.5。將torque源碼包下載至linux根目錄下的tmp文件夾,tar -xf命令解壓。並安裝以下編譯工具:

yum install libtool-devel libxml2-devel openssl-devel gcc gcc-c++ boost-devel

2、cd命令進入解壓后的文件夾torque-5.0.0-1_43d8f09a,切換為root用戶,逐次運行下列四條命令:

./configure
make
sudo make install
make packages

最后一條命令會在文件夾內產生下面這些.sh腳本:

torque-package-clients-linux-x86_64.sh
torque-package-devel-linux-x86_64.sh
torque-package-doc-linux-x86_64.sh
torque-package-mom-linux-x86_64.sh
torque-package-server-linux-x86_64.sh

在本機安裝腳本:

./torque-package-clients-linux-x86_64.sh --install
./torque-package-mom-linux-x86_64.sh --install

在目錄即/tmp/torque-5.0.0-1_43d8f09a下執行:

cp contrib/init.d/pbs_server /etc/init.d/pbs_server
chkconfig --add pbs_server
cp contrib/init.d/pbs_server /etc/init.d/pbs_sched
chkconfig --add pbs_sched
cp contrib/init.d/pbs_server /etc/init.d/trqauthd
chkconfig --add trqauthd

本機即是管理節點也是計算節點:

cp ./contrib/init.d/pbs_mom /etc/init.d/
chkconfig --add pbs_mom
service pbs_mom start
./torque.setup root
qterm -t quick
pbs_server
qstat -q

3、返回linux根目錄:

cd /

進入路徑:/var/spool/torque/server_priv/

創建nodes文件:

vi nodes

往里面寫入內容:localhost.localdomain np=1

保存此文件,再reboot命令重啟操作系統。

4、Torque主要是由三個主要部件組成:

(1)pbs_server:PBS服務守護進程,負責接收作業提交,位於服務節點上
(2)pbs_sched:PBS調度守護進程,負責調度作業,位於服務節點上 
(3)pbs_mom:PBS守護進程, 負責監控本機並執行作業,位於所有計算節點上

在單計算機環境下,以上三者均運行在本機。

5、明白了4的意思之后就啟動torque了:

pbs_server
pbs_sched
pbs_mom
trqauthd

6、啟動服務后可以寫個腳本run.sh測試一下:

#!/bin/sh

g++ -o test1 test1.cpp
sleep 60
./test1

可以在本地隨便寫一個c++代碼test1.cpp,然后命令提交腳本至pbs:

qsub ./run.sh

再使用命令qstat查看:

qstat -a

7、pbs常用命令匯總:

qsub提交作業、qstat查看已投運作業的情況、qdel刪除作業、pnodes查看計算節點資源;
交互模式提交作業,qsub -I;在交互模式中轉發圖形界面,適用於畫圖、有圖形界面的軟件,qsub -I -X;
查看作業運行的節點,qstat -n;查看系統作業隊列划分情況(每個隊列包含的節點、用戶控制),qstat -Qf;
pbs作業腳本常用格式:

#PBS -N python_cos_work
#PBS -l nodes=1:ppn=2
#PBS -l mem=2G
#PBS -l walltime=7200:00:00
#PBS -q batch 
#PBS -V  

cd /home/tuzhuo/code/git/pycode/rs
python cos.py

pnodes命令查看系統資源,根據系統可用的CPU資源,為自己的作業合理申請資源;

 

tz@croplab,HZAU

2019/7/26


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM