提出單純形的思路
我們知道,線性規划(LP)問題如果有最優解,必可在某個極點(基本可行解)上達到。一個直觀的想法是:對於LP問題,找出所有的基本可行解,然后逐個比較,即枚舉法。但是事實上,時間開銷會非常大,假設原問題中有n個變量,m個約束條件,則時間開銷為$C^{m}_{n}$,而$C^{m}_{n}$會隨着m,n的增大而迅速地增大。顯然,這不可行。
換種思路:若從某一基本可行解出發,每次總是尋求比上一個更“好”的基本可行解,直至找到最優解。這樣就可以大大減少計算量,其實這樣的思想應用在非常多的地方,比如梯度下降等等。
如果我們要使用這種迭代的求解方法,我們需要解決下面的三個問題:
- (1) 如何判斷當前的基本可行解是最優解(迭代終點);
- (2) 如何尋找下一個改善的基本可行解(迭代關系式);
- (3) 如何得到一個初始的基本可行解(迭代起點);
美國數學家丹奇格(G.B.Dantzig)解決了上面的三個問題,也就得到了一種快速求解LP問題的方法,我們稱為單純形法。
通過一個例子進行分析
舉個例子。
問題描述
設有某LP問題如下
$max\ z=cx\\ s.t.
\left\{ \begin{gathered}
Ax=b \hfill \\
x\geq 0 \hfill \\
\end{gathered} \right.$
其中,$c=\begin{bmatrix}5&2&0&0&0\end{bmatrix}$,$x=\begin{bmatrix}x_1\\x_2\\x_3\\x_4\\x_5\end{bmatrix}$,$A=\begin{bmatrix}30&20&1&&\\5&1&&1&\\1&&&&1\\ \end{bmatrix}$,$B=\begin{bmatrix}160\\15\\4\end{bmatrix}$。
解:
令$B^{(0)}=(p_3,p_4,p_5)=\begin{bmatrix}1&&\\&1&\\&&1\end{bmatrix}$為基矩陣,即$x_3,x_4,x_5$為基變量,$x_1,x_2$為非基變量。
使用非基變量表示基變量,有$\left\{ \begin{gathered}
x_3=160-30x_1-20x_2 \hfill \\
x_4=15-5x_1-x_2 \hfill \\
x_5=4-x_1 \hfill \\
\end{gathered} \right.$。因此,目標函數的非基表示為$z=0+5x_1+2x_2$。
令$x_1=0,x_2=0$,則得到一個基本可行解為$x^{(0)}=(0,0,160,15,4)^T$,目標函數$z^{(0)}=0$,顯然這不是最優解。我們需要換一組基變量(即從一個頂點移動到另一個頂點)。於是,我們選取$(x_1,x_2)$中的一個變量(換入基變量),$(x_3,x_4,x_5)$中的一個變量(換出基變量),進行換入換出。現在,假設換入基變量為$x_1$,下面確定換出基變量。(在這里我們稱進行基變換的兩個變量為換入基變量和換出基變量,也可以稱為進基變量和離基變量)
由於$x_2$仍為非基變量,故$x_2$仍取零值。因此,有$\left\{ \begin{gathered}
x_3=160-30x_1 \hfill \\
x_4=15-5x_1 \hfill \\
x_5=4-x_1 \hfill \\
\end{gathered} \right.$由於有$x\geq 0$,因此$x_1=min\{160/30,15/5,4/1\}=3$,故$x_4$為換出基變量,這樣得到一個新的基本可行解$x^{(1)}=(3,0,70,0,1)$,相應的基矩陣$B^{(1)}=(p_3,p_1,p_5)$,基變量為$x_3,x_1,x_5$,非基變量為$x_2,x_4$,對應的目標函數值$z^{(1)}=15>z^{(0)}=0$。因此,$x^{(1)}$是比$x^{(0)}$改善的基本可行解。
下面分析$x^{(1)}$是否是最優解。在上面我們得到目標函數值$z=0+5x_1+2x_2$,根據約束方程組,我們可以得到$x_1=3-\frac{1}{5}x_2-\frac{1}{5}x_4$,代入目標函數式,我們得到$z=15+x_2-x_4$。觀察左式,我們發現非基變量$x_2$前的系數為正,增加$x_2$,目標函數值仍可以增大,或者說,讓$x_2$做換入基變量,進行換入,我們有可能使目標函數值增大。因此,$x^{(1)}$不是最優解。
使用相同的方法,以$x_2$為換入基變量,我們得到$x_3$為換出基變量,得到新的基本可行解$x^{(2)}=(2,5,0,0,2)^T$,目標函數$z=20-\frac{1}{14}x_3-\frac{4}{7}x_4$,在左式中,我們可以看出非基變量$x_3$或$x_4$由零值增加,只會使得目標函數值$z$減少,故$x^{(3)}$是最優解。
下面歸納一下單純形法的基本解題步驟。
單純形法的基本過程
第一步:構造一個初始的基本可行解。
第二步:判斷當前基本可行解是否為最優解。
第三步:若當前解不是最優解,則要進行基變換迭代到下一個基本可行解。
最優性檢驗
這一部分,我們來判斷當前解是否是最優解。我們將目標函數化為如左的形式$z=z_0+\sum_{j=m+1}^{n}{\sigma_j\cdot x_j}$。我們稱$\sigma_j$為非基變量$x_j$的檢驗數。有以下定理
若關於非基變量的所有檢驗數$\sigma_j\leq 0$成立,則當前基本可行解$x^*$就是最優解。
基變換
我們通過基變換迭代到下一個改善了的基本可行解。問題在於,我們如何選擇換入基變量和換出基變量。
- (1) 換入基變量的選擇 對於$z=z_0+\sum_{j=m+1}^{n}{\sigma_j\cdot x_j}$,若有兩個以上的$\sigma>0$,則選最大$\sigma$。
- (2) 換出基變量的選擇 假設換入基變量為$x_k$。在上一輪迭代中的多個基變量中,增長$x_k$最先達到0的基變量為換出基變量。
無窮多個最優解及無界解的判定
實際上,有些LP問題無解或者會有無窮多個解。這兩類情況有些特殊,需要在迭代中進行額外的判斷,防止程序陷入死循環或者出錯。
- (1) 無窮多個最優解的判定 如果當前基本可行解$x^{(k)}$的所有非基變量的檢驗數$\sigma_i$滿足$\sigma_i\leq 0$,且其中一個$\sigma_j=0$,則該LP問題有無窮多個最優解。
- (2) 無界解的判定 如果當前基本可行解$x^{(k)}$,其中一個非基變量$x_i$的檢驗數$\sigma_i>0$,且$x_i$對應的系數列向量$p_i=(a_1,a_2,...,a_m)$中,所有分量$a_j\leq 0$,則該線性規划問題具有無界解(或者稱無最優解)。這個可能比較費解,換種說法,可能會容易理解一點:某次迭代中,對於換入基變量$x_i$,無法找到一個換出基變量,則此問題無界。
單純形法的python實現
在編程的過程中,我們會思考一些具體的細節,也許會有新發現哦。
#python 3
import numpy as np
from itertools import combinations
# 實體類 Solution
# 控制類 Simplex
class Solution:
def __init__(self):
pass
def set_para(self,A,b,z):
# A m*n
# b m*1
# z 1*(m+1)
self.A=A
self.b=b
self.z=z
self.m,self.n=A.shape
self.x_index=[i for i in range(self.n)]
def get_init_solution(self):
for JB in combinations(range(self.n),self.m):
if self._is_solution(JB):
JB,JN=self._rearrange(JB)
self._set_JB_JN(JB,JN)
return True
return False
def _is_solution(self,JB):
B=np.hstack([self.A[:,i] for i in JB])
# B的行列式的值不為0,則B是一個可逆矩陣
if np.linalg.det(B):
return True
return False
def _rearrange(self,JB):
JN=[i for i in range(self.n) if i not in JB]
B=np.hstack([self.A[:,i] for i in JB])
N=np.hstack([self.A[:,i] for i in JN])
self.z=[self.z[0,i] for i in JB]+[self.z[0,i] for i in JN]+[self.z[0,-1]]
self.z=np.matrix([self.z],dtype=float)
# 將B轉化為單位矩陣
# 即(B|N)x=b -> (I|B'N)x=B'b
self.A=np.hstack((np.eye(self.m),B.I*N))
self.b=np.dot(B.I,self.b)
# 相應的重新定義JN,JB
self.x_index=list(JB)+list(JN)
JB=[i for i in range(self.m)]
JN=[i for i in range(self.m,self.n)]
# 在目標函數中,使用非基變量替代基變量
for i in range(self.m):
_change=np.zeros((1,self.n+1))
_change[0,:self.n]=self.A[i,:]
_change[0,-1]=-self.b[i,0]
self.z-=_change*self.z[0,i]
return JB,JN
def _set_JB_JN(self,JB,JN):
self.JB=JB
self.JN=JN
def is_best(self):
best,inf_solution=True,False
for i in self.JN:
sigma=self.z[0,i]
if sigma>0:
best=False
elif sigma==0:
inf_solution=True
return best,inf_solution
def get_inVar(self):
greatest_sigma=0
for i in self.JN:
sigma=self.z[0,i]
if greatest_sigma<sigma:
greatest_sigma=sigma
inVar=i
return inVar
def get_outVar(self,inVar):
min_ratio=self.b[self.JB[0],0]/self.A[self.JB[0],inVar]
outVar=self.JB[0]
flag=False
for i in self.JB[1:]:
k=self.A[i,inVar]
if k>0:
flag=True
_tmp=self.b[i,0]/k
if _tmp<min_ratio:
min_ratio=_tmp
outVar=i
if flag==False:
return None
return outVar
def in_and_out(self,inVar,outVar):
self.A[:,[inVar,outVar]]=self.A[:,[outVar,inVar]]
self.x_index[outVar],self.x_index[inVar]=self.x_index[inVar],self.x_index[outVar]
self.z[0,inVar],self.z[0,outVar]=self.z[0,outVar],self.z[0,inVar]
B=np.hstack([self.A[:,i] for i in self.JB])
N=np.hstack([self.A[:,i] for i in self.JN])
# 將B轉化為單位矩陣
# 即(B|N)x=b -> (I|B'N)x=B'b
self.A=np.hstack((np.eye(self.m),B.I*N))
self.b=np.dot(B.I,self.b)
# 在目標函數中,使用非基變量替代基變量
for i in range(self.m):
_change=np.zeros((1,self.n+1))
_change[0,:self.n]=self.A[i,:]
_change[0,-1]=-self.b[i,0]
self.z-=_change*self.z[0,i]
def getX(self):
x=[0]*self.n
for i in self.JB:
x[self.x_index[i]]=self.b[i,0]
return x
class Simplex:
def __init__(self):
self.solution=Solution()
# 0 正常,尚未得到最優解,繼續迭代
# 1 無解,無界解
# 2 達到最優解
# 3 問題有無數個最優解
self.status=0
def set_para(self,A,b,z):
# A,b,z 需以矩陣的形式輸入
self.solution.set_para(A,b,z)
def output_result(self):
self._main()
if self.status==1:
print("此問題無界")
elif self.status==2:
print("此問題有一個最優解")
elif self.status==3:
print("此問題有無窮多個最優解")
def _main(self):
# 獲得初始可行解
self._get_init_solution()
if self.status==1:
return
while True:
print ("--------------------")
print ("z:",self.solution.z[0,-1])
print ("x:",self.solution.getX())
# 最優性檢驗
self._is_best()
if self.status in (2,3):
return
# 換入換出
self._mainloop()
if self.status in (1,2):
return
def _get_init_solution(self):
if self.solution.get_init_solution():
self.status=0
else:
self.status=1
def _is_best(self):
best,inf_solution=self.solution.is_best()
if best==True and inf_solution==False:
self.status=2
elif best==True and inf_solution==True:
self.status=3
else:
self.status=0
def _mainloop(self):
inVar =self.solution.get_inVar()
outVar=self.solution.get_outVar(inVar)
# 未找到換出基變量,此問題有無界解
if outVar==None:
self.status=1
return
self.solution.in_and_out(inVar,outVar)
if __name__=="__main__":
s=Simplex()
A=np.matrix([[30,20,1,0,0],
[ 5, 1,0,1,0],
[ 1, 0,0,0,1]])
b=np.matrix([[160,15,4]]).T
# sigma,...,z0
z=np.matrix([[5,2,0,0,0, 0]])
s.set_para(A,b,z)
s.output_result()
單純形表法及其python實現
上面了說了一下單純形的原理和程序實現,下面我們看一下單純形表。
表格格式
設線性規划問題
$max\ z=cx\\ s.t.
\left\{ \begin{gathered}
Ax=b \hfill \\
x\geq 0 \hfill \\
\end{gathered} \right.$
其中,$A=\begin{bmatrix}1&&&&a_{1,m+1}&\cdots&a_{1,n}\\&1&&&a_{2,m+1}&\cdots&a_{2,n}\\&&\ddots&&&&\\&&&1&a_{m,m+1}&\cdots&a_{m,n} \end{bmatrix}$,$c=\begin{bmatrix}c_1&c_2&\cdots &c_n\end{bmatrix}$,
$x=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}^T$,$B=\begin{bmatrix}b_1&b_2&\cdots&b_m\end{bmatrix}^T$。
我們建立如下表格

其中,
- (1) 第1行是價值系數,標出了決策變量$x_j$的價值系數$c_j(j=1,2,\cdots,n)$。
- (2) 第2行是標識行,標出表中主體各列的含義。
- (3) 最后1行是檢驗數行,除$(-z_0)$是表示當前解的目標函數$z$的負值外,其余各元素均為對應決策變量$x_j$的檢驗數$\sigma_j(j=0,1,\cdots,n)$(基變量的檢驗數為0)。
- (4) 第1列是$c_B$列,標出基變量的價值系數。
- (5) 第2列是$x_B$列,標出當前基變量的名稱。
- (6) 第3列是右端項,前$m$個元素是當前基本可行解的基變量的取值。第$(m+1)$個元素是$(-z)$的取值。
- (7) 其余個列標出了約束方程組中決策變量$x_j$的系數列向量$p_j(j=0,1,\cdots,n)$(因為$z$永遠不會被換出,因此表中省去了$z$的系數列)。
- (8) 最后一列留做最小比值准則求各個比值時填數據用。(最小比值准則,即選擇換出基變量的准則)。
具體步驟
- (1) 檢驗當前基本可行解是否為最優解?
觀察單純形表的檢驗數行,若所有的$\sigma_j\leq 0$,則停止計算,已得到最優解,否則進行下一步。
- (2) 檢驗是否為無界解?
在$\sigma_j>0(j∈J_N)$,若有一個$\sigma_{m+t}>0$,而在單純形表中$\sigma_{m+t}$所在列的其他元素,即$p_{m+t}$列的所有分量$a_{i,m+t}\leq 0(i=1,2,\cdots,m)$,則該問題無最優解,停止計算,否則進入下一步。
- (3) 選擇換入基變量。
由換入基變量選擇准則:$\max{\sigma_j}(\sigma_j>0,j∈J_N) = \sigma_{m+t}$,選擇$x_{m+t}$為換入基變量,相應$p_{m+t}$為換入基向量。稱$p_{m+t}$所在列為主列。
- (4) 選擇換出基變量。
由換出基變量的最小比值准則:
$\theta=min_i\{\frac{b_i}{a_{i,m+t}}|a_{i,m+t}>0\}=\frac{b_l}{a_{l,m+t}}$
則稱第$l$行為主行,與主行所對應的基變量$x_l$為換出基變量。
在求最小比值時,可將每一個比值$\frac{b_i}{a_{i,m+t}}(a_{i,m+t}>0)$紀在單純形表的最后一列($\theta$列)的對應位置上,然后從中選出最小值。
- (5) 基變換。
將可行基由$(p_1,\cdots,p_l,\cdots,p_m)$變換為$(p_1,\cdots,p_{l-1},p_{m+t},p_{l+1},\cdots,p_m)$,且將主列$p_{m+t}$化為單位列向量$e_l$即
$p_{m+t}=\begin{bmatrix}a_{1,m+t}\\a_{2,m+t}\\ \vdots \\a_{m,m+t} \end{bmatrix} \underset{\Longrightarrow}{\ 化為\ }\ p_l=\begin{bmatrix}0\\ \vdots\\1\\ \vdots \\0\end{bmatrix}\leftarrow\ 第l個分量$
- (6) 回到(1),對新解做最優性檢驗。
看起來,是不是特別復雜,有沒有感覺單純表很麻煩。其實,單純形表明確了同時大大簡化了,單純形的整個計算過程。下面以一個例子進行分析。
例子
仍然使用最開始的例子,即某問題的數學模型標准形式如下:
$\max{z}=5x_1+2x_2+0x_3+0x_4+0x_5$;
$s.t.\left \{ \begin{gathered}
30x_1+20x_2+x3=160 \hfill \\
5x_1+x_2+x_4=15 \hfill \\
x_1+x_5=4 \hfill \\
x_j\geq0,j=1,2,3,4,5 \hfill \\
\end{gathered} \right.$
解 首先,我們建立初始的單純形表,如下

- 建表 初始可行基$B^{(0)}=(p_3,p_4,p_5)$,基變量為$x_3,x_4,x_5$,非基變量為$x_1,x_2$。
- 判優 由於$\sigma_1=5>0,\sigma_2=2>0$,故當前解不是最優解;同時判斷得本題也不是無最優解問題。
- 選擇換入換出基變量 由於$\sigma_1>\sigma_2$,所以選擇$x_1$為換入基變量。根據最小比值准則:$\frac{160}{30},\frac{15}{5},\frac{4}{1}$,可見最小比值為3,選擇$x_4$為換出基變量,$a_{2,1}$為主元素。
- 換入換出 使用初等行變換,將主元素$[5]$化為1,將主列$p_1$的其他各元素化為0,得到下表。(具體來說,首先將主元素那一行(主行)的所有元素除以5,然后主行上一行減去主行*30,主行下一行減去主行*1,此外檢驗數那一行減去主行*5)

- 判優 由於$\sigma_2=1>0$,故當前解不是最優解;同時判斷得本題也不是無最優解問題。
- 選擇換入換出基變量 由於$\sigma_2=1>0$,所以選擇$x_2$為換入基變量。根據最小比值准則:$\frac{70}{14},\frac{3}{1/5}$,可見最小比值為3,選擇$x_3$為換出基變量,$a_{1,2}$為主元素。
- 換入換出 使用初等行變換,將主元素$[14]$化為1,將主列$p_2$的其他各元素化為0,得到下表。

- 判優 由於所有的檢驗數都小於0,故當前解是最優解。因此,$z$的最大值為20,此時$x_1=2,x_2=5,x_5=2$。
python實現
import numpy as np
# 實體類 Table
# 控制類 Simplex
class Table:
def __init__(self):
pass
def set_para(self,A,b,c,base,z0):
"""
輸入LP必須已經化為標准形式
"""
self.A=A
self.b=b
self.c=c
self.z0=z0
self.base=base
self.m,self.n=self.A.shape
def build(self):
self.table=np.zeros((self.m+1,self.n+1))
self.table[:-1,:1]=self.b.T
self.table[-1 ,0]=self.z0
self.table[:-1,1:]=self.A
self.table[-1, 1:]=c
self.baseVar=base
def is_best(self):
for sigma_index in range(self.n):
if sigma_index not in self.baseVar:
sigma=self.table[-1,1+sigma_index]
if sigma>0:
return False
return True
def is_no_solution(self):
for sigma_index in range(self.n):
if sigma_index not in self.baseVar:
sigma=self.table[-1,1+sigma_index]
if sigma>0:
no_solution_flag=True
for a in self.table[:-1,1+sigma_index]:
if a>0:
no_solution_flag=False
if no_solution_flag==True:
return True
return False
def get_inVar(self):
max_sigma=0
inVar=None
for sigma_index in range(self.n):
if sigma_index not in self.baseVar:
sigma=self.table[-1,1+sigma_index]
if sigma>max_sigma:
max_sigma=sigma
inVar=sigma_index
return inVar
def get_outVar(self,inVar):
rates=[]
for nobaseVar in range(self.m):
a=self.table[nobaseVar,inVar+1]
b=self.table[nobaseVar, 0 ]
if a>0:
rate=b/a
rates.append((rate,nobaseVar))
return min(rates)[1]
def in_out(self,inVar,outVar):
a=self.table[outVar,inVar+1]
self.table[outVar,:]/=a
for i in range(self.m+1):
if i != outVar:
self.table[i,:]-=self.table[outVar,:]*self.table[i,inVar+1]
self.baseVar[outVar]=inVar
def show(self):
print ('基變量/取值:',self.baseVar,end='/')
print (self.table[:-1,0])
print ("單純形表")
for i in range(self.m+1):
for j in range(self.n+1):
print ('%6.2f'%self.table[i,j],end=' ')
print ()
print ()
class Simplex:
def __init__(self):
self.table=Table()
# 0 正常,尚未得到最優解,繼續迭代
# 1 無解,無界解
# 2 達到最優解
self.status=0
self.inVar=None
self.outVar=None
def set_para(self,A,b,c,base,z0=0):
self.table.set_para(A,b,c,base,z0)
def output_result(self):
self._main()
if self.status==1:
print("此問題無界")
elif self.status==2:
print("此問題有一個最優解")
elif self.status==3:
print("此問題有無窮多個最優解")
def _main(self):
self._build_table()
while 1:
self.table.show()
if self._is_best() or self._is_no_solution():
return
self._get_inVar()
self._get_outVar()
self._in_out()
def _build_table(self):
self.table.build()
def _is_best(self):
if self.table.is_best():
self.status=2
return True
return False
def _is_no_solution(self):
if self.table.is_no_solution():
self.status=1
return True
return False
def _get_inVar(self):
self.inVar=self.table.get_inVar()
def _get_outVar(self):
self.outVar=self.table.get_outVar(self.inVar)
def _in_out(self):
self.table.in_out(self.inVar,self.outVar)
if __name__=="__main__":
s=Simplex()
A=np.matrix([[30,20,1,0,0],
[ 5, 1,0,1,0],
[ 1, 0,0,0,1]])
b=np.matrix([[160,15,4]])
c=np.matrix([[5,2,0,0,0]])
base=[2,3,4]
s.set_para(A,b,c,base)
s.output_result()
人工變量及其處理辦法
需要注意的是,上面的單純形表格法的基本假設是,輸入的A中包含一個單位矩陣(也就是說,初始可行基為單位矩陣)。往往,我們需要添加人工變量來達到這個條件。例如
$A=\begin{bmatrix}30&20&1&1&2\\5&1&2&1&3\\1&2&3&4&1\\ \end{bmatrix}$,對於A這個矩陣,如果我們通過初等行變換將其轉化為一個包含單位矩陣的矩陣,這是比較麻煩的;為了解決這個問題,我們通過添加人工變量$x_6,x_7,x_8$的方法,將A變成$\begin{bmatrix}30&20&1&1&2&1&&\\5&1&2&1&3&&1&\\1&2&3&4&1&&1\\ \end{bmatrix}$,這樣A中就含有一個單位陣。我們可以以$x_6,x_7,x_8$為基變量,開始迭代。但是添加了人工變量后的問題與原問題已經不等價了。只有當最優解中,人工變量都取0值時,才可以認為兩個問題的最優解是相當的。
為了解決這個問題,兩種方法被引入。
1.大M法
假設原目標函數為$\max{z}=\sum{c_jx_j}$,添加人工變量之后,我們將目標函數修改為$\max{z}=\sum{c_jx_j}-Mx_{n+1}-Mx_{n+2}-\cdots-Mx_{n+m}$。其中,$M$是個很大的正數。為了對目標函數實現最大化,人工變量就會被迅速換出去。
2.兩階段法
當線性規划問題添加了人工變量之后,我們可以將問題拆成兩個問題。
第一階段求解第一個線性規划問題,目標函數為$\min{w}=\sum{x_{n+i}}$,即目標是對所有人工變量之和求最小。需要說明的是,當求得的最優解中,至少有一個人工變量不為0值,說明原問題無可行解,不需要繼續進行第二階段的計算。
第二階段,目標函數為添加人工變量之前的目標函數。
1
