算法的時間復雜度分析

　　在上一篇文章中對時間復雜度及其舉例進行了簡單描述，本篇文章將分析算法的時間復雜度和相關方法。

1、事前分析估算的方法

        因事后統計方法更多的依賴於計算機的硬件、軟件等環境因素，有時容易掩蓋算法本身的優劣。因此人們常常采用事前分析估算的方法。本文對事后統計方法不做描述。在編寫程序前，依據統計方法對算法進行估算。一個用高級語言編寫的程序在計算機上運行時所消耗的時間取決於下列因素：

      (1). 算法采用的策略、方法；(2). 編譯產生的代碼質量；(3). 問題的輸入規模；(4).  機器執行指令的速度。

     一個算法是由控制結構（順序、分支和循環3種）和原操作（指固有數據類型的操作）構成的，則算法時間取決於兩者的綜合效果。為了便於比較同一個問題的不同算法，通常的做法是，從算法中選取一種對於所研究的問題（或算法類型）來說是基本操作的原操作，以該基本操作的重復執行的次數作為算法的時間量度。

2、時間復雜度

（1）時間頻度 一個算法執行所耗費的時間，從理論上是不能算出來的，必須上機運行測試才能知道。但我們不可能也沒有必要對每個算法都上機測試，只需知道哪個算法花費的時間多，哪個算法花費的時間少就可以了。並且一個算法花費的時間與算法中語句的執行次數成正比例，哪個算法中語句執行次數多，它花費時間就多。一個算法中的語句執行次數稱為語句頻度或時間頻度。記為T(n)。
（2）時間復雜度 在剛才提到的時間頻度中，n稱為問題的規模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現什么規律。為此，我們引入時間復雜度概念。 一般情況下，算法中基本操作重復執行的次數是問題規模n的某個函數，用T(n)表示，若有某個輔助函數f(n),使得當n趨近於無窮大時，T(n)/f(n)的極限值為不等於零的常數，則稱f(n)是T(n)的同數量級函數。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為算法的漸進時間復雜度，簡稱時間復雜度。

　　T (n) = Ο(f (n)) 表示存在一個常數C，使得在當n趨於正無窮時總有 T (n) ≤ C * f(n)。簡單來說，就是T(n)在n趨於正無窮時最大也就跟f(n)差不多大。也就是說當n趨於正無窮時T (n)的上界是C * f(n)。其雖然對f(n)沒有規定，但是一般都是取盡可能簡單的函數。例如，O(2n²+n +1) = O (3n²+n+3) = O (7n² + n) = O ( n² ) ，一般都只用O(n²)表示就可以了。注意到大O符號里隱藏着一個常數C，所以f(n)里一般不加系數。如果把T(n)當做一棵樹，那么O(f(n))所表達的就是樹干，只關心其中的主干，其他的細枝末節全都拋棄不管。
　　在各種不同算法中，若算法中語句執行次數為一個常數，則時間復雜度為O(1),另外，在時間頻度不相同時，時間復雜度有可能相同，如T(n)=n²+3n+4與T(n)=4n²+2n+1它們的頻度不同，但時間復雜度相同，都為O(n²)。 按數量級遞增排列，常見的時間復雜度有：常數階O(1),對數階O(log₂n),線性階O(n), 線性對數階O(nlog₂n),平方階O(n²)，立方階O(n³),...， k次方階O(n^k),指數階O(2ⁿ)。隨着問題規模n的不斷增大，上述時間復雜度不短增大，算法的執行效率也越低。

　　常見的算法時間復雜度由小到大依次為：Ο(1)＜Ο(log₂n)＜Ο(n)＜Ο(nlog₂n)＜Ο(n²)＜Ο(n³)＜…＜Ο(2ⁿ)＜Ο(n!)

3、求解算法時間復雜度的具體步驟：

　　找出算法中的基本語句；

　　算法中執行次數最多的那條語句就是基本語句，通常是最內層循環的循環體。

　　⑵ 計算基本語句的執行次數的數量級；

　　只需計算基本語句執行次數的數量級，這就意味着只要保證基本語句執行次數的函數中的最高次冪正確即可，可以忽略所有低次冪和最高次冪的系數。這樣能夠簡化算法分析，並且使注意力集中在最重要的一點上：增長率。

　　⑶ 用大Ο記號表示算法的時間性能。

　　將基本語句執行次數的數量級放入大Ο記號中。

　　如果算法中包含嵌套的循環，則基本語句通常是最內層的循環體，如果算法中包含並列的循環，則將並列循環的時間復雜度相加。例如：

　　　　for (i=1; i<=n; i++)
　　　　　　x++;
　　　　for (i=1; i<=n; i++)
　　　　　　for (j=1; j<=n; j++)
   　　        　　x++;

　　第一個for循環的時間復雜度為Ο(n)，第二個for循環的時間復雜度為Ο(n²)，則整個算法的時間復雜度為Ο(n+n²)=Ο(n²)。

　　Ο(1)表示基本語句的執行次數是一個常數，一般來說，只要算法中不存在循環語句，其時間復雜度就是Ο(1)。其中Ο(log₂n)、Ο(n)、 Ο(nlog₂n)、Ο(n²)和Ο(n³)稱為多項式時間，而Ο(2ⁿ)和Ο(n!)稱為指數時間。計算機科學家普遍認為前者（即多項式時間復雜度的算法）是有效算法，把這類問題稱為P（Polynomial,多項式）類問題，而把后者（即指數時間復雜度的算法）稱為NP（Non-Deterministic Polynomial, 非確定多項式）問題。

        一般來說多項式級的復雜度是可以接受的，很多問題都有多項式級的解——也就是說，這樣的問題，對於一個規模是n的輸入，在n^k的時間內得到結果，稱為P問題。有些問題要復雜些，沒有多項式時間的解，但是可以在多項式時間里驗證某個猜測是不是正確。比如問4294967297是不是質數？如果要直接入手的話，那么要把小於4294967297的平方根的所有素數都拿出來，看看能不能整除。還好歐拉告訴我們，這個數等於641和6700417的乘積，不是素數，很好驗證的，順便麻煩轉告費馬他的猜想不成立。大數分解、Hamilton回路之類的問題，都是可以多項式時間內驗證一個“解”是否正確，這類問題叫做NP問題。

4、簡單的程序分析法則：

(1).對於一些簡單的輸入輸出語句或賦值語句,近似認為需要O(1)時間

(2).對於順序結構,需要依次執行一系列語句所用的時間可采用大O下"求和法則"

求和法則:是指若算法的2個部分時間復雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1(n)+T2(n)=O(max(f(n), g(n)))

特別地,若T1(m)=O(f(m)), T2(n)=O(g(n)),則 T1(m)+T2(n)=O(f(m) + g(n))

(3).對於選擇結構,如if語句,它的主要時間耗費是在執行then字句或else字句所用的時間,需注意的是檢驗條件也需要O(1)時間

(4).對於循環結構,循環語句的運行時間主要體現在多次迭代中執行循環體以及檢驗循環條件的時間耗費,一般可用大O下"乘法法則"

乘法法則: 是指若算法的2個部分時間復雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1*T2=O(f(n)*g(n))

(5).對於復雜的算法,可以將它分成幾個容易估算的部分,然后利用求和法則和乘法法則技術整個算法的時間復雜度

另外還有以下2個運算法則:(1) 若g(n)=O(f(n)),則O(f(n))+ O(g(n))= O(f(n))；(2) O(Cf(n)) = O(f(n)),其中C是一個正常數

5、常見的時間復雜度分析說明：

(1)、O(1)

        Temp=i; i=j; j=temp;                    

以上三條單個語句的頻度均為1，該程序段的執行時間是一個與問題規模n無關的常數。算法的時間復雜度為常數階，記作T(n)=O(1)。注意：如果算法的執行時間不隨着問題規模n的增加而增長，即使算法中有上千條語句，其執行時間也不過是一個較大的常數。此類算法的時間復雜度是O(1)。

(2)、O(n²)

2.1. 交換i和j的內容

sum=0；                 （一次）
for(i=1;i<=n;i++)     （n+1次）
   for(j=1;j<=n;j++) （n2次）
    sum++；            （n2次）

解：因為Θ(2n²+n+1)=n²（Θ即：去低階項，去掉常數項，去掉高階項的常參得到），所以T(n)= =O(n²)；

2.2.   

for (i=1;i<n;i++)
 {
     y=y+1;         ①
     for (j=0;j<=(2*n);j++)
        x++;         ②
 }

解： 語句1的頻度是n-1
          語句2的頻度是(n-1)*(2n+1)=2n²-n-1
          f(n)=2n²-n-1+(n-1)=2n²-2；

        又Θ(2n²-2)=n²
          該程序的時間復雜度T(n)=O(n²).  

　　一般情況下，對步進循環語句只需考慮循環體中語句的執行次數，忽略該語句中步長加1、終值判別、控制轉移等成分，當有若干個循環語句時，算法的時間復雜度是由嵌套層數最多的循環語句中最內層語句的頻度f(n)決定的。     

(3)、O(n)                                                              

a=0;
  b=1;                      ①
  for (i=1;i<=n;i++) ②
  {
     s=a+b;　　　　③
     b=a;　　　　　④
     a=s;　　　　　⑤
  }

解： 語句1的頻度：2,        
           語句2的頻度： n,        
          語句3的頻度： n-1,        
          語句4的頻度：n-1,    
          語句5的頻度：n-1,                                  
          T(n)=2+n+3(n-1)=4n-1=O(n).
(4)、O(log₂n)

i=1;     ①
hile (i<=n)
  i=i*2; ②

解： 語句1的頻度是1,  
          設語句2的頻度是f(n),   則：2^f(n)<=n;f(n)<=log₂n    
          取最大值f(n)=log₂n,
          T(n)=O(log₂n )

(5)、O(n³) 

for(i=0;i<n;i++)
   {
      for(j=0;j<i;j++)
      {
         for(k=0;k<j;k++)
            x=x+2;
      }
   }

解：當i=m, j=k的時候,內層循環的次數為k當i=m時, j 可以取 0,1,...,m-1 , 所以這里最內循環共進行了0+1+...+m-1=(m-1)m/2次所以,i從0取到n, 則循環共進行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6所以時間復雜度為O(n³).

6、常用算法時間復雜度和空間復雜度

　　一個經驗規則：其中c是一個常量，如果一個算法的復雜度為c 、 log₂n 、n 、 n*log₂n ,那么這個算法時間效率比較高 ，如果是2ⁿ ,3ⁿ ,n!，那么稍微大一些的n就會令這個算法不能動了，居於中間的幾個則差強人意。

　　算法時間復雜度分析是一個很重要的問題，任何一個程序員都應該熟練掌握其概念和基本方法，而且要善於從數學層面上探尋其本質，才能准確理解其內涵。