時間復雜度和空間復雜度

算法的時間復雜度和空間復雜度

算法的時間復雜度

時間頻度T(n)

一個算法中的語句執行次數稱為語句頻度或時間頻度。記作T(n)

時間復雜度O(f(n))

一般情況下，算法中的基本操作語句的重復執行次數(即時間頻度)是問題規模n的某個函數，用T(n)表示。若有某個輔助函數f(n)，使得當n趨近於無窮大時，T(n) / f(n)的極限值為不等於零的常數，則成f(n)是T(n)的同數量級函數(等價無窮小)。記作T(n) = O(f(n))，稱O(f(n))為算法的漸進時間復雜度，簡稱復雜度。

計算時間復雜度的方法

• step1: 用常數1代替運行時間中的所有加法常數T(n) = 3n^2 + 7n + 6 ——> T(n) = 3n^2 + 7n + 1
• step2: 修改后的運行次數函數中，只保留最高階項T(n) = 3n^2 + 7n + 1——> T(n) = 3n^2
• step3: 去除最高階項的系數T(n) = 3n^2 ——> T(n) = n^2——>O(n2)

常見的時間復雜度

1. 常數階O(1)
2. 對數階O(log2n)
3. 線性階O(n)
4. 線性對數階O(nlog2n)
5. 平方階O(n^2)
6. 立方階O(n^3)
7. k次方階O(n^k)
8. 指數階O(2^n)
9. n!
10. n^n

常見的算法時間復雜度由小到大依次為：O(1) < O(log2n) < O(n) < O(nlog2n) < O(n^2) < O(n^3) < O(n^k) < O(2^n) < O(n!) < O(n^n)，隨着問題規模n的不斷擴大，上述時間復雜度不斷增大，算法的執行效率越低

常數階O(1)

int i = 1;
int j = 10000000;

無論代碼執行了多少行，只要是沒有循環等復雜結構，那這個代碼的時間復雜度就是O(1)

對數階O(log2n)

int i = 1;
while (i < n) {
    i = i * 2;
}

循環中的語句執行1次，i的值為2；執行2次，i的值4...若執行x次，則i的值為2^x

循環退出的條件為：i == n

也即2^x == n，則x = log2n，即T(n) = log2n，則時間復雜度O(log2n)

線性階O(n)

for (int i = 1; i <= n; i ++) {
    j = i;
    j ++;
}

for循環里面的代碼會執行n遍，它消耗的時間是隨着n的變化而變化的，因此這類代碼都可以用O(n)來表示它的時間復雜度

線性對數階O(nlogN)

for (m = 0; m < n; m ++) { // 時間復雜度為O(n)
    i = 1;
    while (i < n) { //時間復雜度為O(log2n)
        i = i * 2;
    }
}

線性對數階O(nlogN) 其實非常容易理解，將時間復雜度為O(logn)的代碼循環n遍的話，那么它的時間復雜度就是 n * O(logN)，也就是了O(nlogN)

平方階O(n^2)

for (int i = 1; i <= n; i ++) {
    for (int j = 1; j <= n; j ++) {
        j = i;
        j ++;
    }
}

如果把 O(n) 的代碼再嵌套循環一遍，它的時間復雜度就是 O(n²)，這段代碼其實就是嵌套了2層n循環，它的時間復雜度就是 O(nn)，即O(n^2) 如果將其中一層循環的n改為m，那么它的時間復雜度就變成了O(mn)(O(mn)相當於兩層for循環，一層執行m次，一層執行n次)。

立方階O(n^{3)、k次方階O(n}k)

O(n³)相當於三層n循環，其他的類似

平均時間復雜度和最壞時間復雜度

• 平均復雜度：指所有可能的輸入實例均以等概率出現的情況下，該算法的運行時間。

• 最壞時間復雜度：最壞情況下的時間復雜度，一般討論的時間復雜度均是最壞情況下的時間復雜。這樣做的原因是：最壞情況下的時間復雜度是算法在任何輸入實例上運行時間的界限，這就保證了算法的運行時間不會比最壞情況更長。

• 平均時間復雜度和最壞時間復雜度是否一致，和算法有關。

算法的空間復雜度

• 類似於時間復雜度的討論，一個算法的空間復雜度(Space Complexity)定義為該算法所耗費的存儲空間，它也是問題規模n的函數。

• 空間復雜度(Space Complexity)是對一個算法在運行過程中臨時占用存儲空間大小的量度。有的算法需要占用的臨時工作單元數與解決問題的規模n有關，它隨着n的增大而增大，當n較大時，將占用較多的存儲單元，例如快速排序和歸並排序算法就屬於這種情況

• 在做算法分析時，主要討論的是時間復雜度。從用戶使用體驗上看，更看重的程序執行的速度。一些緩存產品(redis, memcache)和算法(基數排序)本質就是用空間換時間.