算法的时间复杂度和空间复杂度

转载原文：算法的时间复杂度和空间复杂度详解

一、时间复杂度

1. 时间频度

一个算法中的语句执行次数称为语句频度或时间频度，记为T(n)。

2. 时间复杂度

(1) 在时间频度中，n称为问题的规模，当n不断变化时，时间频度T(n)也会不断变化。但有时我们想知道它变化时呈现什么规律。为此，我们引入时间复杂度概念。 一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n),使得当n趋近于无穷大时，T(n)/f(n)的极限值为不等于零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=Ｏ(f(n)),称Ｏ(f(n)) 为算法的渐进时间复杂度，简称时间复杂度。

(2)  T (n) = Ο(f (n)) 表示存在一个常数C，使得在当n趋于正无穷时总有 T (n) ≤ C * f(n)。简单来说，就是T(n)在n趋于正无穷时最大也就跟f(n)差不多大。也就是说当n趋于正无穷时T (n)的上界是C * f(n)。其虽然对f(n)没有规定，但是一般都是取尽可能简单的函数。例如，O(2n^2+n +1) = O (3n^2+n+3) = O (7n^2 + n) = O ( n^2 ) ，一般都只用O(n^2)表示就可以了（时间频度不相同，但时间复杂度相同） 。

(3) 常见的算法时间复杂度由小到大依次为： < < < < < <……< < 。

 从图中可见，我们应该尽可能选用多项式阶 的算法，而不希望用指数阶的算法。

3. 求解算法的时间复杂度的具体步骤

(1) 找出算法中的基本语句；

算法中执行次数最多的那条语句就是基本语句，通常是最内层循环的循环体。

(2) 计算基本语句的执行次数的数量级；

只需计算基本语句执行次数的数量级，这就意味着只要保证基本语句执行次数的函数中的最高次幂正确即可。

(3) 用大Ο记号表示算法的时间性能。

将基本语句执行次数的数量级放入大Ο记号中。

4. 在计算算法时间复杂度时有以下几个简单的程序分析法则

(1) 对于一些简单的输入输出语句或赋值语句,近似认为需要O(1)时间

     Ο(1)表示基本语句的执行次数是一个常数，一般来说，只要算法中不存在循环语句，其时间复杂度就是 。

(2) 对于顺序结构,需要依次执行一系列语句所用的时间可采用大O下"求和法则"

求和法则:是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1(n)+T2(n)=O(max(f(n), g(n)))

特别地,若T1(m)=O(f(m)), T2(n)=O(g(n)),则 T1(m)+T2(n)=O(f(m) + g(n))

(3) 对于选择结构,如if语句,它的主要时间耗费是在执行then字句或else字句所用的时间,需注意的是检验条件也需要O(1)时间

(4) 对于循环结构,循环语句的运行时间主要体现在多次迭代中执行循环体以及检验循环条件的时间耗费,一般可用大O下"乘法法则"

乘法法则: 是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1*T2=O(f(n)*g(n))

如果算法中包含嵌套的循环，则基本语句通常是最内层的循环体，如果算法中包含并列的循环，则将并列循环的时间复杂度相加。例如：

[code]for (i=1; i<=n; i++)  
       x++;  
for (i=1; i<=n; i++)  
    　for (j=1; j<=n; j++)  
          x++;  

第一个for循环的时间复杂度为 ，第二个for循环的时间复杂度为 ，则整个算法的时间复杂度为 = 。

(5) 对于复杂的算法,可以将它分成几个容易估算的部分,然后利用求和法则和乘法法则技术整个算法的时间复杂度

另外还有以下2个运算法则:(1) 若g(n)=O(f(n)),则O(f(n))+ O(g(n))= O(f(n))；(2) O(Cf(n)) = O(f(n)),其中C是一个正常数。

5. 示例

(1)

[code]Temp=i; i=j; j=temp;

以上三条单个语句的频度均为1，该程序段的执行时间是一个与问题规模n无关的常数。算法的时间复杂度为常数阶，记作T(n)=O(1)。

注意：如果算法的执行时间不随着问题规模n的增加而增长，即使算法中有上千条语句，其执行时间也不过是一个较大 4000 的常数。此类算法的时间复杂度是O(1)。

(2)

[code]sum=0；                 （一次）
for(i=1;i<=n;i++)     （n+1次）
for(j=1;j<=n;j++) （n2次）
sum++；            （n2次）

因为Θ(2 +n+1)= （Θ即：去低阶项，去掉常数项，去掉高阶项的常参得到），所以T(n)= =O( )。

[code]for (i=1;i<n;i++)
{
y=y+1;         ①
for (j=0;j<=(2*n);j++)
x++;         ②
}

语句1的频度是n-1
语句2的频度是(n-1)*(2n+1)=2 -n-1
f(n)=2 -n-1+(n-1)=2 -2；

又Θ(2 -2)=n2
该程序的时间复杂度T(n)=   

一般情况下，对步进循环语句只需考虑循环体中语句的执行次数，忽略该语句中步长加1、终值判别、控制转移等成分，当有若干个循环语句时，算法的时间复杂度是由嵌套层数最多的循环语句中最内层语句的频度f(n)决定的。

(3)

[code]a=0;
b=1;               ①
for (i=1;i<=n;i++) ②
{
s=a+b;　　　　③
b=a;　　　　　④
a=s;　　　  　⑤
}

语句1的频度：2,        
语句2的频度：n,        
语句3的频度：n-1,        
语句4的频度：n-1,    
语句5的频度：n-1,                                  
T(n)=2+n+3(n-1)=4n-1=O(n)。

(4)

[code]i=1;     ①
while (i<=n)
i=i*2; ②

语句1的频度是1,  
设语句2的频度是f(n),   则：2^f(n)<=n;f(n)<=
取最大值f(n)= ,
T(n)= 。

(5)

[code]for(i=0;i<n;i++)  {
for(j=0;j<i;j++)    {
for(k=0;k<j;k++)
x=x+2;
}
}

当i=m, j=k的时候，内层循环的次数为k，当i=m时, j 可以取 0,1,...,m-1 , 所以这里最内循环共进行了0+1+...+m-1=(m-1)m/2次。所以，i从0取到n，则循环共进行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6，所以时间复杂度为 。

(6) 常用算法的时间复杂度和空间复杂度

一个经验规则：其中c是一个常量，如果一个算法的复杂度为c 、   、n 、  ,那么这个算法时间效率比较高 ，如果是  , ,n!，那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意。

6. 算法的时间复杂度不仅仅依赖于问题的规模，还与输入实例的初始状态有关。

在数值A[0..n-1]中查找给定值K的算法大致如下：   

[code]i=n-1;            

while(i>=0&&(A[i]!=k))       

      i--;        

return i;  

此算法中的语句(3)的频度不仅与问题规模n有关，还与输入实例中A的各元素取值及K的取值有关: ①若A中没有与K相等的元素，则语句(3)的频度f(n)=n； ②若A的最后一个元素等于K,则语句(3)的频度f(n)是常数0。

7. 时间复杂度评价性能 

有两个算法A1和A2求解同一问题，时间复杂度分别是T1(n)=100 ，T2(n)=5 。

（1）当输入量n＜20时，有T1(n)＞T2(n)，后者花费的时间较少。

（2）随着问题规模n的增大，两个算法的时间开销之比5 /100 =n/20亦随着增大。即当问题规模较大时，算法A1比算法A2要有效地多。它们的渐近时间复杂度O( )和O( )从宏观上评价了这两个算法在时间方面的质量。

二、空间复杂度

空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度。例如：

• 当一个算法的空间复杂度为一个常量，即不随被处理数据量n的大小而改变时，可表示为O(1)；
• 当一个算法的空间复杂度与以2为底的n的对数成正比时，可表示为 ；
• 当一个算法的空间复杂度与n成线性比例关系时，可表示为 .

若形参为数组，则只需要为它分配一个存储由实参传送来的一个地址指针的空间，即一个机器字长空间；若形参为引用方式，则也只需要为其分配存储一个地址的空间，用它来存储对应实参变量的地址，以便由系统自动引用实参变量。

注：1. 使用一个或多个临时变量，空间复杂度均为O(1)；

       2. 使用一个或多个临时数组，空间复杂度均为O(n)；若在n次循环中均使用长度为n的临时数组，则空间复杂度为O(n^2)。

END