算法理论基础

定义:

算法(Algorithm)是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。

  • 能够对一定规范的输入,在有限时间内获得所要求的输出。
  • 如果一个算法有缺陷,或不适合于某个问题,执行这个算法将不会解决这个问题。
  • 不同的算法可能用不同的时间、空间或效率来完成同样的任务。
  • 一个算法的优劣可以用空间复杂度与时间复杂度来衡量。

算法的7个特性:

有穷性(Finiteness):算法的有穷性是指算法必须能在执行有限个步骤之后终止;
确切性(Definiteness):算法的每一步骤必须有确切的定义;
输入项(Input):一个算法有0个或多个输入,以刻画运算对象的初始情况,所谓0个输入是指算法本身定出了初始条件;
输出项(Output):一个算法有一个或多个输出,以反映对输入数据加工后的结果。没 有输出的算法是毫无意义的;
可行性(Effectiveness):算法中执行的任何计算步骤都是可以被分解为基本的可执行的操作步,即每个计算步都可以在有限时间内完成(也称之为有效性);
高效性(High efficiency):执行速度快,占用资源少;
健壮性(Robustness):对数据响应正确。

时间复杂度

计算机科学中,算法的时间复杂度是一个函数,它定量描述了该算法的运行时间,时间复杂度常用大O符号(大O符号(Big O notation)是用于描述函数渐进行为的数学符号。
时间复杂度可被称为是渐近的,它考察当输入值大小趋近无穷时的情况。

大O,简而言之可以认为它的含义是“order of”(大约是)。
无穷大渐近

大O符号在分析算法效率的时候非常有用。举个例子,解决一个规模为 n 的问题所花费的时间(或者所需步骤的数目)可以被求得:T(n) = 4n^2 - 2n + 2。 当 n 增大时,n^2; 项将开始占主导地位,而其他各项可以被忽略——举例说明:当 n = 500,4n^2; 项是 2n 项的1000倍大,因此在大多数场合下,省略后者对表达式的值的影响将是可以忽略不计的。

时间复杂度的计算方法

1.一个算法执行所耗费的时间,从理论上是不能算出来的,必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试,只需知道哪个算法花费的时间多,哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多。
一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。

2.一般情况下,算法的基本操作重复执行的次数是变量 n 的某一个函数f(n),因此,算法的时间复杂度记做:T(n)=O(f(n))。随着变量 n 的增大,算法执行的时间的增长率和f(n)的增长率成正比,所以f(n)越小,算法的时间复杂度越低,算法的效率越高。
在计算时间复杂度的时候,先找出算法的基本操作,然后根据相应的各语句确定它的执行次数,再找出T(n)的同数量级(它的同数量级有以下:1,Log2n ,n ,nLog2n ,n的平方,n的三次方,2的n次方,n!),找出后,f(n)=该数量级,若T(n)/f(n)求极限可得到一常数c,则时间复杂度T(n)=O(f(n))。

3.常见的时间复杂度
按数量级递增排列,常见的时间复杂度有:
常数阶O(1), 对数阶O(log2n), 线性阶O(n), 线性对数阶O(nlog2n), 平方阶O(n^2), 立方阶O(n^3),…, k次方阶O(n^k), 指数阶O(2^n) 。

其中,
1.O(n),O(n^2), 立方阶O(n^3),…, k次方阶O(n^k) 为多项式阶时间复杂度,分别称为一阶时间复杂度,二阶时间复杂度。。。。
2.O(2^n),指数阶时间复杂度,该种不实用
3.对数阶O(log2n), 线性对数阶O(nlog2n),除了常数阶以外,该种效率最高

时间复杂度的计算例子

时间复杂度的例子:

for(i=1;i<=n;++i)#n+1
  {
     for(j=1;j<=n;++j) # (n+1)*(n+1)=n^2+2n+1
     {
         c[ i ][ j ]=0; //该步骤属于基本操作 执行次数:n^2+2n+1
          for(k=1;k<=n;++k) # (n^2+2n+1)*(n+1)=n^3+n^2…..
               c[ i ][ j ]+=a[ i ][ k ]*b[ k ][ j ]; //该步骤属于基本操作 执行次数: n^3+n^2…..
     }
  }


则有 T(n)= 2n^2+2n^3+n,根据上面括号里的同数量级,我们可以确定 n^3为T(n)的同数量级
则有f(n)= n^3,然后根据T(n)/f(n)求极限可得到常数c
则该算法的 时间复杂度:T(n)=O(n^3)

如果一个问题的规模是n,解这一问题的某一算法所需要的时间为T(n),它是n的某一函数 T(n)称为这一算法的“时间复杂度”。

当输入量n逐渐加大时,时间复杂度的极限情形称为算法的“渐近时间复杂度”。

我们常用大O表示法表示时间复杂性,注意它是某一个算法的时间复杂性。大O表示只是说有上界,由定义如果f(n)=O(n),那显然成立f(n)=O(n^2),它给你一个上界,但并不是上确界,但人们在表示的时候一般都习惯表示前者。

此外,一个问题本身也有它的复杂性,如果某个算法的复杂性到达了这个问题复杂性的下界,那就称这样的算法是最佳算法。

“大O记法”:在这种描述中使用的基本参数是 n,即问题实例的规模,把复杂度或运行时间表达为n的函数。一个规模为n的数组”记法 O ( f(n) )表示当 n增大时,运行时间至多将以正比于 f(n)的速度增长。

这种渐进估计对算法的理论分析和大致比较是非常有价值的,但在实践中细节也可能造成差异。例如,一个低附加代价的O(n2)算法在n较小的情况下可能比一个高附加代价的 O(nlogn)算法运行得更快。当然,随着n足够大以后,具有较慢上升函数的算法必然工作得更快。

常数阶

O(1)

Temp=i;i=j;j=temp;

以上三条单个语句的频度均为1,该程序段的执行时间是一个与问题规模n无关的常数。算法的时间复杂度为常数阶,记作T(n)=O(1)。如果算法的执行时间不随着问题规模n的增加而增长,即使算法中有上千条语句,其执行时间也不过是一个较大的常数。此类算法的时间复杂度是O(1)。

线性阶

    a=0;                      ①
    b=1;                      ①
    for (i=1;i<n;i++)   ②
    {  
       s=a+b;     ③
       b=a;      ④  
       a=s;      ⑤
    }
  解:  语句1的频度: 2,        
           语句2的频度: n,        
           语句3的频度: n-1,        
           语句4的频度: n-1,    
           语句5的频度: n-1,                                  
          T(n)=2+n+3(n-1)=4n-1=O(n).

平方阶

交换i和j的内容
     sum=0;                 (一次)
     for(i=1;i<=n;i++)       (n次 )
        for(j=1;j<=n;j++) (n^2次 )
         sum++;       (n^2次 )
解:T(n)=2n^2+n+1 =O(n^2)
方法:舍掉低阶、常数和高阶的系数

对数阶

对数:幂运算的逆运算

i=1;          ①
while (i<=n)  #x表示它的执行次数
       i=i*2;     ②  每执行一次,都会*2,所以运行次数为2的f(n)次方
解:语句1的频度是1,  
       设语句2的频度是f(n),   则:2^f(n)<=n;f(n)<=log2n    
       取最大值f(n)= log2n,
       T(n)=O(log2n )

在计算时间复杂度时,我们一般使用的大O表示法,其时间复杂度,从小到大的排序是:


(1) < (logn)< (n)< (nlogn)< (n^2)<...< (2^n)< (n!)

原文地址:https://www.cnblogs.com/wenm1128/p/11763597.html