学习自《数据结构与算法 Python语言描述》机械工业出版社。记录一些要点，以供加深记忆和日后查阅。
1. 算法和算法分析
1.1 问题、实例和算法
三个基本概念：
- 问题：需要解决的一个具体需求。
- 实例：以上问题的一个具体例子。
- 算法：一种计算过程的严格描述。
算法的性质：
- 有穷性：算法的描述由有限条语句构成，对任何问题在有限的时间内获得解答。
- 可行性：语句严格、简单明确，可以被机械执行。
- 确定性：对于确定的输入产生确定的输出。
- 明确的输入/输出。
算法的描述：
- 自然语言描述：容易阅读，冗长繁琐，易有歧义。
- 数学公式描述：更加简洁严格。
- 形式化记法描述：如图灵机模型。
- 编程语言描述：简洁清晰，涉及语言细节，不易移植。
- 伪代码描述：不拘泥于具体语言形式。
算法思想（设计模式）：
- 枚举法：在解决简单问题时十分有效。
- 贪心法：由部分解逐步扩充得到整体的解。
- 分治法：把复杂问题分解为相对简单的子问题。
- 回溯法：通过探索的方式求解，当后面的求解步骤无法继续时，退回到前面的步骤，另行选择求解路径。
- 动态规划法：在前面的步骤中积累信息，在后续步骤中使用已知信息。
- 分支限界法：在搜索的过程中逐步缩小求解的范围。
1.2 算法的代价及其度量
算法分析就是很对一个具体算法，设法确定一种函数关系，以问题实例的某种规模n为参量，反映出这个算法在处理该规模实例时所需要付出的时间或空间代价。
- 实例的规模采用什么来度量？方阵的行数、元素个数还是维度
- 完成某一算法平均需要多少时间，最长需要多少时间？
对于抽象的算法，通常无法做出精确度量。在这种情况下只能退而求其次，设法估计算法复杂性的量级。对于算法的时间和空间性质，最重要的是其量级和趋势，这些是代价的主要部分，而代价函数的常量因子可以忽略不计。
大O记法：对于单调的整数函数f，如果存在一个整数函数g和实常数c>0，使得对于充分大的n总有f(n)<=c*g(n)，就说函数g是f的一个渐进函数，记为f(n)=O(g(n))。由此可以描述算法的时间复杂度和空间复杂度。
常用渐进复杂度函数：
O(1), O(log n), O(n), O(n log n), O(n^2), O(n^3), O(2^n)
算法的复杂度反过来决定了算法的可用性。如果算法的复杂度较低，就可能用于解决很大的实例，而复杂度很高的算法只能用于很小的实例。
1.3 算法分析
考虑最基本的循环程序，其中只有顺序组合、条件分支和循环结构。分析这种算法只需要几条基本计算规则：
（1）基本操作，认为其时间复杂度为O(1)。如果是函数调用，应将其时间复杂度代入，参与整体时间复杂度的计算。
（2）加法规则（顺序复合）。如果算法是两个或多个部分的顺序复合，其复杂度是这两部分或多个部分之和。
T(n)=T1(n)+T2(n)=O(T1(n)+T2(n))=O(max(T1(n),T2(n)))
由于忽略了常量因子，加法等价于求最大值。
（3）乘法规则（循环结构）。如果算法是一个循环，循环体将执行T1(n)次，每次执行需要T2(n)时间，那么
T(n)=T1(n)*T2(n)=O(T1(n))*O(T2(n))=O(T1(n)*T2(n))
（4）取最大规则（分支结构）。如果算法是条件分支，两个分支的时间复杂性分别为T1(n)和T2(n)，则有
T(n)=O(max(T1(n),T2(n)))
1.4 Python程序的计算代价
1.4.1 时间开销
- 基本算术运算和逻辑运算是常量时间的。
- 组合对象的操作有些是常量时间的，有些不是。
- 复制和切片操作通常需要线性时间；
- list和tuple的元素访问和元素赋值是常量时间的；
- dict的操作情况比较复杂。
- 字符串也应当看作组合对象，其许多操作不是常量时间的。
- 创建对象也需要付出时间和空间，其代价都与对象的大小有关。
- 构造新结构。构造新的空结构（空表、空集合等）是常量时间操作，而构造一个包含n个元素的结构则需要O(n)时间。
- 关于list：表元素访问和元素修改是常量时间操作，但一般的加入/删除元素操作是O(n)的操作。
- 关于字典：一般效率较高，但偶尔也会出现效率低的情况。
- 在表的最后加入和删除元素的效率高，而在中间位置插入和删除元素的效率低，应优先选择前者。
1.4.2 空间开销
在程序里使用任何类型的对象，都需要付出空间的代价。
相对而言，表和元组是比较简单的结构，而集合和字典需要支持快速查询等操作，其结构更加复杂。
- python中各种组合数据对象都没有预设的最大元素个数，这些结构可以根据元素个数的增长自动扩充空间。
- 组合对象的实际空间开销在存续期内可能变大，但通常不会自动缩小（即使后来元素个数变少了）。
在程序开发时，不但要选择好的算法，还要考虑每一步的良好实现。
Python等高级程序语言存在一些“效率陷阱”，可能会大量浪费计算机的时间和空间。
2. 数据结构
用计算机解决问题，可以看作实现某种信息表示的转换。
需要处理的信息越复杂，处理计算过程越复杂，良好的数据组织结构就越重要。
2.1 数据结构及其分类
2.1.1 信息、数据和数据结构
信息：任何存在着的事物，其形态和运动都蕴含着信息。
数据：计算机程序能够处理的符号形式的总和，即编码的信息。
数据结构：研究数据之间的关联和组合的形式，总结其中的规律，发掘特别值得注意的有用结构，研究这些结构的性质，进而研究如何在计算机里实现这些有用的数据结构，以支持响应组合数据的高效使用，支持处理它们的高效算法。
2.1.2 抽象定义与重要类别
一般定义：一个具体的数据结构就是一个二元组
D=(E,R)
E是数据结构D的元素集合，R是D的元素之间的某种关系。
典型数据结构：
- 集合：元素间没有明确关系，R为空。
- 序列结构：数据元素间有一个明确的先后关系，存在一个排位在最前的元素，除了最后的元素外，每个元素都一个唯一的后继元素。R为线性顺序关系。这种结构也称为线性结构。还有一些变形，如环形结构。
- 层次结构：数据元素属于一些不同的层次，一个上层元素可以关联一个或多个下层元素。
- 树形结构：层次结构中最简单的一种。只有一个最上层元素，称为根，，除根之外的每个元素，都有且仅有一个上层元素与之关联。
- 图结构：数据元素之间可以有任意复杂的互相联系。广义，包含上面几种，上面几种可以看作图的受限形式。
另一类数据结构：并没有对其元素的相互关系提出任何结构性的规定，而是要求其在某种计算中实现有用的功能，最基本的有数据元素的存储和访问。
功能性数据结构：栈、队列、优先队列、字典等。
2.2 计算机内存对象表示
内存是CPU可以直接访问的数据存储设备，保存在外存里的数据必须先装入内存，而后CPU才能使用它们。
内存单元具有唯一编号，成为单元地址。全部可用地址为从0开始的一个连续的正整数区间。
在程序执行中，对内存单元的访问都通过地址进行。64位计算机一次可以存取8个字节的数据。
基于地址访问内存单元是一个O(1)操作，与单元的位置或整个内存的大小无关。
在计算机内存里表示数据元素之间的联系，只有两种基本技术：
- 顺序表示：利用数据元素的存储位置隐式表示。显然序列数据类型中的元素线性关系可以用这种方式表示。
- 把数据元素之间的联系也看作一种数据，显式地保存在内存中。用这种方式可以表示数据元素之间任意复杂的关系，因此这种技术的功能更强大。
2.3 Python对象和数据结构
Python语言的实现基于一套精心设计的链接结构，变量与其值对象的关联通过链接的方式实现，对象之间的联系同样通过链接。
Python程序内部有一个存储管理系统，负责管理可用内存，为各种对象安排存储，支持灵活有效的内存使用。程序中要求建立对象时，管理系统就会为其安排存储，某些对象不再有用时则回收其占用的存储。管理系统屏蔽了具体内存使用的细节，大大减少了编程人员的负担。