构造最优二叉查找树的时间复杂度分析

概念

二叉查找树（BST，Binary Search Tree），又名二叉搜索树或二叉检索树，是一颗满足如下条件的树：
1、每个节点包含一个键值
2、每个节点有最多两个孩子
3、对于任意两个节点x和y，它们满足下述搜索性质:
a、如果y在x的左子树里，则key[y] <= key[x]
b、如果y在x的右子树里，则key[y] >= key[x]

最优二叉查找树（Optimal BST，Optimal Binary Search Tree）
最优二叉查找树是使查找各节点平均代价最低的二叉查找树。具体来说就是：给定键值序列 K = <k1, k2, . . . , kn>，k1 < k2 <· · · < kn，其中键值ki,被查找的概率为pi，要求以这些键值构建一颗二叉查找树T，使得查找的期望代价最低（查找代价为检查的节点数）。
下面是对于查找期望代价的解释：
对于键值ki, 如果其在构造的二叉查找树里的深度（离开树根的分支数）为depthT(ki)，则搜索该键值的代价= depthT(ki) +1（需要加上深度为0的树根节点）。由于每个键值被查找的概率分别为pi，i=1,2,3…,n。所以查找期望代价为：
E[T的查找代价] = ∑i=1~n(depthT(ki) +1) · pi

时间复杂度

1、穷举
穷举构造最优二叉查找树，其实就是这样的一个问题：
给一个拥有n个数的已排序的节点，可以将其构造成多少种不同的BST（用来找到一个最优的二叉查找树）？
设可以构造成T(n)个，那么枚举每一个元素作为根节点的情况，当第一个元素作为根节点时，其余n-1个构成右子树，无左子树，是n-1情况时的子问题，共T(n-1)种；当第二个元素作为根节点时，左子树有1个元素，右子树有n-2个元素，根据乘法原理共有T(1)T(n-2)种情况……依此类推得到：T(n) = T(0)T(n-1) + T(1)T(n-2) + T(2)T(n-3) + ...... + T(n-2)T(1) + T(n-1)T(0)；此外，有T(0)=T(1)=1。

下面来求解T(n)：

定义函数 f(x) = T(0) + T(1) · x + T(2) · x2 + ......

那么有：

f(x)2 = (T(0)2) + (T(0)T(1) + T(1)T(0)) · x + (T(0)T(2) + T(1)T(1) + T(2)T(0)) · x2 + ......

= T(1) + T(2) · x + T(3) · x2 + ......

= (f(x) - T(0)) / x

= (f(x) - 1) / x

这样解方程得到 f(x) = [1 - (1 - 4x)1/2] / 2x

右边进行泰勒展开，再与定义式比较最终得到： T(n) = (2n)! / (n!(n+1)!)
然后根据Stirling公式：n! ～ (2πn)1/2 · (n/e)n
于是有(2n)! / n!(n+1)! ～ (4n1/2 · 2n2n) / (2n1/2 · nn · (2(n+1))1/2 · (n+1)n)

～ 4n · (n+1)-3/2 · (n/(n+1))n

～ 4n · n-3/2
因此最后得到穷举方法构造最优二叉查找树的时间复杂度： T(n) = O(4n · n-3/2)

2、递归
实际上左右子树是互不影响的，不需要穷举所有左右子树的组合，所以不需要用乘法原理，加法原理就可以了，这样式子变为：
T(n) = T(0) + T(n-1) + T(1) + T(n-2) + T(2) + T(n-3) + ...... + T(n-2) + T(1) + T(n-1) + T(0)
= 2(T(0) + T(1) + T(2) + ...... + T(n-1))
= 3T(n-1)
所以得到T(n) = O(3n)，还是指数级的一个算法

3、动态规划
上面得到指数级算法的原因在于，计算了很多重复的子树情况，一些子树的查找代价被计算了很多遍；而一棵树如果是最优二叉搜索树，那么要么它是空树，要么它的左、右子树也是最优二叉搜索树，因此只需要将子树的查找代价记录下来，采用记忆化搜索或者是自底向上的动态规划的方法，虽然需要消耗一定的空间，但可以把时间复杂度从指数级降到多项式级，这些空间消耗也是可以接受的。

以下是采用自底向上的解法：

输入：键值序列 K = <k1, k2, . . . , kn>，概率序列 P = <p1, p2, . . . , pn>

输出：两个二维数组，Price[i][j]表示ki到kj构成的最优子树的查找代价，Root[i][j]表示表示ki到kj构成的最优子树的根节点位置（用于重构最优二叉查找树）

算法1：
For 子树大小size = 1 to n
For 子树的起点start = 1 to (n - size + 1) //这样子树的终点即为 end = start + size - 1，长度为size
For 该子树的所有节点作为根节点root = start to end

对于每个root，根据之前计算过的Price数组得到左右最优子树的代价，可直接得到该子树的代价price为：
左右子树的最优子树代价之和 + 所有节点的访问概率之和（因为所有节点都下降了一层）

在内层循环中找到代价最小的price和root分别记录在Price[start][end]和Root[start][end]中

下面分析这个算法的时间复杂度：

由于除了计算出我们最后需要得到的Price和Root二维数组，还产生了部分冗余的子树，因此不能简单的将算法归结为O(n2)的算法。

对于子树大小为1时，我们考察了n个子树；

对于子树大小为2时，一共产生了(n - 1)个最优子树，但是在我们的每次考察中，都将子树的所有节点作为根节点考虑过一次，因此每得到1个大小为2的子树，我们需要考察2个不同的子树来找到一个代价最小的，因此最后我们实际上考察了2(n - 1)个子树；

对于子树大小为3时，类似的，我们考察了3(n - 2)个子树；

……

对于子树大小为n时，我们考察了n个子树。

最后，我们一共考察了T(n) = n + 2(n - 1) + 3(n - 2) + ...... + n个子树。

求解这个公式依然可以借用之前的方法，定义函数 f(x) = 1 + 2x + 3x2 + ...... = (1 - x)-2

这样一来 f(x)2 = T(1) + T(2) · x + T(3) · x2 + ......

再借用泰勒展开得到 T(n) = (n + 2)(n + 1)n/6 = O(n3)

或者把所有项视为n2，则有 T(n) ≤ n2 + n2 + n2 + n2 + ...... = (n+1)n2 ≤ 2n3

把中间n/2项都视为n/4 · 3n/4的话，则有 T(n) ≥ n/2 · n/4 · 3n/4 = (3/32)n3

根据时间复杂度的定义有 T(n) = O(n3)

下面介绍一个定理，可以借此把动态规划算法的时间复杂度进一步降到O(n2)，详细的证明参见参考文献：
定理1：Root[i][j-1] ≤ Root[i][j] ≤ Root[i+1][j] （Root数组定义见算法1）

也就是说，算法1的第3个For就可以不用循环子树中的所有节点了，只要循环另两个子树的根节点之间的范围就可以了。算法如下，红色的为修改的部分：

算法2：
For 子树大小size = 1 to n
For 子树的起点start = 1 to (n - size + 1) //这样子树的终点即为 end = start + size - 1，长度为size
For 该子树的所有节点作为根节点root = Root[start][end-1] to Root[start+1][end]

对于每个root，根据之前计算过的Price数组得到左右最优子树的代价，可直接得到该子树的代价price为：
左右子树的最优子树代价之和 + 所有节点的访问概率之和（因为所有节点都下降了一层）

在内层循环中找到代价最小的price和root分别记录在Price[start][end]和Root[start][end]中

在分析该算法的时间复杂度时应注意，考察的子树是与考察的内层循环中root数量一一对应的，而当start递进时，前一个root的终点正好等于后一个root的起点（算法中的红色部分），也就是说对于固定的size来说，考察的root的范围加起来应当首位相接而且至多刚好覆盖所有节点，因此对于每个size，最多只考察2n个root（这里缩放了一下），因此总共最多考察了2n · n = 2n2个子树；另一方面，Root数组中每一个值对应得到的一个最优二叉查找树，也即至少需要考察n2个子树。因此根据定义得到 T(n) = O(n2)

参考文献：最优二叉查找树的开山之作，Optimal Binary Search Tree

纠正一点，最优二叉查找树可以追溯到1974年的《The Design and Analysis of Computer Algorithms》

发表于2009年10月5日，最后更新于2009年11月4日（完）

如有不足，欢迎指正

版权声明：转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。
http://blog.csdn.net/PeacefulBY