组合优化学习笔记<之>从贪心算法到子集系统再到拟阵
2016-12-09 12:59
239 查看
贪心算法是用的比较多的一种优化算法,因为它过程简洁优美,而且结果有效。有些优化问题如最大权森林(MWF)是可以用贪心问题求解的,由于最小支撑树(MST)问题与MWF是等价的,所以MST也是可以用贪心算法求解。当然,贪心算法不是万能的(对于某些问题贪心算法并不能求得最优解,如旅行商问题(TSP)、最大匹配问题),但并不妨碍人们对它的喜爱。
贪心算法(greedy algorithm)伪代码:
从以上描述中可以看出来,过程很简单,可以说是简单暴力的。所以,我们很容易会产生疑问:这样的算法最后得出的解一定是全局最优解吗?
在回答之前,我们要搞清楚的是:当前要解决的问题实例对可行解的定义是什么?换句话说,我们要找的“最优解”是从哪个可行解集中找出来的。即,去掉“最优的”限制条件后,还有哪些条件。那么满足这些条件的所有集合就是可行解集,下一步就是从这个可行解集中找出一个最优的。到这里工作重点已然转化为找一个合适的优化算法。
其次,这个优化问题可以用贪心算法求出最优解吗?答案显然是不一定的。比如,我们要考虑:
(1)若可行解集无限且其权值不收敛,那必然是不能解的。因为这个问题实例本身是没有最优解的。
(2)可行解有限,或者无限但权值收敛的情况下,在以什么样的条件下定义出的可行解集中用贪心算法可以最后得到最优解呢?
先引入一个概念:子集系统
已知集合E={e1,e2,...,en}; I⊆P(E)且I以包含关系封闭。那么称二元组S=(E,I)为子集系统。I中每个成员称为独立集。
//注:P(E)表示E的幂集。
如A={1,2,3,4,5,6},B={{2},{2,4},{4,6},{2,4,6}},则(A,B)是子集系统。
再引入一个概念:拟阵
对于某个子集系统M=(E,I),若能用贪心算法找出I中权值最大的独立集,那么这个子集系统就是拟阵。
看起来似乎问题又绕回去了,没关系,下面3个命题的等价性可以解惑:
命题1:M是拟阵。
命题2:若Ep∈I,Ep+1∈I,且|Ep|=p,|Ep+1|=p+1,则∃e∈Ep+1-Ep,使得 Ep∪{e} ∈ I。
命题3:若A⊆E,且Ep,Ep+1是A的两个极大独立集,则|Ep|=|Ep+1|。
总结:贪心算法有这么多的条件限制,为什么还有这么被爱呢?开头说过了,因为它简洁优美。最关键的是,对于很多甚至说很大一部分问题,我们往往未必需要找出的它的最优解,近似最优已然足够。
参考资料:《组合最优化 算法和复杂性》
贪心算法(greedy algorithm)伪代码:
input:一组带权的元素集合E; 一组条件集合C output:找出集合A⊆E,使得A是满足C的所有E的子集中权值最大的子集 //“集合的权值”定义为:集合中所有元素的权值之和 //“满足C”定义为:满足C中的所有条件。这里设定空集是满足C的。 begin A = {}; while E!={} 找出E中权值最大的元素,假设该元素是e; E=E-{e}; if A+e 满足C A=A∪{e}; end //注:这里部分采用C语言的运算符定义。 // 即"="表示赋值; "!="表示不等号
从以上描述中可以看出来,过程很简单,可以说是简单暴力的。所以,我们很容易会产生疑问:这样的算法最后得出的解一定是全局最优解吗?
在回答之前,我们要搞清楚的是:当前要解决的问题实例对可行解的定义是什么?换句话说,我们要找的“最优解”是从哪个可行解集中找出来的。即,去掉“最优的”限制条件后,还有哪些条件。那么满足这些条件的所有集合就是可行解集,下一步就是从这个可行解集中找出一个最优的。到这里工作重点已然转化为找一个合适的优化算法。
其次,这个优化问题可以用贪心算法求出最优解吗?答案显然是不一定的。比如,我们要考虑:
(1)若可行解集无限且其权值不收敛,那必然是不能解的。因为这个问题实例本身是没有最优解的。
(2)可行解有限,或者无限但权值收敛的情况下,在以什么样的条件下定义出的可行解集中用贪心算法可以最后得到最优解呢?
先引入一个概念:子集系统
已知集合E={e1,e2,...,en}; I⊆P(E)且I以包含关系封闭。那么称二元组S=(E,I)为子集系统。I中每个成员称为独立集。
//注:P(E)表示E的幂集。
如A={1,2,3,4,5,6},B={{2},{2,4},{4,6},{2,4,6}},则(A,B)是子集系统。
再引入一个概念:拟阵
对于某个子集系统M=(E,I),若能用贪心算法找出I中权值最大的独立集,那么这个子集系统就是拟阵。
看起来似乎问题又绕回去了,没关系,下面3个命题的等价性可以解惑:
命题1:M是拟阵。
命题2:若Ep∈I,Ep+1∈I,且|Ep|=p,|Ep+1|=p+1,则∃e∈Ep+1-Ep,使得 Ep∪{e} ∈ I。
命题3:若A⊆E,且Ep,Ep+1是A的两个极大独立集,则|Ep|=|Ep+1|。
总结:贪心算法有这么多的条件限制,为什么还有这么被爱呢?开头说过了,因为它简洁优美。最关键的是,对于很多甚至说很大一部分问题,我们往往未必需要找出的它的最优解,近似最优已然足够。
参考资料:《组合最优化 算法和复杂性》
相关文章推荐
- 『算法学习笔记』10th day. 文件操作<1>
- 【学习笔记】<算法导论>基础知识1.1
- OpenCV 2 学习笔记(10): 算法的基本设计模式<1>:策略模式(strategy pattern)
- 计算机系统学习笔记<一>
- <<High-Speed Tracking with Kernelized Correlation Filters>> KCF(核化相关滤波)跟踪算法学习笔记
- OpenCV 2 学习笔记(11): 算法的基本设计模式<2>:使用Controller
- <<High-Speed Tracking with Kernelized Correlation Filters>> KCF(核化相关滤波)跟踪算法学习笔记
- LensKit<开源推荐系统框架Java>学习笔记
- 开始系统的学习C++ 之 C++学习笔记<一>
- Linux学习笔记_系统输入输出标准(重定向,>,>>,<,2>&1,xargs)
- 『算法学习笔记』11th day. 文件操作<2>
- <算法导论>学习笔记 第一部分 第1章 算法在计算中的作用
- 发生系统错误 1275.此驱动程序被阻止加载 寒江孤钓<<windows 内核安全编程>> 学习笔记
- <<Linux内核完全剖析 --基于0.12内核>> 学习笔记 第4章 80x86保护模式及其编程 4.1 80x86系统寄存器和系统指令
- java学习笔记<六>继承与组合
- <算法导论>学习笔记(3)--递归树求递归算法时间复杂度
- OpenCV 2 学习笔记(13): 算法的基本设计模式<4> :使用Model-View-Controller模式创建一个应用程序
- OpenCV 2 学习笔记(12): 算法的基本设计模式<3>:单例模式(Singleton pattern)
- <C++ GUI Programming with Qt4 ,Second Edition> 学习笔记
- C语言中的位运算&结构体浅析 — <编程之美>1.2学习笔记