跟我一起学Multiple View Geometry多视图几何（1）

本系列博客持续更新，与大家交流学习用，若读者发现有错误或者疑问请留言。

前言：

　　前几天博主买了本Multiple View Geometry第二版，一直在看这本书，不得不说之前网上查到的好多理论都是出自这本书，所以为了方便自己学习的更加深刻和与大家交流，我把对看过的章节的理解和想法都会写下来，还请各位大神多多指正，自己感觉专业词汇还是英文好一点，翻译成中文对自己和大家的英文文献的阅读能力并没有什么好的影响。

2016.07.02

Part II ：Two-View Geometry

Chapter 9

　　整个Part II部分呢都是在讲二视图几何，两个不同视角的图片可以同时从两个相机中获得，也可以是一个相机先后获得的，在这里不加区分，每个视图都对应一个相机矩阵P和P’，比如一个空间点坐标X，在两个图片里的像素坐标分别是x与x’，那么对于左图我们就有x=PX，右图：x’=P’X，这一部分我们就围绕一下三个问题展开：

1，Correspondence geometry，给定左图一点x，怎样确定它在右图对应x’的位置约束？

2，Camera geometry (motion)，给定左右图一系列对应点{xi ↔ x
i}, i = 1, … , n, 我们怎样确定P与P’？

3，Scene geometry (structure)，给定左右图一系列对应点{xi ↔ x
i}, i = 1, … , n, 和P与P’，我们怎样确定X在空间中的位置？

　　我们今天要学的Chapter 9主要讲了二视图的epipolar geometry，它直接回答了上面的第一个问题，即左图的一点x会确定右图上一条x’必须经过的直线epipolar line，epipolar geometry只与相机本身（相对位置和各自内参）有关，与场景结构无关。我们用一个3x3的fundamental matrix ：F来表示epipolar geometry，接下来我们会分析这个矩阵以及如何从P与P’中求出这个矩阵F，同样从F中求P与P’的方法也会给出。

9.1 epipolar geometry

　　二视图的epipolar geometry其实就是两个图像平面与一簇都通过base line（两个相机镜头中心连线）的平面的相交关系，如下图a：X，x与x’三点共面于π，epipolar plane，C与C’是两个镜头中心。

　　



　　现在我们就有了第一个问题的答案，图b:我们已知左图x，反投影后X应该在直线C与x连线上面，很容易发现这条线在右图的投影是一条直线l’，所以问题一答案就是X一定落在右图的l’上，我们称作这条线为epipolar line，所以以后我们要找x在右图的匹配点不需要满图找，只需要再这条线上搜索就ok。

　　epipole：连接两个镜头中心的base line与图像的交点（两个）。

　　epipolar plane：经过base line一簇平面

　　epipolar line：epipolar plane与两个图像平面的交线（两条）。

这节的例子会在9.3与9.4节给出，大家记得注意留意。