逆透视变换详解 及 代码实现
2017-11-10 09:09
183 查看
一、世界坐标轴和摄像机坐标轴
从下图中可以看到，世界坐标为(X,Y,Z) 相机坐标为(Xc,Yc,Zc)
而世界坐标变换到相机坐标存在一个旋转矩阵变换R以及一个位移变换T。
根据上图可以得到世界坐标到相机坐标的公式变换！！
世界坐标到相机坐标的公式
如果假设没有坐标的平移存在即t在这里不起作用，可以简化公式为：
接下来我们来说下不同坐标轴变换的旋转矩阵
从二维图像入手，坐标变换如下图所示
如果假设不存在位移变换，那么x0 和y0 将变为0。
现在从二维图像变到三维图像上的变换，假设固定一个（X,Y,Z）轴 旋转其他两个轴组成的平面。
1、绕X轴旋转 theta
2、绕Y轴旋转
3、绕Z轴旋转
-------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------
下面为相机坐标和平面坐标系（成像投影关系）
根据上述的关系我们可以推得：
矩阵形式为：
---------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------
3、从平面坐标得到的我们看到的（照片）图像坐标系
数字图像在计算机内为MXN数组，M行N列的图像中每一个元素（pixel）数值就是图像点的亮度（灰度）。
如图，在图像上定义直角坐标系U，V，每一个像素为单位的图像坐标系坐标，
由于（u,v）只能表示像素位于数组中的列数与行数，并没有使用物理单位表示该像素在图像中位置，
所以需要再建立以物理单位（mm）表示的图像坐标系，该图像坐标系以图像内某一点uv(0,0)为原点，x轴和y轴分别平行于u、v。
如图中，（u、v）表示以像素为单位的图像坐标系的坐标，（X、Y）表示以mm为单位的图像坐标系的坐标。
假设每一个像素在X轴与Y轴方向上的物理尺寸为dx、dy，则图像任意一个像素在两个坐标系下的坐标有如下关系，
其中(u0
,v0) = xy(0,0)
进而得到如下的矩阵表达：
---------------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------------------
到此 逆透视变换就全部完成了！！！！
下面要说下 逆透视变换需要注意的问题， 因为有消失点的存在，也就是说当我们看火车轨道的时候总在某个距离上看到两条轨道重合到一起后消失。
对于空间中任一点（XW，YW，ZW）T，投影之后的对应像点为（u，v，1）T，写成矩阵形式：
其中AR为变换矩阵，假设M = AR
将矩阵展开，这里去Zc = 1 可以得到如下关系式。
消失点可以认为是空间直线上无穷远处的点投影在图像上所成的像点。对于空间中某一直线L，方向为（dx,dy,dz），给定直线上坐标（ax,ay,az）,所以直线上任一点A可以表示为:
当趋于无穷时可以得到
从而得到消失点的坐标。
注：逆透视变换的范围不能到达消失点，否则不能还原。
整体变换的示意图:
根据 逆透视变换详解 及 代码实现(一)的原理
下面我用车上拍摄的车道图像，采用逆透视变换得到的图像，给出代码前我们先看下处理结果。
首先是原始图像：
下图为逆透视变换图像：
下面说具体的实现吧！！
一、参数设置：
1、需要知道相机的内部参数（这个具体步骤可以找相关文档，这里就不具体展开说）。
我们这里假设已经获取内部参数：
相机焦距，相机光学中心， 相机高度， 相机的俯仰角， 相机的偏航角， 相机拍摄出的图像尺寸。
参数说明： 其中偏航角 和 俯仰角 就是在（一）中所说的世界坐标经过旋转矩阵得到相应的相机坐标。 而偏航角和俯仰角将决定这个旋转矩阵。 而相机焦距 和相机光学中心 是可以从相机标定后得出 ，相机高度需要自己测量。
而图像尺寸，是拍出图像的尺寸。
2、 设定逆透视变换的参数：
逆透视图像的尺寸，需要进行逆透视变换的区域，逆透视变换的差值算法。
逆透视变换的区域：原始图像中需要变换的区域（当然这个区域不能超过消失点区域，后面会说到）
逆透视图像的尺寸： 就是需要将逆透视变换区域映射到这个逆透视图像上。
差值算法：因为需要映射，所以某些数值需要估计出，这里用双线性差值。
二、
根据相机的内部参数计算消失点：
因为图像是二维的，所以消失点是是一个二维坐标。
code:
[plain] view
plain copy
function [ vp ] = GetVanishingPoint( cameraInfo )
%GetVanishingPoint Summary of this function goes here
% Detailed explanation goes here
vpp = [ sin(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);cos(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);0];
tyawp = [
cos(cameraInfo.yaw*pi/180), -sin(cameraInfo.yaw*pi/180), 0;
sin(cameraInfo.yaw*pi/180), cos(cameraInfo.yaw*pi/180), 0;
0, 0, 1];
tpitchp = [1, 0, 0;
0, -sin(cameraInfo.pitch*pi/180), -cos(cameraInfo.pitch*pi/180);
0, cos(cameraInfo.pitch*pi/180), -sin(cameraInfo.pitch*pi/180)];
transform = tyawp*tpitchp;
t1p = [
cameraInfo.focalLengthX, 0, cameraInfo.opticalCenterX;
0, cameraInfo.focalLengthY, cameraInfo.opticalCenterY;
0, 0, 1];
transform = t1p*transform;
vp = transform*vpp;
end
三、利用消失点可以得到uv平面中的图像范围和对应的xy平面的范围
code:
[plain] view
plain copy
uvLimitsp = [ vp.x, ipmInfo.ipmRight, ipmInfo.ipmLeft, vp.x;
ipmInfo.ipmTop, ipmInfo.ipmTop, ipmInfo.ipmTop, ipmInfo.ipmBottom];
xyLimits = TransformImage2Ground(uvLimitsp,cameraInfo);
[plain] view
plain copy
function [ xyLimits ] = TransformImage2Ground( uvLimits,cameraInfo )
%TransformImage2Ground Summary of this function goes here
% Detailed explanation goes here
[row , col ] = size(uvLimits);
inPoints4 = zeros(row+2,col);
inPoints4(1:2,:) = uvLimits;
inPoints4(3,:) = 1;
inPoints3 = inPoints4(1:3,:);
c1 = cos(cameraInfo.pitch*pi/180);
s1 = sin(cameraInfo.pitch*pi/180);
c2 = cos(cameraInfo.yaw*pi/180);
s2 = sin(cameraInfo.yaw*pi/180);
matp= [
-cameraInfo.cameraHeight*c2/cameraInfo.focalLengthX,cameraInfo.cameraHeight*s1*s2/cameraInfo.focalLengthY,(cameraInfo.cameraHeight*c2*cameraInfo.opticalCenterX/cameraInfo.focalLengthX)- (cameraInfo.cameraHeight *s1*s2* cameraInfo.opticalCenterY/ cameraInfo.focalLengthY) - cameraInfo.cameraHeight *c1*s2;
cameraInfo.cameraHeight *s2/cameraInfo.focalLengthX, ...
cameraInfo.cameraHeight *s1*c2/cameraInfo.focalLengthY, ...
(-cameraInfo.cameraHeight *s2* cameraInfo.opticalCenterX ....
/cameraInfo.focalLengthX)-(cameraInfo.cameraHeight *s1*c2* ....
cameraInfo.opticalCenterY /cameraInfo.focalLengthY) - ...
cameraInfo.cameraHeight *c1*c2;
0, cameraInfo.cameraHeight *c1/cameraInfo.focalLengthY, (-cameraInfo.cameraHeight *c1* cameraInfo.opticalCenterY/cameraInfo.focalLengthY)+cameraInfo.cameraHeight*s1;
0, -c1 /cameraInfo.focalLengthY,(c1* cameraInfo.opticalCenterY /cameraInfo.focalLengthY) - s1];
inPoints4 = matp*inPoints3;
inPointsr4 = inPoints4(4,:);
div = inPointsr4;
inPoints4(1,:) = inPoints4(1,:)./div;
inPoints4(2,:) = inPoints4(2,:)./div;
inPoints2 = inPoints4(1:2,:);
xyLimits = inPoints2;
end
四、根据得到的范围计算xy平面的一一对应的映射
[plain] view
plain copy
row1 = xyLimits(1,:);
row2 = xyLimits(2,:);
xfMin = min(row1); xfMax = max(row1);
yfMin = min(row2); yfMax = max(row2);
[outRow outCol] = size(outImage);
stepRow = (yfMax - yfMin)/outRow;
stepCol = (xfMax - xfMin)/outCol;
xyGrid = zeros(2,outRow*outCol);
y = yfMax-0.5*stepRow;
for i = 1:outRow
x = xfMin+0.5*stepCol;
for j = 1:outCol
xyGrid(1,(i-1)*outCol+j) = x;
xyGrid(2,(i-1)*outCol+j) = y;
x = x + stepCol;
end
y = y - stepRow;
end
五、将xy平面的映射转换到uv平面，并画出这个映射
[plain] view
plain copy
%TransformGround2Image
uvGrid = TransformGround2Image(xyGrid,cameraInfo);
% Image mean
means = mean(R(:))/255;
RR = double(R)/255;
for i=1:outRow
for j = 1:outCol;
ui = uvGrid(1,(i-1)*outCol+j);
vi = uvGrid(2,(i-1)*outCol+j);
if (ui<ipmInfo.ipmLeft || ui>ipmInfo.ipmRight || vi<ipmInfo.ipmTop || vi>ipmInfo.ipmBottom)
outImage(i,j) = means;
else
x1 = int32(ui); x2 = int32(ui+1);
y1 = int32(vi); y2 = int32(vi+1);
x = ui-double(x1) ; y = vi-double(y1);
val = double(RR(y1,x1))*(1-x)*(1-y)+double(RR(y1,x2))*x*(1-y)+double(RR(y2,x1))*(1-x)*y+double(RR(y2,x2))*x*y;
outImage(i,j) = val;
end
end
end
最终可以显示这个图像：如上面的逆透视变化图像！
具体的code，可以在这里下载。如果问题可以留言交流！！
另外，如果需要标定相机的可以参考这篇博文：
http://blog.csdn.net/yeyang911/article/details/52382722
从下图中可以看到，世界坐标为(X,Y,Z) 相机坐标为(Xc,Yc,Zc)
而世界坐标变换到相机坐标存在一个旋转矩阵变换R以及一个位移变换T。
根据上图可以得到世界坐标到相机坐标的公式变换！！
世界坐标到相机坐标的公式
如果假设没有坐标的平移存在即t在这里不起作用，可以简化公式为：
接下来我们来说下不同坐标轴变换的旋转矩阵
从二维图像入手，坐标变换如下图所示
如果假设不存在位移变换，那么x0 和y0 将变为0。
现在从二维图像变到三维图像上的变换，假设固定一个（X,Y,Z）轴 旋转其他两个轴组成的平面。
1、绕X轴旋转 theta
2、绕Y轴旋转
3、绕Z轴旋转
-------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------
下面为相机坐标和平面坐标系（成像投影关系）
根据上述的关系我们可以推得：
矩阵形式为：
---------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------
3、从平面坐标得到的我们看到的（照片）图像坐标系
数字图像在计算机内为MXN数组，M行N列的图像中每一个元素（pixel）数值就是图像点的亮度（灰度）。
如图，在图像上定义直角坐标系U，V，每一个像素为单位的图像坐标系坐标，
由于（u,v）只能表示像素位于数组中的列数与行数，并没有使用物理单位表示该像素在图像中位置，
所以需要再建立以物理单位（mm）表示的图像坐标系，该图像坐标系以图像内某一点uv(0,0)为原点，x轴和y轴分别平行于u、v。
如图中，（u、v）表示以像素为单位的图像坐标系的坐标，（X、Y）表示以mm为单位的图像坐标系的坐标。
假设每一个像素在X轴与Y轴方向上的物理尺寸为dx、dy，则图像任意一个像素在两个坐标系下的坐标有如下关系，
其中(u0
,v0) = xy(0,0)
进而得到如下的矩阵表达：
---------------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------------------
到此 逆透视变换就全部完成了！！！！
下面要说下 逆透视变换需要注意的问题， 因为有消失点的存在，也就是说当我们看火车轨道的时候总在某个距离上看到两条轨道重合到一起后消失。
对于空间中任一点（XW，YW，ZW）T，投影之后的对应像点为（u，v，1）T，写成矩阵形式：
其中AR为变换矩阵，假设M = AR
将矩阵展开，这里去Zc = 1 可以得到如下关系式。
消失点可以认为是空间直线上无穷远处的点投影在图像上所成的像点。对于空间中某一直线L，方向为（dx,dy,dz），给定直线上坐标（ax,ay,az）,所以直线上任一点A可以表示为:
当趋于无穷时可以得到
从而得到消失点的坐标。
注：逆透视变换的范围不能到达消失点，否则不能还原。
整体变换的示意图:
根据 逆透视变换详解 及 代码实现(一)的原理
下面我用车上拍摄的车道图像，采用逆透视变换得到的图像，给出代码前我们先看下处理结果。
首先是原始图像：
下图为逆透视变换图像：
下面说具体的实现吧！！
一、参数设置：
1、需要知道相机的内部参数（这个具体步骤可以找相关文档，这里就不具体展开说）。
我们这里假设已经获取内部参数：
相机焦距，相机光学中心， 相机高度， 相机的俯仰角， 相机的偏航角， 相机拍摄出的图像尺寸。
参数说明： 其中偏航角 和 俯仰角 就是在（一）中所说的世界坐标经过旋转矩阵得到相应的相机坐标。 而偏航角和俯仰角将决定这个旋转矩阵。 而相机焦距 和相机光学中心 是可以从相机标定后得出 ，相机高度需要自己测量。
而图像尺寸，是拍出图像的尺寸。
2、 设定逆透视变换的参数：
逆透视图像的尺寸，需要进行逆透视变换的区域，逆透视变换的差值算法。
逆透视变换的区域：原始图像中需要变换的区域（当然这个区域不能超过消失点区域，后面会说到）
逆透视图像的尺寸： 就是需要将逆透视变换区域映射到这个逆透视图像上。
差值算法：因为需要映射，所以某些数值需要估计出，这里用双线性差值。
二、
根据相机的内部参数计算消失点：
因为图像是二维的，所以消失点是是一个二维坐标。
code:
[plain] view
plain copy
function [ vp ] = GetVanishingPoint( cameraInfo )
%GetVanishingPoint Summary of this function goes here
% Detailed explanation goes here
vpp = [ sin(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);cos(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);0];
tyawp = [
cos(cameraInfo.yaw*pi/180), -sin(cameraInfo.yaw*pi/180), 0;
sin(cameraInfo.yaw*pi/180), cos(cameraInfo.yaw*pi/180), 0;
0, 0, 1];
tpitchp = [1, 0, 0;
0, -sin(cameraInfo.pitch*pi/180), -cos(cameraInfo.pitch*pi/180);
0, cos(cameraInfo.pitch*pi/180), -sin(cameraInfo.pitch*pi/180)];
transform = tyawp*tpitchp;
t1p = [
cameraInfo.focalLengthX, 0, cameraInfo.opticalCenterX;
0, cameraInfo.focalLengthY, cameraInfo.opticalCenterY;
0, 0, 1];
transform = t1p*transform;
vp = transform*vpp;
end
三、利用消失点可以得到uv平面中的图像范围和对应的xy平面的范围
code:
[plain] view
plain copy
uvLimitsp = [ vp.x, ipmInfo.ipmRight, ipmInfo.ipmLeft, vp.x;
ipmInfo.ipmTop, ipmInfo.ipmTop, ipmInfo.ipmTop, ipmInfo.ipmBottom];
xyLimits = TransformImage2Ground(uvLimitsp,cameraInfo);
[plain] view
plain copy
function [ xyLimits ] = TransformImage2Ground( uvLimits,cameraInfo )
%TransformImage2Ground Summary of this function goes here
% Detailed explanation goes here
[row , col ] = size(uvLimits);
inPoints4 = zeros(row+2,col);
inPoints4(1:2,:) = uvLimits;
inPoints4(3,:) = 1;
inPoints3 = inPoints4(1:3,:);
c1 = cos(cameraInfo.pitch*pi/180);
s1 = sin(cameraInfo.pitch*pi/180);
c2 = cos(cameraInfo.yaw*pi/180);
s2 = sin(cameraInfo.yaw*pi/180);
matp= [
-cameraInfo.cameraHeight*c2/cameraInfo.focalLengthX,cameraInfo.cameraHeight*s1*s2/cameraInfo.focalLengthY,(cameraInfo.cameraHeight*c2*cameraInfo.opticalCenterX/cameraInfo.focalLengthX)- (cameraInfo.cameraHeight *s1*s2* cameraInfo.opticalCenterY/ cameraInfo.focalLengthY) - cameraInfo.cameraHeight *c1*s2;
cameraInfo.cameraHeight *s2/cameraInfo.focalLengthX, ...
cameraInfo.cameraHeight *s1*c2/cameraInfo.focalLengthY, ...
(-cameraInfo.cameraHeight *s2* cameraInfo.opticalCenterX ....
/cameraInfo.focalLengthX)-(cameraInfo.cameraHeight *s1*c2* ....
cameraInfo.opticalCenterY /cameraInfo.focalLengthY) - ...
cameraInfo.cameraHeight *c1*c2;
0, cameraInfo.cameraHeight *c1/cameraInfo.focalLengthY, (-cameraInfo.cameraHeight *c1* cameraInfo.opticalCenterY/cameraInfo.focalLengthY)+cameraInfo.cameraHeight*s1;
0, -c1 /cameraInfo.focalLengthY,(c1* cameraInfo.opticalCenterY /cameraInfo.focalLengthY) - s1];
inPoints4 = matp*inPoints3;
inPointsr4 = inPoints4(4,:);
div = inPointsr4;
inPoints4(1,:) = inPoints4(1,:)./div;
inPoints4(2,:) = inPoints4(2,:)./div;
inPoints2 = inPoints4(1:2,:);
xyLimits = inPoints2;
end
四、根据得到的范围计算xy平面的一一对应的映射
[plain] view
plain copy
row1 = xyLimits(1,:);
row2 = xyLimits(2,:);
xfMin = min(row1); xfMax = max(row1);
yfMin = min(row2); yfMax = max(row2);
[outRow outCol] = size(outImage);
stepRow = (yfMax - yfMin)/outRow;
stepCol = (xfMax - xfMin)/outCol;
xyGrid = zeros(2,outRow*outCol);
y = yfMax-0.5*stepRow;
for i = 1:outRow
x = xfMin+0.5*stepCol;
for j = 1:outCol
xyGrid(1,(i-1)*outCol+j) = x;
xyGrid(2,(i-1)*outCol+j) = y;
x = x + stepCol;
end
y = y - stepRow;
end
五、将xy平面的映射转换到uv平面，并画出这个映射
[plain] view
plain copy
%TransformGround2Image
uvGrid = TransformGround2Image(xyGrid,cameraInfo);
% Image mean
means = mean(R(:))/255;
RR = double(R)/255;
for i=1:outRow
for j = 1:outCol;
ui = uvGrid(1,(i-1)*outCol+j);
vi = uvGrid(2,(i-1)*outCol+j);
if (ui<ipmInfo.ipmLeft || ui>ipmInfo.ipmRight || vi<ipmInfo.ipmTop || vi>ipmInfo.ipmBottom)
outImage(i,j) = means;
else
x1 = int32(ui); x2 = int32(ui+1);
y1 = int32(vi); y2 = int32(vi+1);
x = ui-double(x1) ; y = vi-double(y1);
val = double(RR(y1,x1))*(1-x)*(1-y)+double(RR(y1,x2))*x*(1-y)+double(RR(y2,x1))*(1-x)*y+double(RR(y2,x2))*x*y;
outImage(i,j) = val;
end
end
end
最终可以显示这个图像：如上面的逆透视变化图像！
具体的code，可以在这里下载。如果问题可以留言交流！！
另外，如果需要标定相机的可以参考这篇博文：
http://blog.csdn.net/yeyang911/article/details/52382722
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- ListView点击Item展开菜单实现代码详解
- 通过反射实现Java下的委托机制代码详解
- GlusterFS之内存池（mem-pool）实现原理及代码详解
- Android 实现监听的四种方法详解实例代码
- Akka第一个案例动手实战main方法实现中ActorSystem等代码详解
- 详解php几行代码实现CSV格式文件输出
- C++单件模式实现代码详解
- 详解spring中使用solr的代码实现
- 详解字典树Trie结构及其Python代码实现
- BootStrap实现树形目录组件代码详解
- 算法#14--详解各种字符串查找算法和代码实现
- php实现留言板功能（代码详解）
- stl map底层之红黑树插入步骤详解与代码实现
- Matlab调用C++代码的具体mex实现详解
- python opencv实现任意角度的透视变换实例代码
- Linux中I/O复用——select函数详解及代码实现
- 自己动手实现jQuery Callbacks完整功能代码详解
- 使用synchronized实现一个Lock代码详解
- 拦截JSP页面，校验是否已登录详解及实现代码
- rtmfp协议分析详解代码实现（二）