采用结构光，TOF传感器的立体成像系统，系统架构，设备采购调研

1.TOF结构光  [1]丁津津. TOF三维摄像机的误差分析及补偿方法研究[D].合肥工业大学,2011.



2.3D视频系统框图

[2]杨刚. 基于深度融合和曲面演变的多视点三维重建及其应用[D].浙江大学,2012.

  传输技术包括视频的编码与传输。由于实现的系统中传输的视频实质仍然为传统的视频,这里就不对视频的编码作专门介绍。结合系统实际,这里只介绍组合两路平面视频的方法。常见的有三种方案

双拼高清模式

先将左右两路高清视频拼接成一路高清视频两路视频各降低一半分辨率,可以是左右拼接、上下拼接和场拼接等,再按照正常的视频进行编码,其码率相当于一路视频。编码器针对这种双拼视频进行优化,码率可以比常规平面视频码率更低。

全高清同播模式

两路视频分别编码,其码率相当于一路视频码率的两倍。这种方案也不需要改变视频标准,但是编码复杂度、传输带宽和解码复杂度都提高一倍,需要重新设计新的编码设备和解码设备。

全高清增强模式

一路视频通常是左视进行独立编码,另一路参考已编码的视频编码,由于左右两视点视频具备一定的相关性,其码率只相当于一路视频码率的约一倍左右。但这种模式需要扩展现有编码标准,实质为视频编码,需要重新设计编码器和解码芯片。带来的好处是能够向前兼容平面电视可以解码独立编码,编码效率较全高清同播模式节省左右。结合具体实际,应用中我们选用双拼高清方案作为传输方案,可以直接利用现有的设备和系统,并可与视频兼容。

    整体上可以看成视频采集与生成系统、视频传输系统、视频显示系统三部分组成。其中采集与生成系统包括前述摄像机阵列系统和算法,双视点视频的生成与合成。首先根据重建的三维场景信息生成两个视点的视频数据,并按照节所述的双拼高清模式将两路视频合成为一路视频输出。传输系统则是基于中国电信的全球眼平台和视频服务器,视频传输基于网络实现,传输协议为实时传输协议,为接入全球眼平台的服务器,需要专门制订的对视频编码。显示系统由机客户端、显示器与眼镜三部分组成。客户端实现对全球眼平台服务器的访问,获取视频数据,对视频解码及拆分插值等处理,并按照的要求实现显示。

3.内窥镜结构        [1]张骁. 基于结构光的多视场三维图像采集系统设计[D].江苏大学,2016.



将激光结构光加入到内窥镜内部，有效地实现了结构光发生器的小型化。内窥镜主体由 5 个微型 CMOS 组成，考虑到体积的因素，所选的 CMOS 为 30W 像素的彩色传感器，镜头设计物距为80mm，通过调整摄像头的角度，使 5 个摄像头的公共区域尽量大，为之后的匹配提供良好的条件。 

4.

[4]张翼扬. 基于FPGA的无线网络传输3D视频的系统设计[D].深圳大学,2016.

双摄像头无线传输左右格式3D视频系统







NTSC（National Television Standards Committee）帧频为 30Hz（60 场），每一帧图像用 525 行来传输，偶场在前，奇场在后，采用 720×480 标准分辨率，24 位的色彩深度，画面的宽高比为 4:3 或 16:9，其标准主要应用于日本和北美等国家。

PAL（Phase Alternate Line）帧频为 25Hz（50 场），每一帧图像用 625 行来传输，奇场在前，偶场在后，采用 720×576 标准分辨率，24 位的色彩深度，画面的宽高比为4:3，其标准主要应用于中国、欧洲等国家和地区。

ITU-BT.656 的视频标准规定了 NTSC 制式和 PAL 制式的传输标准，BT.656 数据宽度为 8 位或 10 位，传输时只需要 9 根线，具有传输带宽小、抗干扰性强以及支持传统彩色电视信号等优点。



基于 FPGA 的无线网络传输 3D 视频的系统设计所需要的硬件基础如图 5.1 所示。有 CCD 摄像头、DE2 开发板（用于单摄像头无线传输系统中。支持 PAL、NTSC制式的TV解码器 ADV7181以及数模转换器ADV7123，还有VGA输出等外围接口）、Alinx 开发板（Alinx开发板选用的是Altera公司的Cyclone IV系列的EP4CE30F23C6N芯片，其中DDR2的读写时钟频率为200M，DDR2内部时钟频率为400M，充分满足了两路视频处理的要求。）、Wi Fi 模块、智能手机和红蓝 3D 眼镜以及左右视频3D眼镜。本次设计所采用的摄像头是CCD图像传感摄像头，该摄像头是 PAL制式，其输出的像素分辨率为 720×600，可视角度高达 150 度，具有 LED 夜视功能。



通过两路摄像头采集图像，连接上电源运行Quartus II 12.0进行编写，反复编译、仿真和调试，然后将调试好的程序下载到FPGA中，双摄像头采集画面后经过FPGA处理后合成红左右格式3D图像再经过Wi Fi传输到手机客户端。观看者把手机嵌入在左右格式3D眼镜中戴在头上，这样不论人眼怎样晃动，屏幕也跟随移动，使观众在观看时更加方便，3D效果更加明显。其FPGA处理结果图以及系统实物效果图如图5.9和图5.10所示。



5.[5]方挺. 基于数字微镜器件的3D信息获取系统设计与实现[D].华东师范大学,2016.



其中对于投影光学模组和结构光产生模组设备，目前的结构光３Ｄ信息获取系统一般采用商用的投影仪，一个明显的缺陷就是作为图像和视频投影显示设备，商用投影仪刷新率低，控制接口少，难以完成较高频率的结构光图案切换。本文采用以数字微镜器件为核心，独立设计的ＦＰＧＡ配合ＭＣＵ的硬件电路为控制驱动设备的结构光产生模组，对比商用投影仪具有结构光图案切换快，刷新率高，输入输出控制接口丰富等优势。

图像捕获设备在高速或实时３Ｄ信息获取领域采用具有硬件同步触发输入接口和实时图像数据输出功能的高速工业相机；系统控制和图像处理模组需要强大的编程控制能力和图像处理能力，因此ＰＣ作为工程领域常用的信号控制与数据处理设备成为该模组的首选。



采用BPA算法的开源软件Meshlab也被广泛运用在需要3D重构的各个领域。