数字媒体技术14---wangronggang-VR

VR(沉浸视频)

含义

anyview=多视角

anytime

anywhere

stereo

interatcive(体感技术kinect，体感头盔捕捉头部和眼球运动)

全光函数

7维度

3D viewpoint

2D ray direction

1D wave length

1D time

--->简化为：全景视频（成像在一个球上）

系统

采集

多个gopro相机

相邻相机公共事业

fov广角图像即便

相机们的时间同步

生成

假设光心重合

利用特征点匹配估计成像平面所在的位置，计算单一矩阵

融合图像，进行补偿光线等工作

问题

实际中，摄像头的光心不能完全重合，导致

---》近景和远景单一矩阵不同

出现parallax error现象，图像断掉--try 不同深度用不同的单一矩阵

时域抖动

弱纹理拼接

编码

数据量大，5k 60fps需要带宽至少45Mbps，现实中

---》3Mbps，目前最高的网络带宽40Mbps

压缩质量要高：放在人眼前显示，对块效应等容忍度小

终端解码能力

呈现

立体：

目前解决方案：通过时差造成伪立体/通过深度估计进行绘制(方法：SGM,Middlebury Benchmark)

视点融合：DIBR(VSRS参考软件)

有很多应用

在线虚拟现实的演唱会etc

有很多值得研究的问题

1.全景的场景理解