创新实训第八周总结

直接变化的深度图和解线性方程组的深度图分别如下


解方程得到深度图

https://www.jianshu.com/p/1aac118197ff（obj文件的格式）
OBJ文件 – 基本结构
OBJ文件不需要任何种文件头(File Header)，尽管经常使用几行文件信息的注释作为文件的开头。OBJ文件由一行行文本组成，注释行以一个“井”号(#)为开头，空格和空行可以随意加到文件中以增加文件的可读性。有字的行都由一两个标记字母也就是关键字(Keyword)开头，关键字可以说明这一行是什么样的数据。多行可以逻辑地连接在一起表示一行，方法是在每一行最后添加一个连接符()。注意连接符()后面不能出现空格或tab格，否则将导致文件出错。下列关键字可以在OBJ文件使用。在这个列表中, 关键字根据数据类型排列，每个关键字有一段简短描述。
几个重要 的顶点数据(Vertex data)：
v 几何体顶点 (Geometric vertices)
vt 贴图坐标点 (Texture vertices)
vn 顶点法线 (Vertex normals)

接下来从深度图重新构建三维模型，深度值从之前得到的深度图直接读取，构建三维mesh时，将相邻的四个点相连，构造成两个三角形，点的顺序逆时针，主要代码如下

with open(r'b.obj','w+') as file:
#几何体顶点
for q in pointdepth:
file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')

for q in back_pointdepth:
file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')

#面
for i in range(x-1):
for ii in range(y-1):
if(img[i][ii]!=0 and img[i+1][ii]!=0 and img[i+1][ii+1]!=0 and img[i][ii+1]!=0):
qurt.append([dp_matrix_value[i,ii],dp_matrix_value[i+1,ii],dp_matrix_value[i+1,ii+1],dp_matrix_value[i,ii+1]])

#     124 234

for qu in qurt:
file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n')
file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n')

#面
for i in range(x-1):
for ii in range(y-1):
if(back_img[i][ii]!=0 and back_img[i+1][ii]!=0 and back_img[i+1][ii+1]!=0 and back_img[i][ii+1]!=0):
back_qurt.append([back_dp_matrix_value[i,ii],back_dp_matrix_value[i+1,ii],back_dp_matrix_value[i+1,ii+1],back_dp_matrix_value[i,ii+1]])

#     124 234

for qu in back_qurt:
file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n')
file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n')

构造出的obj正面结果还不错

背面由于深度值缺失，效果较差

鉴于边界点等效果较差，采取两种措施

（1）使用bfs思想平滑图片。通过常识我们知道，相邻像素之间的深度值不会差别很大。从这种想法出发，选取基本点，然后用bfs方法减少相邻的像素之间的深度值差。

import queue

# 从中心点开始，bfs向外扩展，将变化大的点的深度值平滑
# x,y为图片中心，img为图片深度值，gap为相邻元素深度值最大差，diff为深度值差合理范围
def bfs_smooth(x,y,img,gap,diff):
q = queue.Queue()
visited = np.mat(np.zeros((x,y)))

mid_x = int(x/2)
mid_y = int(y/2)
q.put((mid_x,mid_y))
visited[mid_x,mid_y]=1

while not q.empty():
cx,cy = q.get()
before = img[cx][cy]
for i in range(-1,2):
for j in range(-1,2):
new_x = cx+i
new_y = cy+j
if(img[new_x][new_y]!=0 and visited[new_x,new_y] == 0 ):
visited[new_x,new_y] = 1
q.put((new_x,new_y))

if(abs(int(img[new_x][new_y])-int(before))<diff):
pass
elif(img[new_x][new_y]>before):
img[new_x][new_y] = before+gap
else:
img[mid_x][i] = before

（2）在前后拼接时，若出现相互交叉的情况，将深度值设为中间值

for i in range(lenth):
q1 = pointdepth[i]
q2 = back_pointdepth[i]

if(q1[2]>q2[2]):

mid = (q1[2]+q2[2])/2
pointdepth[i][2] = mid
back_pointdepth[i][2] = mid

得到模型



可以发现，深度值似乎存在一些问题（肚子，腿等姿态），这与相机参数有关

这涉及到世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系，https://blog.csdn.net/xueluowutong/article/details/80950915

https://www.geek-share.com/detail/2722508434.html

https://blog.csdn.net/weixin_33937913/article/details/86132657

问题待解决