SeamCarving相关介绍及MATLAB实现

SeamCarving是一款图像智能缩放的技术，他能在改变图像大小的同时，不影响图像的重要内容。
由于是小组合作,这里就只发布我做的第一部分,裁剪线的删除和增加部分,以及GUI部分不做叙述.



 如上，在这张图中，明显重要的内容就是飞鸟，而背景则不重要。传统的缩放技术，一是等比例缩放，如果纵向和横线缩放的比例不一致，就会导致图像严重变形；二是裁剪，那就会把边缘的飞鸟也裁剪掉。
示范图例如下：



从以上的对比图中可以看出seamcarving可以较好的保存图像的重要部分，并看起来不那么畸形。那么我们如何来实现呢？
1.计算能量图

 首先我们要知道，seamcarving是通过删除或插入水平或垂直的裁剪线来达到智能缩放的目的，这个裁剪线就是图像能量最小的通道。那么我们就要先得到图像的能量图再来根据能量图得到裁剪线。而能量图是由梯度图计算得来。图像某处的变化越大那么相应的梯度以及能量也就越大。
可由sobel算子与图像三个通道相乘来得到它的梯度能量图.
2.计算能量累加图
    能量累加图的由以下公式获得:
  M(i,j) =e(i,j)+min(M(i−1,j−1),M(i−1,j),M(i−1,j+1))
 (此公式摘自论文Seam Carving for Content-Aware Image Resizing)
    在这里我们可以看到利用动态规划可以找到最优的裁剪线。第一步是将图像从第二行遍历到最后一行。计算累积最小能量。M(i,j)为该点的累积能量值,e(i,j)为该点由第一步计算得出的能量值.
3.寻找最小裁剪线
    由于能量累积图中我们是由前往后累加计算,第一行并未得到累加,那么找纵向裁剪线时,则应该从最后一行往前寻找裁剪线的点.
    找到最后一行能量最小的点,再根据坐标找前一行与之相邻的点中能量最小的点,如此递归,当贯穿了整个图像后,即得到了裁剪线.可将已经找到的裁剪线的坐标点做个标记,以防2次找线时有重叠,导致每行像素点不齐.
    而纵向裁剪线则可将图片转置,并重新计算能量累加图,同上找最佳的裁剪线,并记录坐标.
    若是缩小图片,可直接将找出的裁剪线删除,若是放大图片,以防只在同一个位置插入无用的像素,导致图像的重心偏移,可以在多条裁剪线(从小到大)的一个方向插入与裁剪线相同或相邻的像素点.

4.代码实现
.)))function seam(pic,n,n2)%pic是要裁剪的图片，n是纵向裁剪线的条数，n2是横向裁剪线的条数
%UNTITLED 此处显示有关此函数的摘要
%  seam carving赵若妃组：谢沛蓉第一部分
%pic=imread('timg2.jpg');
%n=1;
%n2=2;
%将图像分RGB三个通道做处理
%pic=imread('timg2.jpg');
picR = pic(:,:,1); 
picG = pic(:,:,2); 
picB = pic(:,:,3); 
%将图像内容变成可做运算的值
picRI=double(picR);
picGI=double(picG);
picBI=double(picB);
%原图像的宽和高
[H,W]=size(picRI);
%求R,G,B三个通道上的梯度图
after_picr=zeros(H,W);
after_picg=zeros(H,W);
after_picb=zeros(H,W);
gradient=zeros(H,W);
%定义sobel算子
sobelx=[-1,-2,-1;0,0,0;1,2,1;];
sobely=[-1,0,1;-2,0,2;-1,0,1;];
%将sobel算子与原图的三个通道图的子模块分别做点乘,得到三个通道的梯度图
for i=2:H-1
   for j=2:W-1
       subR=picRI(i-1:i+1,j-1:j+1);
       tempR1=subR.*sobelx;
       tempR2=subR.*sobely;
       x1=sum(sum(tempR1));
       y1=sum(sum(tempR2));
       after_picr(i,j)=sqrt(x1*x1+y1*y1);
       
       subG=picGI(i-1:i+1,j-1:j+1);
       tempG1=subG.*sobelx;
       tempG2=subG.*sobely;
       x2=sum(sum(tempG1));
       y2=sum(sum(tempG2));
       after_picg(i,j)=sqrt(x2*x2+y2*y2);
       
       subB=picBI(i-1:i+1,j-1:j+1);
       tempB1=subB.*sobelx;
       tempB2=subB.*sobely;
       x3=sum(sum(tempB1));
       y3=sum(sum(tempB2));
       after_picb(i,j)=sqrt(x3*x3+y3*y3);
   end
end
%以picR,picG,picB三个图像边缘的原值来填充三个梯度图的边缘.
for i=1:H
   after_picr(i,1)=picRI(i,1);
   after_picr(i,W)=picRI(i,W);
   
   after_picg(i,1)=picGI(i,1);
   after_picg(i,W)=picGI(i,W);
   
   after_picb(i,1)=picBI(i,1);
   after_picb(i,W)=picBI(i,W);
end
for i=1:W
   after_picr(1,i)=picRI(1,i);
   after_picr(H,i)=picRI(H,i);
   
   after_picg(1,i)=picGI(1,i);
   after_picg(H,i)=picGI(H,i);
   
   after_picb(1,i)=picBI(1,i);
   after_picb(H,i)=picBI(H,i);
end
%将三个通道的梯度图相加,得到原图像的梯度图   
for i=1:H
   for j=1:W
      gradient(i,j)=after_picr(i,j)+after_picg(i,j)+after_picb(i,j);
   end
end
%定义能量累加图
energy=zeros(H,W);
%能量矩阵的副本
energy2=zeros(H,W);
%对能量累加图第一行的填充
for i=1:W
   energy(1,i)=gradient(1,i);
   energy2(1,i)=energy(1,i);
end
%根据公式求其能量累加图
for i=2:H
   for j=1:W
       if(j==1||j==W)
           if j==1
               energy(i,1)=gradient(i,1)+min(energy(i-1,1),energy(i-1,2));
                energy2(i,1)=energy(i,1);
           else
               energy(i,W)=gradient(i,W)+min(energy(i-1,W),energy(i-1,W-1));
                energy2(i,W)=energy(i,W);
           end
       else
           tempEn=min(energy(i-1,j-1),energy(i-1,j));
           energy(i,j)=gradient(i,j)+min(tempEn,energy(i-1,j+1));
           energy2(i,j)=energy(i,j);
       end
   end
end
%对能量图的归一化,方便显示
energy1=mapminmax(energy,0,255);
%定义一个转置的梯度矩阵
g
4000
radientTrans=zeros(W,H);
for i=1:W
   for j=1:H
      gradientTrans(i,j)=gradient(j,i);
   end
end
%定义一个转置的能量矩阵
energyTrans=zeros(W,H);
%转置的能量矩阵的副本
energyTrans2=zeros(W,H);
%对转置能量累加图第一行的填充
for i=1:H
   energyTrans(1,i)=gradientTrans(1,i);
   energyTrans2(1,i)=energyTrans(1,i);
end
%根据公式求转置梯度矩阵的能量累加图
for i=2:W
   for j=1:H
       if(j==1||j==H)%当其在边缘时，取上一行两个能量中较小的一个
           if j==1
               energyTrans(i,1)=gradientTrans(i,1)+min(energyTrans(i-1,1),energyTrans(i-1,2));
                energyTrans2(i,1)=energyTrans(i,1);
           else
                energyTrans(i,H)=gradientTrans(i,H)+min(energyTrans(i-1,H),energyTrans(i-1,H-1));
                energyTrans2(i,H)=energyTrans(i,H);
           end
       else
       tempEn=min(energyTrans(i-1,j-1),energyTrans(i-1,j));
       energyTrans(i,j)=gradientTrans(i,j)+min(tempEn,energyTrans(i-1,j+1));
       energyTrans2(i,j)= energyTrans(i,j);
       end
   end
end
%对转置能量图的归一化,方便显示
energyTrans1=mapminmax(energyTrans,0,255);
 
%选取能量图最后一行能量最小的一点,并记录坐标，纵向裁剪线
indexVer=zeros(H,n);%要修改的所有能量线的最后一点的集合
last=energy2(H,:);
temp=zeros(1,3);
lastMax=max(last)+1;
%找出要修改的能量线的最后一点的集合
for i=1:n
  [~,lastMin]=min(last);
  last(lastMin)=lastMax;
  indexVer(H,i)=lastMin;
end
maxEnergy=max(max(energy2))+1;
 
for i=1:n
   for j=H-1:-1:1
       index=indexVer(j+1,i);%裁剪线上一点的坐标
        if(index==1)%考虑边缘情况
           temp(1)=maxEnergy;
           temp(2)=energy2(j,index);
           temp(3)=energy2(j,index+1);
       end
       if(index==W)%考虑边缘情况
           temp(1)=energy2(j,index-1);
           temp(2)=energy2(j,index);
           temp(3)=maxEnergy;%当某一点已在最小裁剪线中，在副本里将其定义为最大值，下一条裁剪线则不会重叠
       end
       if(index~=W&&index~=1)
           temp(1)=energy2(j,index-1);
           temp(2)=energy2(j,index);
           temp(3)=energy2(j,index+1);
       end
       if(min(temp)==temp(1))
           indexVer(j,i)=index-1;
           energy2(j,index-1)=maxEnergy;
       end
       if(min(temp)==temp(2))
           indexVer(j,i)=index;
           energy2(j,index)=maxEnergy;
       end
       if(min(temp)==temp(3))
           indexVer(j,i)=index+1;
           energy2(j,index+1)=maxEnergy;
       end 
   end
end  
 
%选取转置能量图最后一行能量最小的一点,并记录坐标，横向
indexHor=zeros(W,n2);%要删减的能量线的最后一点的集合
lastTrans=energyTrans2(W,:);
temp2=zeros(1,3);
lastTransMax=max(lastTrans)+1;
%找出要删减的能量线的最后一点的集合
for i=1:n2
  [~,lastTransMin]=min(lastTrans);
  lastTrans(lastTransMin)=lastTransMax;  
  indexHor(W,i)=lastTransMin;
end
maxEnergyTrans=max(max(energyTrans2))+1;
for i=1:n2
   for j=W-1:-1:1
      indexHor(j+1,i)
       index=indexHor(j+1,i);
        if(index==1)
           temp2(1)=maxEnergyTrans;
           temp2(2)=energyTrans2(j,index);
           temp2(3)=energyTrans2(j,index+1);
       end
       if(index==H)
           temp2(1)=energyTrans2(j,index-1);
           temp2(2)=energyTrans2(j,index);
           temp2(3)=maxEnergyTrans;
       end
       if((index~=H)&&(index~=1))
           temp2(1)=energyTrans2(j,index-1);
           temp2(2)=energyTrans2(j,index);
           temp2(3)=energyTrans2(j,index+1);
       end
       if(min(temp2)==temp2(1))
           indexHor(j,i)=index-1;
           energyTrans2(j,index-1)=maxEnergyTrans;
       end
       if(min(temp2)==temp2(2))
           indexHor(j,i)=index;
           energyTrans2(j,index)=maxEnergyTrans;
       end
       if(min(temp2)==temp2(3))
           indexHor(j,i)=index+1;
           energyTrans2(j,index+1)=maxEnergyTrans;
       end 
   end
end  
%显示裁剪线
for i=1:H
  for j=1:n
      picR(i,indexVer(i,j))=255;
      picG(i,indexVer(i,j))=0;
      picB(i,indexVer(i,j))=0;
  end
end
for i=1:W
   for j=1:n2
      picR(indexHor(i,j),i)=255;
      picG(indexHor(i,j),i)=0;
      picB(indexHor(i,j),i)=0;
   end
end
pic2(:,:,1)=picR;
pic2(:,:,2)=picG;
pic2(:,:,3)=picB;
figure(1);
gradient=uint8(gradient);
imshow(gradient);
figure(2);
energy1=uint8(energy1);
imshow(energy1);
figure(3);
gradientTrans=uint8(gradientTrans);
imshow(gradientTrans);
figure(4);
energyTrans1=uint8(energyTrans1);
imshow(energyTrans1);
figure(5);
lastimg=uint8(pic2);
imshow(lastimg);
 
原图:



能量图:



能量累加图:



裁剪线的显示: