some record in matlab code

(shift+f3)可以切换英文大小写！！！

1—add path in the matlab:

addpath('utilities');
addpath('solver');

2—- matlab function handle

这是一种间接调用函数的形式，但是很高效，

handle = @functionname

handle = @(arglist)anonymous_function

sqr = @(x) x.^2;
sqr(20)

3—about the sparse web and CS

http://www.cnblogs.com/daniel-D/p/3222576.html

这里面引用的coursera 上面的内容



http://www.cvchina.info/2010/06/01/sparse-representation-vector-matrix-tensor-1/

http://www.cvchina.info/tag/%E5%8E%8B%E7%BC%A9%E6%84%9F%E7%9F%A5/

4—Hadamard product (matrices)

For two matrices of the same dimensions, there is the Hadamard product, also known as the element-wise product, pointwise product, entrywise product and the Schur product.[24] For two matrices A and B of the same dimensions, the Hadamard product A ○ B is a matrix of the same dimensions, the i, j element of A is multiplied with the i, j element of B, that is:

\left(\mathbf{A} \circ \mathbf{B}\right){ij} = A{ij}B_{ij},,

The Frobenius inner product, sometimes denoted A : B, is the component-wise inner product of two matrices as though they are vectors. It is also the sum of the entries of the Hadamard product. Explicitly,

\mathbf{A}:\mathbf{B}=\sum_{i,j} A_{ij} B_{ij} = \mathrm{vec}(\mathbf{A})^\mathsf{T} \mathrm{vec}(\mathbf{B}) = \mathrm{tr}(\mathbf{A}^\mathsf{T} \mathbf{B}) = \mathrm{tr}(\mathbf{A} \mathbf{B}^\mathsf{T}),

where “tr” denotes the trace of a matrix and vec denotes vectorization. This inner product induces the Frobenius norm.

5—image reconstruction toolbox

http://web.eecs.umich.edu/~fessler/code/

6——Nonuniform Fast Fourier Transforms (NUFFT)

some website:

http://research.engineering.uiowa.edu/cbig/content/accurate-nufft-using-optimized-interpolator-and-scale-factors

下图在1D数据中，显示了FFT与NUFFT的区别：



一个均匀采样，一个非均匀采样

下图显示在医学图像处理中的采样方式：



下图在图像处理中的对比残差：



上图中的残差计算，没有明白为啥右下角的图像时那种条纹。。。。

重在应用MRI

7—-sparse coding 和 sparse representation 的区别

稀疏编码是获得稀疏表示的一种途径-zhihua zhou

S R 广泛应用于 图像恢复、去模糊、inpainting、物体检测等等，最近几年非常热，大量文章出现。

最早的一篇文章是1996年的Nature 上的一篇文章

emergence of simple

在线性表达上进行了稀疏约束，得到了一下表征图像固有特征的基函数（不一定正交） localized\ oriented \ bandpass

Elad的一个slide 有详细讲解SP的问题及理论，非常好

Ecole_Polytechnique_MMSE_April_2009.ppt

稀疏表示的模型如图



另外，最近稀疏表示的论文，可以参考最近出来的一个survey，A Survey of Sparse Representation: Algorithms and Applications， 内容比较详尽，总结了SP发展中的sparse 约束的5种不同范数类型：

L0-范数

Lp-范数

L1-范数

L2,1-范数

L2-范数

将求解的上述不同约束的SP算法归结了4类，

greedy strategy approximation，常见的为Matching pursuit, Orthogonal Matching Pursuit

constrained optimization

proximity algorithm-based optimization

homotopu algorithm-based sparse representation

http://arxiv.org/pdf/1506.07515v1.pdf

8—–steepest descent method 最速梯度下降法

在看FISTA的方法的时候，发现algorithm 的步骤跟程序稍微有一点不匹配，按照流程修改之后就发现是错的，原来隐藏在里面一个梯度和导数的关系



在程序中的5-6行，改的是错误的

ck = yk - 2*Li*A'*(A*yk-yn);
thk1 = (max(abs(ck)-alp,0)).*sign(ck);
tk1 = 0.5 + 0.5*sqrt(1+4*tk^2);
tt = (tk-1)/tk1;
yk = thk1 +tt*(thk1-thk);
%yk = thk1 -tt*(thk1-thk);% this is right
tk = tk1;
thk = thk1;

原来是用了最速下降法（steepest descent method），最速下降的方向是负梯度方向：-g(k)/|g(k)|

归结为： x(k+1)=x(k)-a*g(k)，g(k)是x(k)的梯度

具体参考博客

自己在优化方面需要好好看，程序都看不懂！！

关于范数性质中，成立的两个等式





第二个等式是LP问题，可以求解

常用： KKT condition