SVM解释为什么可以约束min y（wx+b）=1的问题

在<计算机技巧>课程中，考虑到w,b同时放大或者缩小对原来的优化问题没有任何影响，为了化简这个问题，作者引入min1...nyn(wxn+b)=1min_{1...n}y_{n}(wx_{n}+b)=1,这里证明在这个约束下问题其实对原始的优化问题没有影响，即：



加上上面约束后没有影响。

假设wop,bopw_{op},b_{op}是原始问题的最优解，那么转换的优化问题求出的解一定是wop/A,bop/Aw_{op}/A,b_{op}/A这种形式的。

假设两个点：y1(wx1+b)=2,y2(wx2+b)=3y_{1}(wx_{1}+b)=2,y_{2}(wx_{2}+b)=3

因此：y1(w2x1+b2)=1,y2(w2x2+b2)=1.5y_{1}(\frac{w}{2}x_{1}+\frac{b}{2})=1,y_{2}(\frac{w}{2}x_{2}+\frac{b}{2})=1.5

显然wop/2,bop/2w_{op}/2,b_{op}/2首先是新问题的最优解，同时也满足约束条件。

原始问题变成新问题必然严格了很多，但是原始问题最优解为2/||wop||2/||w_{op}||，新问题最优解也为2/||wop||2/||w_{op}||，因此约束的严格并没有带来优化最值的下降，故而两种优化问题是等价的。

（优化问题的等价性：优化目标最值没有变化）