SVM中引入拉格朗日对偶理解

  在求

      12||w||2s.t.yi(wTx+b)>=1i=1,...,n

的最小值时 ，SVM的推导中引入了朗格朗日对偶，来巧妙的将原问题转化为对偶问题，使得可以使用KKT条件来求解。推到解释如下图所示：







因为对偶问题max(min(L(w,b,α))) 的任意解都要小于等于原问题 min(max(L(w,b,α))) 的任意解，所以在求原问题的最小解时，如果对偶问题中有某个解和原问题中的解相等，并且由于对偶问题的解一定小于等于原问题的任意解，所以对偶问题中的那个和原问题某个解相等的解就是原问题的最小解。所以重点是如何使得对偶问题中有一个解能和原问题的中解相等，根据数学定理可以发现，在满足KKT条件下，对偶问题的最大解就等于原问题中的最小解，并且这是唯一一中相等的可能。