漫步数学分析三十七——极大值与极小值

定理10有一个非常重要的应用，它给我们提供了确定函数极大值与极小值的方法。我们期望从单变量函数的相关知识来得出二阶导数的判定准则，所以我们先回顾一下实变量实况。

如果f:R→R在x0处有一个局部极大或极小，并且f在x0处可微，那么f′(x0)=0。更进一步，如果f 二次连续可微，并且若f′′(x0)<0，那么x0是局部最大值，若f′′(x0)>0，那么它是局部最小值。

为了将这些事实推广到函数f:A⊂Rn→R上，我们首先从相关定义开始。

定义6 令f:A⊂Rn→R，其中A是开集。如果存在一个x0∈A的邻域并且在这个邻域内f(x0)是最大值，即对于邻域内的所有x,f(x0)≥f(x)，我们称f(x0)是f的局部最大值。同样的，我们可以定义f的局部最小值。如果一个点要么是f的局部最大值要么是最小值，那么我们称该点是极值点(extreme)，如果f 在点x0处可微且Df(x0)=0，那么我们称x0是驻(critical)点。

第一个基本事实可以用下面的定理来表述。

定理11如果f:A⊂Rn→R是可微的，A是开集，如果x0∈A是f的一个极值点，那么Df(x0)=0；即x0是一个驻点。

它的证明大部分与基本微积分是一样的，因为f图像的极值点肯定有一个水平切平面，所以这个结论直观上非常明显。然而，仅仅是驻点不能保证该点就是极值点。例如考虑函数f(x)=x3，因为Df(0)=0，所以0是该函数的驻点，但是x>0时x3>0，而x<0时x3<0，所以0不是极值。另一个例子是f(x,y)=y2−x2，0=(0,0)是驻点，因为∂f/∂x=−2x,∂f/∂y=2y，所以Df(0,0)=0。然而在0的任何邻域内我们可以找出使得f大于零与小于0的点。不是局部极值的驻点称为鞍点(saddle point)，图1说明了为了用这个术语。

对于f:A⊂R→R，我们已经说明如果f′(x)=0,f′′<0，那么它有局部最大值，回忆一下几何情况，f′′<0意味着f是向下凹的。为了推广，下面我们引进函数g在点x0处海森(Hessian)的概念。

定义7 如果g:B⊂Rn→R是C2类，那么g在x0处的海森定义为双线性函数Hx0(g):Rn×Rn→R，形式为Hx0(g)(x,y)=−D2g(x0)(x,y)(注意负号)，从而海森仅仅是二阶偏微分的矩阵加负号。

双线性形式，即双线性映射B:Rn×Rn→R称为正定的(positive definite)，如果对于Rn中所有的x≠0,B(x,x)>0。称为半正定的(positive semidefinite)，如果对于Rn中所有的x≠0,B(x,x)≥0。负定与半负定双线性形式定义类似。



图1

接下来我们推广到多变量的情况。

定理12

如果f:A⊂Rn→R是定义在开集A上的C2函数，并且x0是f的驻点使得Hx0(f)是正定的，那么f在x0处有一个局部最大值。

如果f在x0处有一个局部最大值，那么Hx0(f)是半正定的。

对于极小值的情况只需要将上面定理中的正改成负即可，注意f的最小值就是−f的最大值。

Hx0(f)对标准基的矩阵是

⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜−∂2f∂x1∂x1⋅⋅⋅−∂2f∂xn∂x1⋯⋯−∂2f∂x1∂xn⋅⋅⋅−∂2f∂xn∂xn⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

其中偏导数都是在x0处计算的。

当n=1时，定理12(i)简化为单变量测试f′′(x0)<0。如果f′′(x0)=0，那么函数有极大值或极小值或鞍点，(此时测试失效)例如f(x)=−x4,x5,x4在x0=0处分别有最大值，鞍点与极小值，虽然他们的f′′(x0)=0。

提及一些线性代数的知识可能比较有帮助，令Δk是矩阵

⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜−∂2f∂x1∂x1⋅⋅⋅−∂2f∂xk∂x1⋯⋯−∂2f∂x1∂xk⋅⋅⋅−∂2f∂xk∂xk⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

的行列式，这个矩阵就是海森矩阵去掉最后n−k行和列得到的，那么对称矩阵Hx0(f)是正定的，当且仅当对所有的k=1,…,n,Δk>0，它是半正定的当且仅当对所有k=1,…,n,Δk≥0。这里我们不证明一般情况，在下面的例1中，我们证明2×2矩阵，下面还给出了负定的判别准则，从而对k=1,…,n，如果Δk>0，那么f在驻点x0处有(局部)最大值，这可能是应用定理12 的最佳方式。对任意k如果Δk<0，那么f在x0 处没有最大值。同样的，如果Hx0(f)是负定的，那么f在x0处有(局部)最小值。通过改变Hx0(f)的符号以及利用行列式的性质，可以得出如果k为奇数时Δk<0，k为偶数时Δk>0，那么Hx0(f)是负定的，如果k为奇数时Δk≤0，k为偶数时Δk≥0，那么Hx0(f)是负定的，从而当k为奇数时Δk<0，当k为偶数时Δ>0，那么f在x0处有最小值。

如果对某些奇数k,Δk>0，对某些偶数k,Δ<0，那么f在x0处不可能有最小值。事实上，如果对面某些k,Δk<0，f在x0既没有最大值也没有最小值，x0肯定是f的鞍点。

这个定理在力学中也非常有用，这时f是一个系统的势能，那么最小值对应稳定态，最大值与鞍点对应不稳定态。

例1：说明矩阵

[abbd]

是正定的，当且仅当a>0,ad−b2>0。

解：正定意味着

如果(x,y)≠(0,0)，那么[xy][abbd][xy]>0

即ax2+2bxy+dy2>0。首先假设对于所有的(x,y)≠(0,0)该不等式均成立，令y=0,x=1我们得到a>0，令y=1，那么对所有的x，我们有ax2+2bx+d>0，这个函数是抛物线且在2ax+2b=0处有最小值(因为a>0)，即x=−b/a，从而

a(−ba)2+2b(−ba)+d>0

即ad−b2>0。反过来可以用同样的方式来证明。

例2：研究f(x,y)=x2−xy+y2鞍点(0,0)的性质。

解：这里

∂f∂x=2x−y, ∂2f∂x2=2, ∂2f∂x∂y=−1, ∂f∂y=−x+2y, ∂2f∂y2=2

所以海森矩阵是

[−211−2]

这里Δ1=−2<0,Δ2=4−1=3>0，所以海森矩阵是负定的，从而我们有一个局部最小值。