泛函(最简泛函)导数解法
发布网友
发布时间：2024-10-06 04:23
共1个回答
热心网友
时间：2024-10-16 08:13
泛函是以类函数为定义域的实值函数，它的值为实数，它所依赖的自变量是函数。普通函数的值与他所依赖的自变量都是实数。因此，泛函是函数与变量的的对应关系，它是一种广义的函数，而函数是变量与变量的对应关系，这是泛函与函数的基本区别。
复合函数依赖于自变量[公式] ，当 [公式] 的值给定后，就能算出符合函数的一个相应值，而泛函则依赖于函数 [公式] ,泛函的值不取决于自变量 [公式] 的某个值，也不取决于函数 [公式] 的某个值，而是取决于类函数 [公式] 中 [公式] 与 [公式] 的函数关系。这是泛函与复合函数的基本区别。
设 [公式] 是三个独立变量 [公式] 在区间 [公式] 上的已知函数，且二阶连续可微，其中 [公式] 和 [公式] 是 [公式] 的未知函数，则泛函
[公式]
称为最简单的积分型泛函，简称最简泛函。[公式] 值取决于函数 [公式] 的形式，故 [公式] 是 [公式] 的泛函。有式(1)可知， [公式] 不仅仅只是 [公式] 的函数，而且还是 [公式] 和 [公式] 的函数，但只要求出 [公式] , [公式] 也能求出来了，因此式(1)只是写成 [公式] 的形式，而没有写成 [公式] ，即最简泛函是关于 [公式] 三元函数。
最简泛函[公式] 的自变量为 [公式] ，设在类函数 [公式] 内，自变量 [公式] 的一阶领域内，任取一曲线 [公式] ，
[公式]
公式(2)称为[公式] 的变分。
相应的泛函[公式] 的增量为
[公式]
泛函的增量也成为泛函的全变分。
[公式]
称为最简泛函的变分。
设[公式] ，函数 [公式] ，如果函数 [公式] 在 [公式] 处可导，则 [公式] 也称为 [公式] 在 [公式] 处的变分，这样定义的泛函变分，称为拉格朗日定义的泛函变分。
使最简泛函[公式] 取极值且满足固定边界条件
[公式]
的极值曲线[公式] 应满足必要条件 [公式]
的解。式(6)成为最简泛函的欧拉方程。
推导请参考《 清雅白鹿记：变分法理解4——泛函导数》
欧拉方程中出现的量[公式] 称为 [公式] 关于 [公式] 的变分导数，也成为最简泛函在固定边界条件下的1阶导数，也成为最简泛函在 [公式] 上的梯度，也可记为 [公式] ,即 [公式]
有欧拉方程可知，最简泛函取极值时，最简泛函在[公式] 上的1阶导数为0，这和普通函数取极值条件是对应的。
以上部分均参考《变分法基础》（第二版）相关章节。
（自此以下为自己总结，可能有误，欢迎指正！)
求最简泛函的导数步骤
1)首先确定被积函数[公式] 表达式，若还包含其他的函数 [公式] ，则把其看作常数。
2)把自变量[公式] 换做一个变量 [公式] ， [公式] 换做做变量 [公式] ，其中 [公式] 相互独立，那么 [公式] 变为 普通函数[公式] 。
3)按照对普通三元函数[公式] 求偏导规则分别对 [公式] 和 [公式] 求偏导得 [公式]
4）将[公式] 带入式(8),然后将中 [公式] 换为 [公式] ，得 [公式] 。
[公式] 即为所求最简泛函的导数。
注意：若步骤1）中[公式] 的表达式中不含 [公式] ，那么步骤3）中 [公式] ， [公式] 。机器学习中涉及的泛函求导大多都不包含 [公式] 。
最简泛函的导数的应用
[公式]
步骤1：[公式]
步骤2：[公式]
步骤3：[公式] 中不含 [公式] ，因此 [公式] ； [公式] 。
步骤4）：[公式]
与《 清雅白鹿记：变分法理解4——泛函导数》中结果相同。
2.《统计机器学习》第9章EM算法中引理9.1证明中对拉格朗日函数求导
[公式]
步骤1：确定被积函数 [公式] 。
[公式]
所以，记
[公式]
步骤2：把自变量 [公式] 看做一个变量 [公式] .
[公式]
其中[公式] 与 [公式] 无关，其实 [公式] 应为 [公式] ，由于我们仅求关于自变量 [公式] 的导数，而不关心 [公式] 的导数，所以将其看作常数。
步骤3：对式(11)关于 [公式] 求导。
[公式]
式(11)中不包含[公式] ，所以 [公式]
步骤4： [公式]
结果与书中结果相同。
