什么是本质是线性的非线性回归模型?
发布网友
发布时间：2023-06-12 13:49
共1个回答
热心网友
时间：2024-12-02 04:20
线性回归模型亦即当 为正定(满秩)矩阵时,可求得 的解析解。当 不是满秩矩阵时(比如 d>m)可能会求出多个解,通常的解决办法是引入正则化项,即在最小二乘中加入一个L-P范数。如果加入L1范数,就是LASSO;如果加入L2范数平方,即: 就是岭回归。以岭回归为例,经推导可得: 。加入的单位阵保证了矩阵满秩、可逆。
2.
非线性模型 上式等价于式(1),也就是说这时同样可用最小二乘法来进行参数估计。从上面的推导过程可以看出,线性或非线性回归中的最小二乘法是在假设预测误差满足独立同分布且服从正态分布的情况下,根据最大似然估计的基本原理推导出来的。当然,在线性情况下可求得解析解,而在非线性情况下通常只能用梯度下降法、牛顿法、列文伯格-马夸尔特法等进行求解。 需注意的是,随机误差并非一定满足独立同分布,也并非一定服从正
