线性回归能够求解二次曲线拟合问题吗
发布网友
发布时间：2023-03-23 02:55
共1个回答
热心网友
时间：2023-10-13 02:26

wyh_wen
原创
关注
3点赞·2922人阅读
前言
1. 基本形式
2. 损失函数
2.1 损失函数
2.1.1 最小二乘法
2.1.2 极大似然估计
2.2 正规方程法
2.2.1 一般形式
2.2.2 矩阵形式
2.3 梯度下降法
2.3.1 梯度下降法的代数方式描述
2.3.2 梯度下降法的矩阵方式描述
2.3.3 梯度下降的算法调优
2.3.4 梯度下降法的类型
3. 欠/过拟合
3.1 欠拟合
3.1.1 何为欠拟合？
3.1.2 解决方法
3.2 过拟合
3.2.1 何为过拟合？
3.2.2 解决方法
4. 正则化
4.1 L0范数
4.2 L1范数与Lasso
4.3 L2范数与Ridge
4.4 Elastic Net
4.5 L1为稀疏约束的原因
前言
线性回归模型是用一条曲线去拟合一个或多个自变量 x 与因变量 y 之间关系的模型，若曲线是一条直线或超平面（成直线时是一元线性回归，成超平面时是多元线性回归）时是线性回归，否则是非线性回归，常见的非线性回归有多项式回归和逻辑回归。线性回归是有监督学习，有标签（可以理解为样本有y值）。通过学习样本
学习映射
，得到预测的结果
是连续值变量，这是简单的一元线性回归模型，多元线性回归模型后面会详细讲（两者的异同可以参考博文）。线性回归是基础算法，同时是高级算法的根基，所以有必要掌握它的思想并学会融会贯通。接下来我们将详细学习该算法。
1. 基本形式
预测函数一般表示式
令
=1，可以写成
向量表达式
2. 损失函数
2.1 损失函数
线性回归模型是用一条曲线去拟合x与y之间的关系，那拟合的效果的好坏如何去判定呢？这就是我们要提到的损失函数，每个算法的损失函数或许不一样，但我们的目的都是使得损失函数最小化，所以需要找到对应的权重θ使得损失函数最小。下面左图是一个权重下的损失函数图像，右图是两个权重下的损失函数，损失函数是凸函数，都有唯一的最小值点。
一般将线性回归的损失函数定义为：
下面的损失函数与该形式虽然形式不完全一样，但是含义一样。这里的
是为了求导计算的便利，而
是将损失平均化，消除样本量m带来的影响。
是预测值，但因为预测值与实际值之间还是存在一定的差距，如何去确定预测的效果的好坏，需要判定预测值
与实际值
之间的差距，这差距用误差
来表示，即
。至于损失函数
为什么需要使用平方和？下面从最小二乘法和极大似然估计两个方面去分析。
2.1.1 最小二乘法
误差
有正有负，如果直接对
求和，则会出现正负抵消的情况，反映不出整体误差情况。如果使用平方和，整体的误差分布不变，所以一般使用平方和做损失函数。
线性模型用一条直线（平面）拟合数据点，找出一条最好的直线（平面）即要求每个真实点直线（平面）的距离最近。即使得残差平方和（RSS）最小
但由于每个样本的数据量存在较大的差异，为了消除样本量差异的影响，使用最小化均方误差（MSE）拟合
所以得到损失函数
式子中的
是为了求导计算便利添加的。
2.1.2 极大似然估计
误差
中，误差
是独立同分布的，并且服从均值为0方差为
的高斯分布（也称为正态分布）。补充：正态分布的均值和方差取不同值，得到不同的分布图，但均值为0，方差为1的分布称为标准正态分布。
其中，高斯分布表达式为：
由于误差服从均值为0方差为
的高斯分布，所以满足：
于是得到：
该式子表示
和
结合后的值与
接近的概率，即误差
最小的概率，即概率越大，说明预测值与真实值越接近。
由于线性回归模型是一条直线（或超平面）拟合多个点，所以需要满足所有误差取得最小值，即所有概率的乘积最大化，符合似然函数：
上式中需要找到
能使得概率连乘
最大化，也就是预测值与真实值无限接近。
由于连乘难解，所以需要转化成加法，取对数得：
上面的式子中，第一项是确定值，而第二项是变动值，所以要使得
最大，即要使得
最小化，于是得到损失函数
同理，消除样本量m带来的影响， 将损失平均化，乘以一个
。
2.2 正规方程法
正规方程法有一般形式和矩阵形式。
2.2.1 一般形式
简单一元线性回归模型为：
那么，损失函数如下：
损失函数是关于θ和b的凸函数，当它关于θ和b的导数均为零时，得到θ和b的最优解。
（关于凸函数：对区间[a,b]上定义的函数f，若它对区间中任意两点
均有
则称 f 为区间[a,b]上的凸函数。U形曲线的函数如
通常是凸函数。对实数集上的函数，可通过求二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。）
求解
和b使损失函数最小化，对
求偏导
令
，则得到：
（注意：由于下面的计算过程会有双重前m项求和，避免混淆，最好将所有项，特别含b的项）
对b求偏导
令
，则
解得：
将（2）式带入（1）式，解得（求解过程可以参考最小二乘法求导）
于是，由求得的
和b就可以得到接近真实值
的预测值以及拟合直线
.
以上是最小二乘法的一般形式解决简单的线性回归问题，如果对于复杂的多元线性回归，则使用最小二乘法的矩阵形式.
2.2.2 矩阵形式
多元线性回归是给定数据集
，其中
，
。简单的一元线性回归使用一般形式，而多元线性回归比较复杂，使用矩阵形式表示清晰。为了方便讨论，我们将w和b用向量形式表示
，同样的，数据集D表示为一个m x (d+1)矩阵X ，即
将标记y也改为向量形式
，表示样本到超平面的欧式距离之和为（与
类似）
可参考矩阵推导：
对
求导，其中当
为满秩矩阵
令
，解得
