动手学深度学习3.1线性回归-笔记&练习(PyTorch)
发布网友
发布时间：2024-09-04 16:31
共1个回答
热心网友
时间：2024-09-11 19:13
以下是结合李沐老师课程和教材学习内容的线性回归笔记和练习，主要涉及PyTorch实现。
课程资源：线性回归课程地址：线性回归_哔哩哔哩_bilibili；教材参考：3.1. 线性回归 - 动手学深度学习 2.0.0 documentation
线性回归基础：回归用于表示输入与输出之间的关系，机器学习中的预测问题通常涉及线性回归，如房价预测、住院时间预测等。线性回归基于简单假设：线性关系和正态噪声分布。
实例说明：通过房屋面积和房龄预测价格，数据集包含训练数据，样本、特征和标签的概念。线性模型中，权重和偏置决定预测值，权重向量和偏置的估计是优化的目标。
损失函数与优化：平方误差是最常用的损失函数，通过梯度下降（包括随机梯度下降）更新模型参数，寻找最小化损失的解。
解析解和矢量化：线性回归的解可以用公式表示，但复杂模型可能无解析解。矢量化加速了计算，通过向量化操作减少计算开销。
正态分布与损失函数：正态分布假设用于解释平方损失，最大化似然估计和最小化均方误差在高斯噪声下等价。
线性回归与深度网络：线性模型可视为单层神经网络，尽管深度网络更复杂，但线性回归提供了基础概念。
生物学启发：线性回归的发明与生物神经元模型相似，树突和轴突的概念对应模型中的输入和输出处理。
练习：涉及求解优化问题、与正态分布的关系、绝对值函数的优化等实战练习。
