数学漫步——贝叶斯估计思想
发布网友
发布时间：2023-03-22 05:06
共1个回答
热心网友
时间：2023-10-10 05:46
统计学中有两个大的学派：频率学派(也称经典学派)，和贝叶斯学派
总所周知统计推断是根据样本信息对总体分布或者是总体特征数进行推断， 经典学派 和 贝叶斯学派 就是通过统计推断的不同方式划分的， 经典学派 的统计推断是依据 样本信息 和 总体信息 来进行推断，而 贝叶斯学派 认为除了依据以上两种信息来进行推断以外还可以应该加上 先验信息 来进行统计推断。
贝叶斯学派与经典学派最大的不同之处在于其认为统计推断过程具有一种连续性，也即用历史的眼光看待问题，用发展的角度看待问题，他们认为过去的事情与现在的事情是有联系的或者是过去的样本与现在的样本是有联系的，能够运用历史经验来修正经典学派基于现有经验的统计推断。
贝叶斯学派的基本观点是：任一未知统计量 都可以看做一个随机变量也即我们需要推断的总体的某个特征服从某个分布，这也就是说我们可以根据先验信息建立一个 服从的分布，这样做的目的就在于合理的利用先验信息来进行统计推断
贝叶斯学派和经典学派在历史上争论了很久，如今经典学派已经基本上接受也贝叶斯学派的观点，现在这两派已经合流其争论的焦点在于如何利用各种先验信息来合理的进行统计推断。
下面先介绍一些贝叶斯学想派的具体想法
在经典统计学中认为总体依赖与参数 其密度函数记为 ，经典学派认为某个随机变量服从的分布中的参数 是固定不变的，即认为参数 不是一个随机变量，而贝叶斯学派认为 是一个随机变量也即总体的密度函数是依赖于 的变化的他们将概率密度记为 ，实际上大家仔细思考一下这个 是不是变化的，譬如某个工厂加工某种元件其生产机器随着时间的推移肯定性能上面是有所变化的所以工厂生产元件的合格品率也是在变化的如果我们将元件的合格率记为 的话，也即 是具有随机性的，因此贝叶斯学派的观点也是有事实依据的。
贝叶斯学派认为可以依据参数 的先验信息来确定参数的先验分布
从贝叶斯学派的观点来看样本 的产生要分成两步走首先设想从先验分布 中产生一个样本 这一步是玉帝老儿他老人家决定的，然后在 的条件下产生一组样本 这时候 的联合概率密度为
这个分布综合了总体信息和样本信息.即有样本信息 和总体信息概率密度
由于 是假想出来的在实际情况下式不得而知有先验分布 所决定的为了把先验信息综合进去，不能只考虑 ,而应该考虑 所有可能的取值即将先验分布 考虑进去，如何考虑进去嘞？这个简单我们写出样本 和参数 的联合分布不就可以了吗？记其联合分布如下：
这个联合分布将 样本信息，总体信息，先验信息 三种可用信息综合起来了
我们的目的是要对参数 做统计推断，在没有样本信息的时候我们只能根据先验分布来对 进行推断，但是有了样本信息观测值 之后我们应该依据 来对 做出推断.为了方便进行推断依据条件概率公式将 分解如下：
其中 是 的边际密度函数：
根据
这个 与参数 无关，不包含 的任何信息，因此能用来对 做出统计推断的仅仅是条件分布 联立 式变形可得他的计算公式是：
我们在求 的时候一般是先求出联合概率密度 然后对其对 积分求出 的边际密度之后两者相除即可
用后验分布 估计参数 的值常常用一下三种方法
从贝叶斯公式可以看出，整个贝叶斯统计推断只要先验分布确定之后就没有理论上的困难，也从中可以看出贝叶斯学派的观点认为参数 是一个随机变量是从一个分布中抽出的样本，即 会影响 样本的取值从而我们只要知道了 也就可以根据 及其后验分布来对 进行统计推断，这种推断是在样本 的情况下对 对 推断的一个修正.
贝叶斯估计与最大似然估计是两种截然不同的推断，前者属于贝叶斯学派结合了 样本信息，总体信息，先验信息 而最大似然估计只是结合了 样本信息和总体信息 , 在有些情况下贝叶斯估计要优于最大似然估计这个在这里不做过多叙述，感兴趣的自己去查阅资料。
