发布网友 发布时间:2022-04-27 13:30
共11个回答
懂视网 时间:2022-05-04 16:47
PRML Chapter 2. Probability Distributions P68 conjugate priors In Bayesian probability theory, if the posterior distributions p (θ| x ) are in the same family as the prior probability distribution p (θ), the prior and posterior are then
PRML Chapter 2. Probability Distributions
conjugate priors
In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distributionp(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. For example, the Gaussian family is conjugate to itself (or self-conjugate) with respect to a Gaussian likelihood function: if the likelihood function is Gaussian, choosing a Gaussian prior over the mean will ensure that the posterior distribution is also Gaussian.
exponential family
The exponential families include many of the most common distributions, including the normal, exponential, gamma, chi-squared, beta, Dirichlet, Bernoulli, binomial,multinomial, Poisson, Wishart, Inverse Wishart and many others.
2012@3@21补充:起先第二章果真没有仔细看好,现在看到狄利克雷分布了,回来再了解一下贝塔分布,发现里面这么关键的内容愣是都没看出来,汗。不过今天22点半了,明天在写咯。
如果忘记伯努利分布和二项分布是怎么回事了,看这里。
书中引出贝塔分布的理由:P70提到,由于最大似然估计在观察数据很少时,会出现严重over-fitting(比如估计抛硬币正反面概率,只有3次抛硬币观察数据,且结果正好都是正面,则模型预测以后所有抛硬币都将是正面)。为了解决这个问题,可以考虑贝叶斯方法,即引入一个先验知识(先验分布p(μ))来控制参数μ,那么如何挑选这个分布呢?
考虑到伯努利分布的似然函数的形式是,错!!原先这里看了个似懂非懂,完全写错了,囧死了,得到一个教训,写日志还是要多来回看看,看懂了再写,否则留下笑柄!现在重写如下:应该是,二项分布的似然函数是:
根据:
已经知道似然函数的形式,如果选择的先验分布也与 μ
和 (1-μ) 两者的乘方成比例,那么后验分布的函数形式就会跟它的先验函数形式一样了。具体来说,选择prior的形式是
最终这里的先验和后验就都是贝塔分布了,其中先验的形式如下:
其中
在维基里面,有这么一个式子:
瞬间觉得世界清晰了,因为
从式2.14看出,Beta分布就是一个μ的PDF(概率密度函数)(这个昨天(3@21)刚仔细看过哈),μ本身是二项分布的参数,而a,b由于2.14的归一化过程可以被视作μ的控制参数,因此贝塔分布的a和b就被称作hyperparameters。下面的图是Beta分布的几个例子,其中横轴是μ取值范围,纵轴是PDF取值,PDF的值可以大于1哦。
最后得到的posterior如下:
要把这个posterior归一化其实可以参照式2.13,式2.17中的m+a等同于2.13中那个a,而l+b就是2.13中那个b,所以:
最后,如果我们已经有观察数据D,要估计μ,即
可以发现这个式子比最大似然估计的结果m/(m+l)多了a和b,也就是先验知识的影响。
2012@4@17补充:事实上这种给参数加先验的方法叫做Maximum
a posterior(MAP),而PRML里的这章没有明显的提到,刚从《Parameter estimation of text analysis》里看到,在这里提一下。
2013@4@22 在评论中有同学指正,2.20的结果不应该是MAP,输出期望的应是Bayesian inference。MAP结果应为(m+a-1)/(m+a+l+b-2)。当时并没有搞清楚这个两者的区别。在此纠正。非常感谢评论中的同学!!鉴于经常被发现错误,我打算近期写完论文检查一下所有博客。
Multinomial Variables说白了就是多种选择选其一。比如随机变量X有三种取值x1,x2,x3,那么用一个三维向量表示Multinomial 的取值就是{1,0,0},{0,1,0},{0,0,1}分别代表选中x1,x2,x3,即必须选中一个,同时只能选一个这样的意思。
如果用μk表示xk=1时的概率,那么对于随机变量x的取值的概率分布可以表示为:
其实这个式子的意思就是当K取值k的时候,只有xk是1,其他都是0,所以这个p(x|μ)的值就是μk的值而已,因为一个数的0次方是1,所以对于其他xi(i≠k)的那部分μi全部都乘以了一个1而已。搞了这么一个玄乎的式子,应该是为了数学表示全面点,事实上直接理解就是p(x|μ) = μk。
上面所讲的这些其实只是多项分布的一次事件(或一次观察),如果有N多次观察,那么就需要用多项分布来描述了。就像伯努利分布只是描述一次抛硬币,而二项分布是描述N次抛硬币的一样。
对于Multinomial 的极大似然估计其实可想而知,就是数数xk的个数然后取占整个集合的比例作为概率了。式(2.31)给了数学上的likelihood的式子,但是那个什么拉格朗日乘子λ我已经没啥概念了,只知道是用来求函数极值的,这里记着点以后到高数里去看。2012@4@4补充,大致看了一下拉格朗日乘数法,没有想象中的复杂,就是用来求一个条件极值,在这里。
这章的公式太唬人了,西方人的数学功底感觉很好,虽然这些数学都挺简单,但是我没有全局了解的那种观念,所以有些东西没法一下子理解了。多元高斯分布里面的矩阵的东西不太好懂。
P80讲的是多元高斯分布通过正交向量
P82有讲到关于 moment 这个就是矩,k阶中心矩(The
kth central
moment)为
P84讲高斯分布的缺点,,然后说到可以引入隐含随机变量来解决高斯分布模型表示能力不强的问题。可以用一系列离散的隐含变量混合高斯分布,可以用连续隐含变量,用来干嘛不太理解。
再后面已经完全不知所云了。所以只能Skip了。
2012@11@30
时隔8月,偶终于回来把这些东西都看懂了!其实并没有那么虎,只不过PRML讲得不是那么细而已。只要翻《Methods of Multivariate Analysis》,这些东西其实相对来说还是easy的!链接
这章主要介绍两种无参方法:核方法和近邻法。
P122 开始介绍核密度估计时,从公式2.242到2.246都是为了推导未知概率密度p(x)的估计。
最后推导得到式2.246如下:
其中V是x附近区域R的体积,K则是落入x附近区域R中的数据点个数,由此导出了两种不同的密度估计方法:
(1)如果固定K而估计V的大小,那么就是kNN算法(k固定而根据选定最近的k个数据来评估R的体积)
(2)如果固定V而估计K的大小,那么就是核密度估计,用一个核函数表示一个固定的体积V,然后数数这个体积里面数据点K的个数
这就是对这两种无参数方法比较深入的理解,很好。
关于核密度估计,虽然还不是很清楚,但是可以知道其实它的道理跟P121的histogram approach是一样的,只不过核密度估计是高维的而已
热心网友 时间:2022-05-04 13:55
你这台笔记本,关键点不在于内存,好吧!
你看一下你的硬盘! 128GB的,并且使用了有一段时间了,
为什么会出现卡,是因为你的硬盘问题导致的,
固态硬盘使用时间长了,会掉速的,又或者是固态空间容量暴了,也会出现卡顿的,
所以你的关键不是内存,是硬盘,
建议你换一个极速的硬盘,最少是黑盘级、PULS级、PRO级的固态硬盘,512GB就可以
如果有矿,可以直接上企业级MLC的固态,
以上希望可以帮助到你
追问我之前做了黑苹果系统,怎么看哪个盘是主硬盘呀追答你做了黑苹果? 那你的本子 有没有加过硬盘?
热心网友 时间:2022-05-04 15:13
也可以,这样可以提高运行速度,建议你先重新安装系统吧,先测试一下,不行再加内存条。热心网友 时间:2022-05-04 16:48
增加内存对pr的运行是有帮助的。热心网友 时间:2022-05-04 18:39
内存8G足够了,与内存没关系。热心网友 时间:2022-05-04 20:47
pr所需要使用的内存会比较大,因为还要运行字幕的,还要许多视频与图片,如果内存太小,所花费的时间会比较久,所以加内存是一种有效的办法。当然如果cpu有足够的速度,效果也是很明显的。另外如果在采集时有好的采集卡,速度会快不少,总之,它所要求的性能是由多方面决定的,争取这些方面都能得到提高。热心网友 时间:2022-05-04 23:12
你这电脑配置,电脑运行卡换内存条没有用。 需要清理系统垃圾,关闭系统还原设置,空出系统盘空间追问是配置不行吗
热心网友 时间:2022-05-05 01:53
意思是之前不卡,现在才卡?那我感觉还是软件自身或系统优化的问题。硬件应该是没有问题的。当然你可以再加一条8G内存,但是我感觉意义不大。热心网友 时间:2022-05-05 04:51
笔记本不建议升级热心网友 时间:2022-05-05 08:06
不一定的,有时候显卡和网卡都会引起卡顿现象的。追问用PR剪辑时候不用网啊
热心网友 时间:2022-05-05 11:37
加根内存还是要的