常用的高性能优化器有哪些,ADAM和SGD有什么区别?

发布网友发布时间：2023-02-16 22:02

共1个回答

热心网友时间：2023-09-18 01:36

蓝海大脑高性能计算服务器研究人员表示：常见的优化器：SGD、BGD、MBGD、Momentum、NAG、Adagrad、Adadelta，RMSprop、Adam、AdamW优化器等。

SGD是随机梯度下降法，是最基本的优化器。

Adam是一种自适应学习率的方法。以SGD作为最初的算法，Momentum在其基础上加入了一阶动量（历史梯度的累计）， AdaGrad和RMSProp在其基础上加入了二阶动量（历史梯度的平方累计），Adam就是结合了SGD的一阶动量和RMSProp的二阶动量算法。

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com