什么是随机修正流(SMF)

AI解读 2个月前 硕雀
18 0

随机修正流(SMF)是一种新的模型,旨在解决随机梯度下降SGD)中的正则性问题。SMF通过引入一个新的随机限制动力学模型来避免扩散系数的不规则性,从而绕过了Σ^2的出现。与传统的模型相比,SMF只需要对整体流场进行正则性假设,而不是单个损失函数。此外,SMF能够捕捉到SGD的多点分布,为分析其动力学特性提供了基础,并且与相应的无限维Fokker-Planck方程相匹配。

SMF模型由圆柱布朗运动驱动,并通过具有规则扩散系数和匹配多点统计来改进所谓的随机修正方程。这种模型不仅在理论上有所贡献,还为分析SGD的动力学特性提供了新的途径

来源:www.aiug.cn
声明:文章来源于网络,如有侵权请联系删除!