PhyDNet:Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction

tech2023-02-06  95

参考博客来源: link

主要思想是试图用深度网络构建物理约束模型,方法是用卷积模拟偏导,用moment loss作监督,学到物理信息,从而对已有的网络(文中使用ConvLSTM)进行信息补充。

如图,右边为已有深度网络可以捕捉到的信息,本文试图使用深度网络通过偏微分方程来建模先验物理知识,即左边的信息。最后将物理信息和已有信息结合获得更好的结果。

本文主要创新点在PhyCell,该单元的计算公式:

E(u)表示的是对输入真实帧的encode,ht为t时刻隐变量,Φ(h(t, x))是隐变量对空间每个像素点的偏导和,该公式与很多物理模型公式类似,如热力学方程、波动方程、对流扩散方程等。

Kt也是由网络学出来。该式可以改写成以下公式:

式(6)被认为是通过数学模型推算出的数值,式(7)则被认为是基于数据训练对数学模型进行的修正,其中K公式如下:

最新回复(0)