神经ODE的可研究的两条思路：1.常微分改进2.时间连续
1.常微分改进。
《Augmented Neural ODEs Emilien》2019
在这项工作中，我们探讨了采用这种连续极限的一些后果，以及与常规神经网络相比可能产生的限制。特别是，我们证明了有一些简单的函数类是神经节点无法表示的。虽然在实践中，节点通常可以近似这些函数，但产生的流很复杂，并且会导致ODE问题，这些问题在计算上很难解决。为了克服这些限制，我们引入了增强型神经常微分方程（阳极），它是节点的简单扩展。阳极增加了求解ODE的空间，允许模型使用额外的维度，使用更简单的流程学习更复杂的函数（见图1）。除了更具表现力的模型外，与节点相比，阳极显著降低了模型向前和向后传递的计算成本。我们的实验还表明，阳极具有更好的通用性，以更少的参数实现更低的损耗，并且训练更稳定。
《Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations》2021
我们发展了一种在连续深度贝叶斯神经网络中进行近似推理的实用方法。我们的方法利用了SDE的连续深度模型和变分推理之间的特殊协同作用，提供了比标准方法更多的好处。特别是，我们的方法允许通过神经SDE隐式定义任意表达、非因式分解的近似后验概率。我们还为SDE变分推理开发了一个无偏梯度估计，当近似后验值接近真后验值时，其方差接近于零。这种组合赋予了我们的贝叶斯连续深度神经网络家族一个特殊的特性，即梯度的偏差和方差可以在训练过程中任意变小。当MFVI在连续深度模型上的标准应用表现不佳时，我们的方法使连续深度贝叶斯神经网络的性能与标准贝叶斯神经网络相当。
《Neural Jump Stochastic Differential Equations》
许多时间序列是由确定性连续流和随机事件引发的离散跳跃组合而成的。然而，我们通常没有描述流动的运动方程，也没有描述跳跃对流动的影响。为此，我们引入了神经跳跃随机微分方程，它提供了一种数据驱动的方法来学习连续和离散的动态行为，即流动和跳跃的混合系统。我们的方法扩展了神经常微分方程的框架，用一个随机过程项来模拟离散事件。然后，我们用分段连续的潜在轨迹来模拟时间点过程，其中不连续性是由随机事件引起的，其条件强度取决于潜在状态。我们展示了我们的模型在一系列合成和现实世界标记点过程数据集上的预测能力，包括经典点过程（如Hawkes过程）、堆栈溢出奖励、医疗记录和地震监测。
《Neural Manifold Ordinary Differential Equations》 不是很相关对于TS
为了更好地符合数据几何，最新的深层生成建模技术将欧几里得构造适应于非欧几里得空间。本文研究流形上的非恶意流。以前的工作已经针对具体案例开发了流程模型；然而，这些进步在多方面的基础上对手工层进行了改进，限制了通用性并导致了繁琐的设计约束。我们通过引入神经流形常微分方程（神经常微分方程的流形推广）来克服这些问题，这使得流形连续规范化流（MCNFs）的构造成为可能。MCNFs只需要局部几何（因此可推广到任意流形）并计算变量连续变化的概率（允许简单且表达性强的流构造）。我们发现，利用连续流形动力学可以显著改善密度估计和下游任务。
《Deep Neural Networks Motivated by Partial Differential Equations》 不是N-ODE家族，小失望
在本文中，我们建立了一个新的PDE解释一类深卷积神经网络（CNN），通常用于学习语音、图像和视频数据。我们的解释包括卷积残差神经网络（ResNet），这是最有前途的任务方法之一，如图像分类，在著名的基准测试挑战中提高了最先进的性能。尽管deep Resnet最近取得了成功，但它们仍然面临着与设计、巨大的计算成本和内存需求以及缺乏对其推理的理解相关的一些关键挑战。在成熟的偏微分方程理论的指导下，我们推导了三种新的ResNet体系结构，它们分为两类：抛物线CNN和双曲CNN。我们展示了偏微分方程理论如何为深度学习提供新的见解和算法，并通过数值实验展示了三种新的CNN体系结构的竞争力。<
《PDE-NET 2.0: LEARNING PDES FROM DATA WITH A NUMERIC-SYMBOLIC HYBRID DEEP NETWORK》也不是很相关
偏微分方程（PDE）通常是基于经验观测得出的。然而，最近的技术进步使我们能够收集和存储大量数据，这为数据驱动的PDE发现提供了新的机会。在本文中，我们提出了一种新的深度神经网络，称为PDE Net 2.0，用于从观测的动态数据中发现（与时间相关的）PDE，只需对驱动动力学的潜在机制有少量的先验知识。PDE Net 2.0的设计基于我们早期的工作[1]，其中提出了PDE Net的原始版本。PDE Net 2.0是通过卷积对微分算子进行数值逼近和用于模型恢复的符号多层神经网络的组合。与现有方法相比，PDE Net 2.0通过学习微分算子和底层PDE模型的非线性响应函数，具有最大的灵活性和表达能力。数值实验表明，即使在噪声环境中，PDE NET2.0也有可能揭示观测动力学中隐藏的PDE，并在相对较长的时间内预测动力学行为。
2.时间连续
《Latent ODEs for Irregularly-Sampled Time Series》2019
将RNN中的状态转换推广到由神经网络指定的连续时间动态：ODE-RNN，并使用它构建两个不同的连续时间模型。首先，我们使用它作为一个独立的自回归模型。其次，我们使用ODE-RNN作为识别网络，改进了Chen等人[2018]的潜在ODE模型。潜在ODE基于初始潜在状态的确定性演化定义了时间序列上的生成过程，并且可以作为变分自动编码器进行训练[Kingma和Welling，2013]。这两种模型自然地处理了观测值之间的时间间隔，并且消除了将观测值分组到时间相等的容器中的需要。我们将ODE模型与几种RNN变体进行了比较，发现当数据稀疏时，ODE RNN的性能更好。由于没有观测本身可以提供信息，我们进一步增加潜在ODE，以使用泊松过程联合建模观测时间。
《Infinitely deep neural networks as diffusion processes》 2019
我们考虑了随着层数的增加而收缩的参数分布，以便在无限深的限制下重新覆盖行为良好的随机过程。这就引出了无限深剩余网络和随机微分方程解之间的联系，即扩散过程。我们证明了这些极限过程不会受到上述问题的影响，并研究了它们的性质。
《Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit》
在深潜高斯模型中，潜变量由时间不均匀的马尔可夫链生成，在每个时间步，我们通过参数非线性映射（如前馈神经网络）传递当前状态，并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限，其中层数趋于无穷大，而步长和噪声方差趋于零。极限潜在目标是一个求解随机微分方程（SDE）的It扩散过程，其漂移和扩散系数由神经网络实现。我们通过维纳空间中的随机自动微分为这些神经SDE建立了一个变分推理框架，其中，通过标准维纳过程的Girsanov（mean shift）变换获得后验概率的变分近似，梯度的计算基于随机流理论。这允许使用黑盒SDE解算器和端到端推理的自动微分。给出了合成数据的实验结果。
《Black-box Variational Inference for Stochastic Differential Equations》
由于潜在扩散过程的存在，随机微分方程的参数推断具有挑战性。我们使用Euler-Maruyama离散化处理扩散问题，使用变分推理联合学习参数和扩散路径。我们使用参数后验值的标准平均场变分近似，并引入一个递归神经网络来近似参数条件下扩散路径的后验值。该神经网络学习如何提供高斯状态转换，以一种非常类似于条件扩散过程的方式在观测值之间架起桥梁。由此产生的黑盒推断方法可应用于任何具有灯光调谐要求的SDE系统。我们在Lotka-Volterra系统和流行病模型上演示了该方法，在几个小时内产生了精确的参数估计。
关于SDE：
SDE训练优化：
