神經ODE的可研究的兩條思路：1.常微分改進2.時間連續
1.常微分改進。
《Augmented Neural ODEs Emilien》2019
在這項工作中，我們探討了采用這種連續極限的一些后果，以及與常規神經網絡相比可能產生的限制。特別是，我們證明了有一些簡單的函數類是神經節點無法表示的。雖然在實踐中，節點通常可以近似這些函數，但產生的流很復雜，並且會導致ODE問題，這些問題在計算上很難解決。為了克服這些限制，我們引入了增強型神經常微分方程（陽極），它是節點的簡單擴展。陽極增加了求解ODE的空間，允許模型使用額外的維度，使用更簡單的流程學習更復雜的函數（見圖1）。除了更具表現力的模型外，與節點相比，陽極顯著降低了模型向前和向后傳遞的計算成本。我們的實驗還表明，陽極具有更好的通用性，以更少的參數實現更低的損耗，並且訓練更穩定。
《Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations》2021
我們發展了一種在連續深度貝葉斯神經網絡中進行近似推理的實用方法。我們的方法利用了SDE的連續深度模型和變分推理之間的特殊協同作用，提供了比標准方法更多的好處。特別是，我們的方法允許通過神經SDE隱式定義任意表達、非因式分解的近似后驗概率。我們還為SDE變分推理開發了一個無偏梯度估計，當近似后驗值接近真后驗值時，其方差接近於零。這種組合賦予了我們的貝葉斯連續深度神經網絡家族一個特殊的特性，即梯度的偏差和方差可以在訓練過程中任意變小。當MFVI在連續深度模型上的標准應用表現不佳時，我們的方法使連續深度貝葉斯神經網絡的性能與標准貝葉斯神經網絡相當。
《Neural Jump Stochastic Differential Equations》
許多時間序列是由確定性連續流和隨機事件引發的離散跳躍組合而成的。然而，我們通常沒有描述流動的運動方程，也沒有描述跳躍對流動的影響。為此，我們引入了神經跳躍隨機微分方程，它提供了一種數據驅動的方法來學習連續和離散的動態行為，即流動和跳躍的混合系統。我們的方法擴展了神經常微分方程的框架，用一個隨機過程項來模擬離散事件。然后，我們用分段連續的潛在軌跡來模擬時間點過程，其中不連續性是由隨機事件引起的，其條件強度取決於潛在狀態。我們展示了我們的模型在一系列合成和現實世界標記點過程數據集上的預測能力，包括經典點過程（如Hawkes過程）、堆棧溢出獎勵、醫療記錄和地震監測。
《Neural Manifold Ordinary Differential Equations》 不是很相關對於TS
為了更好地符合數據幾何，最新的深層生成建模技術將歐幾里得構造適應於非歐幾里得空間。本文研究流形上的非惡意流。以前的工作已經針對具體案例開發了流程模型；然而，這些進步在多方面的基礎上對手工層進行了改進，限制了通用性並導致了繁瑣的設計約束。我們通過引入神經流形常微分方程（神經常微分方程的流形推廣）來克服這些問題，這使得流形連續規范化流（MCNFs）的構造成為可能。MCNFs只需要局部幾何（因此可推廣到任意流形）並計算變量連續變化的概率（允許簡單且表達性強的流構造）。我們發現，利用連續流形動力學可以顯著改善密度估計和下游任務。
《Deep Neural Networks Motivated by Partial Differential Equations》 不是N-ODE家族，小失望
在本文中，我們建立了一個新的PDE解釋一類深卷積神經網絡（CNN），通常用於學習語音、圖像和視頻數據。我們的解釋包括卷積殘差神經網絡（ResNet），這是最有前途的任務方法之一，如圖像分類，在著名的基准測試挑戰中提高了最先進的性能。盡管deep Resnet最近取得了成功，但它們仍然面臨着與設計、巨大的計算成本和內存需求以及缺乏對其推理的理解相關的一些關鍵挑戰。在成熟的偏微分方程理論的指導下，我們推導了三種新的ResNet體系結構，它們分為兩類：拋物線CNN和雙曲CNN。我們展示了偏微分方程理論如何為深度學習提供新的見解和算法，並通過數值實驗展示了三種新的CNN體系結構的競爭力。<
《PDE-NET 2.0: LEARNING PDES FROM DATA WITH A NUMERIC-SYMBOLIC HYBRID DEEP NETWORK》也不是很相關
偏微分方程（PDE）通常是基於經驗觀測得出的。然而，最近的技術進步使我們能夠收集和存儲大量數據，這為數據驅動的PDE發現提供了新的機會。在本文中，我們提出了一種新的深度神經網絡，稱為PDE Net 2.0，用於從觀測的動態數據中發現（與時間相關的）PDE，只需對驅動動力學的潛在機制有少量的先驗知識。PDE Net 2.0的設計基於我們早期的工作[1]，其中提出了PDE Net的原始版本。PDE Net 2.0是通過卷積對微分算子進行數值逼近和用於模型恢復的符號多層神經網絡的組合。與現有方法相比，PDE Net 2.0通過學習微分算子和底層PDE模型的非線性響應函數，具有最大的靈活性和表達能力。數值實驗表明，即使在噪聲環境中，PDE NET2.0也有可能揭示觀測動力學中隱藏的PDE，並在相對較長的時間內預測動力學行為。
2.時間連續
《Latent ODEs for Irregularly-Sampled Time Series》2019
將RNN中的狀態轉換推廣到由神經網絡指定的連續時間動態：ODE-RNN，並使用它構建兩個不同的連續時間模型。首先，我們使用它作為一個獨立的自回歸模型。其次，我們使用ODE-RNN作為識別網絡，改進了Chen等人[2018]的潛在ODE模型。潛在ODE基於初始潛在狀態的確定性演化定義了時間序列上的生成過程，並且可以作為變分自動編碼器進行訓練[Kingma和Welling，2013]。這兩種模型自然地處理了觀測值之間的時間間隔，並且消除了將觀測值分組到時間相等的容器中的需要。我們將ODE模型與幾種RNN變體進行了比較，發現當數據稀疏時，ODE RNN的性能更好。由於沒有觀測本身可以提供信息，我們進一步增加潛在ODE，以使用泊松過程聯合建模觀測時間。
《Infinitely deep neural networks as diffusion processes》 2019
我們考慮了隨着層數的增加而收縮的參數分布，以便在無限深的限制下重新覆蓋行為良好的隨機過程。這就引出了無限深剩余網絡和隨機微分方程解之間的聯系，即擴散過程。我們證明了這些極限過程不會受到上述問題的影響，並研究了它們的性質。
《Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit》
在深潛高斯模型中，潛變量由時間不均勻的馬爾可夫鏈生成，在每個時間步，我們通過參數非線性映射（如前饋神經網絡）傳遞當前狀態，並添加一個小的獨立高斯擾動。這項工作考慮了這種模型的擴散極限，其中層數趨於無窮大，而步長和噪聲方差趨於零。極限潛在目標是一個求解隨機微分方程（SDE）的It擴散過程，其漂移和擴散系數由神經網絡實現。我們通過維納空間中的隨機自動微分為這些神經SDE建立了一個變分推理框架，其中，通過標准維納過程的Girsanov（mean shift）變換獲得后驗概率的變分近似，梯度的計算基於隨機流理論。這允許使用黑盒SDE解算器和端到端推理的自動微分。給出了合成數據的實驗結果。
《Black-box Variational Inference for Stochastic Differential Equations》
由於潛在擴散過程的存在，隨機微分方程的參數推斷具有挑戰性。我們使用Euler-Maruyama離散化處理擴散問題，使用變分推理聯合學習參數和擴散路徑。我們使用參數后驗值的標准平均場變分近似，並引入一個遞歸神經網絡來近似參數條件下擴散路徑的后驗值。該神經網絡學習如何提供高斯狀態轉換，以一種非常類似於條件擴散過程的方式在觀測值之間架起橋梁。由此產生的黑盒推斷方法可應用於任何具有燈光調諧要求的SDE系統。我們在Lotka-Volterra系統和流行病模型上演示了該方法，在幾個小時內產生了精確的參數估計。
關於SDE：
SDE訓練優化：
