自動微分原理與示例機器學習的同學在學習過程中會經常遇到一個問題，那就是對目標函數進行求微分，線性回歸這類簡單的就不說、復雜的如神經網絡類那些求導過程。本文介紹了五種微分方式，最后兩種才是自動微分。前兩種方法求出了原函數對應的導函數，后三種方法只是求出了某一點的導數。假設原函數是f(x,y ...

梯度下降法（Gradient Descendent）是機器學習的核心算法之一，自動微分則是梯度下降法的核心； 　　梯度下降法用於求損失函數的最優值，前面的文章中我們說過梯度下降是通過計算參數與損失函數的梯度並在梯度的方向不斷迭代求得極值；但是在機器學習、深度學習中很多求導往往是很復雜的，手動使用 ...

目錄 總述 函數說明 應用舉例 函數實現 總述 如果已知函數表達式，可以通過diff(）函數求取各階導數解析解的方法，並得出結論，高達100階的導數也可以用MATLAB語言在幾秒鍾的時間內直接求出。 如果函數表達式未知，只有實驗數據，在實際應用中經 ...

在測試過程中經常會對比兩個json的異同，如果當json串較長時，一個一個的對比顯然是很浪費時間的。 所以寫一個比較json異同的測試方法是很有必要的。 下面介紹一下比較json異同的兩種方法，以及測試demo。 json_tools 首先介紹下python的類庫 ...

UNIX世界的軟件開發大多都是協作式的，因此，Patch（補丁）是一個相當重要的東西，因為幾乎所有的大型UNIX項目的普通貢獻者，都是通過 Patch來提交代碼的。作為最重要的開源項目之一，Linux ...

本文介紹了五種微分方式，最后兩種才是自動微分。 前兩種方法求出了原函數對應的導函數，后三種方法只是求出了某一點的導數。 假設原函數是$f(x,y) = x^2y + y +2$，需要求其偏導數$\frac{\partial f}{\partial x}$和$\frac{\partial f ...

深度學習利器之自動微分(2) 目錄 深度學習利器之自動微分(2) 0x00 摘要 0x01 前情回顧 0x02 自動微分 2.1 分解計算 2.2 計算模式 2.3 樣例 2.4 ...

深度學習利器之自動微分(1) 目錄 深度學習利器之自動微分(1) 0x00 摘要 0.1 緣起 0.2 自動微分 0x01 基本概念 1.1 機器學習 1.2 深度 ...