變分自編碼器（variational autoencoder, VAE）是一種生成模型，訓練模型分為編碼器和解碼器兩部分。 　　編碼器將輸入樣本映射為某個低維分布，這個低維分布通常是不同維度之間 ...

　　使用GAN生成圖像必不可少的層就是上采樣，其中最常用的就是轉置卷積（Transposed Convolution）。如果把卷積操作轉換為矩陣乘法的形式，轉置卷積實際上就是將其中的矩陣進行轉置，從而 ...

　　Keras是基於Tensorflow（以前還可以基於別的底層張量庫，現在已並入TF）的高層API庫。它幫我們實現了一系列經典的神經網絡層（全連接層、卷積層、循環層等），以及簡潔的迭代模型的接口，讓 ...

　　下面通過實驗來探索Pytorch分配顯存的方式。 實驗 顯存到主存 　　我使用VSCode的jupyter來進行實驗，首先只導入pytorch，代碼如下： 　　打開任務管理器 ...

　　對於顯存不充足的煉丹研究者來說，弄清楚Pytorch顯存的分配機制是很有必要的。下面直接通過實驗來推出Pytorch顯存的分配過程。 　　實驗實驗代碼如下： 　　輸出如下： ...

　　本來是只用Tenorflow的，但是因為TF有些Numpy特性並不支持，比如對數組使用列表進行切片，所以只能轉戰Pytorch了（pytorch是支持的）。還好Pytorch比較容易上手，幾乎完美 ...

　　在煉丹時，數據的讀取與預處理是關鍵一步。不同的模型所需要的數據以及預處理方式各不相同，如果每個輪子都我們自己寫的話，是很浪費時間和精力的。Pytorch幫我們實現了方便的數據讀取與預處理方法，下面 ...

　　Tensorboard是TF自帶的可視化工具。它可以讓我們從各個角度觀察與修改模型，比如觀察模型在訓練時的loss動態變化曲線而無需在迭代完畢后再畫圖、繪制神經網絡的結構圖、調節超參數等。下面以最 ...