本文是《Neural networks and deep learning》概覽 中第三章的一部分，講機器學習算法中，怎樣選取初始的超參數的值。（本文會不斷補充） 學習速率（learning rate，η） 運用梯度下降算法進行優化時。權重的更新規則中 ...

參考文獻:Hyperband: Bandit-Based Configuration Evaluation for Hyperparameter Optimization I. 傳統優化算法 機器學習中模型性能的好壞往往與超參數(如batch size,filter size ...

###基礎概念 超參數是在開始學習過程之前設置值的參數，而不是通過訓練得到的參數數據。通常情況下，在機器學習過程中需要對超參數進行優化，給學習器選擇一組最優超參數，以提高學習的性能和效果。比如，樹的數量或樹的深度，學習率（多種模式）以及k均值聚類中的簇數等都是超參數。 與超參數區別的概念 ...

一、評測標准 模型的測評標准：分類的准確度（accuracy）； 預測准確度 = 預測成功的樣本個數/預測數據集樣本總數； 二、超參數 超參數：運行機器學習算法前需要指定的參數； kNN算法中的超參數：k、weights、P； 一般超參數之間也相互影響 ...

1. 正則化概述（Regularization） 監督學習可以簡單的理解為在最小化loss function 的同時，保證模型的復雜度盡可能的低，防止出現過擬合（overfitting）。常用的loss函數有square loss(Regression)，Hinge ...

機器學習是時下流行AI技術中一個很重要的方向，無論是有監督學習還是無監督學習都使用各種“度量”來得到不同樣本數據的差異度或者不同樣本數據的相似度。良好的“度量”可以顯著提高算法的分類或預測的准確率，本文中將介紹機器學習中各種“度量”，“度量”主要由兩種，分別為距離、相似度和相關系數 ...

一、高斯核函數、高斯函數 μ：期望值，均值，樣本平均數；（決定告訴函數中心軸的位置：x = μ） σ2：方差；（度量隨機樣本和平均值之間的偏離程度：， 為總體方差， 為變量， 為總體均值， 為總體例數） 實際工作中，總體均數難以得到時，應用樣本統計量代替總體參數 ...

函數的形式 從訓練數據中學習目標函數的系數 　 參數學習算法的一些常見例子包括： ...