相對熵（relative entropy）又稱為KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（information gain）。
KL散度是兩個概率分布P和Q差別的非對稱性的度量。
KL散度是用來度量使用基於Q的編碼來編碼來自P的樣本平均所需的額外的比特個數。 典型情況下，P表示數據的真實分布，Q表示數據的理論分布，模型分布，或P的近似分布。
相對熵/KL散度（Kullback–Leibler divergence，KLD）
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。