聲明：
1，本篇為個人對《2012.李航.統計學習方法.pdf》的學習總結，不得用作商用。歡迎轉載，但請注明出處（即：本帖地址）。
2，因為本人在學習初始時有非常多數學知識都已忘記。所以為了弄懂當中的內容查閱了非常多資料，所以里面應該會有引用其它帖子的小部分內容，假設原作者看到能夠私信我，我會將您的帖子的地址付到以下。
3。假設有內容錯誤或不准確歡迎大家指正。
4。假設能幫到你，那真是太好了。
IIS的推導過程
IIS是一種最大熵學習模型的最優化算法。其推導步驟例如以下：
目標是通過極大似然預計學習模型參數求對數似然函數的極大值 
。
IIS的想法是：如果最大熵模型當前的參數向量是λ = (λ1, λ2, …, λn)T，我們希望找到一個新的參數向量λ + δ= (λ1+δ1, λ2+δ2, …, λn+δn)T。使得模型的對數似然函數值增大。假設能有這樣一種參數向量更新的方法F：λ ->λ+δ，那么就能夠反復使用這一方法，直至找到對數似然函數的最大值。
對於給定的經驗分布
，模型參數從λ到λ+δ，對數似然函數的該變量是
PS：上面 >= 的推導是依據不定時：-loga >= 1 - a， a > 0
將上述求得的結果(最后一行)記為A(δ| λ)，於是有：
L( λ+ δ ) – L( λ ) >= A(δ | λ)
為了進一步減少這個下界，即縮小A(δ | λ)。引入一個變量：
由於fi是二值函數，故f#(x,y)表示的是全部特征(x, y)出現的次數，然后利用Jason不等式，可得：
我們把上述式子求得的A(δ | λ)的下界記為B(δ | λ)，即：
相當於B(δ | λ)是對數似然函數添加量的一個新的下界，可記作：L(λ+δ)-L(λ) >= B(δ | λ)。
接下來，對B(δ| λ)求偏導，得：
此時得到的偏導結果僅僅含δ，除δ之外不再含其他變量，令其為0，可得：
從而求得δ，問題得解。
IIS算法描寫敘述
輸入：
特征函數f1, f2, …,fn；經驗分布
，模型Pλ(y|x)
輸出：
最優參數值λi*。最優模型Pλ。
解：
1，對全部i∈{1, 2, …, n}。取初值λi = 0
2，對每一i∈{1, 2, …, n}：
a)令δi是例如以下方程(這里將其稱作方程一)
的解，這里：
b)更新λi的值：λi <- λi + δi
3，假設不是全部λi都收斂，則反復步驟2。
這一算法的關鍵步驟是a)。即求解a)中方程的δi。
假設f#(x, y) 是常數。即對不論什么x, y。有f#(x,y) = M，那么δi能夠顯示的表示成：
假設f#(x, y) 不是常數，那么必須通過數值計算求δi，而簡單有效的方法是牛頓法。以g(δi) = 0，表示上面的方程一，牛頓法通過迭代求的δi，使得g(δi*)= 0。迭代公式是：
求得了δ。便相當於求得權值λ，終於將λ 回代到下式中：
即得到最大熵模型的最優預計。
參考：
http://blog.csdn.net/v_july_v/article/details/40508465?
utm_source=tuicool&utm_medium=referral