隐马尔可夫（HMM）模型
隐马尔可夫模型，是一种概率图模型，一种著名的有向图模型，一种判别式模型。主要用于时许数据建模，在语音识别、自然语言处理等领域广泛应用。
概率图模型分为两类，一类：使用有向无环图表示变量间的依赖关系，称为有向图模型或者贝叶斯网；第二类：使用无向图表示变量间的依赖关系，称为无向图模型或者马尔可夫网。
判别式模型：考虑条件分布P(Y, R | O)，生成式模型：考虑联合分布P(Y, R, O)
HMM三个假设
- 当前观测值只由当前隐藏状态决定
- 当前隐藏状态由前一个隐藏状态决定
- 隐藏状态之间转移概率不随时间改变
随机过程中某一时刻的状态st的概率分布为：
p(st|st-1,st-2,...,s0)=p(st|st-1)
即：t 时刻的状态仅依赖于 t-1 时刻的状态，与其余状态无关，这就是所谓的“马尔可夫链”
在马尔可夫链中，每一圆圈代表相应时刻的状态，有向边代表可能的状态转移，权重表示状态转移的概率
HMM模型结构图
HMM模型五元组
HMM模型可以用五元组(O, S, A, B, π)表示。其中
- O: {o0, o1, ..., on} 表示观测系列，是系统的外在可观测变量。
- S: {s0, s1, ..., sn} 表示隐状态序列，是导致系统外在表现变化的内因。
- A: {aij = p(sj | si)} 表示状态转移概率。
- B: {bij = p(oj | si)} 表示输出概率，又称发射概率
- π: {π0, π1, ..., πm} 表示初始状态概率。
HMM三类问题
根据以上HMM模型五元组表示，我们可以归纳出HMM模型解决的三类主要问题。
一、评估问题
已知：状态转移矩阵 A， 初始状态概率 π，输出矩阵 B，观测序列
求：求该观测序列的可能性
解决算法：向前（forward）算法或者向后（backward）算法
二、解码问题
已知：状态转移矩阵A，初始状态概率 π，输出矩阵B，观测序列
求：最有可能产生该观测序列的隐藏状态序列
解决算法：维特比（Viterbi）算法，一种动态规划算法
三、学习问题
已知：很多观测序列
求：估计HMM模型参数的可能取值
解决算法：鲍姆韦尔奇（Baum-Welch）算法