隐马尔可夫模型在语音处理中的应用

陈号天 1301111397
戚向波 1201214748
汤恒河 1201214746
2013-11-24
隐马尔可夫模型在语音处理中的应用
1 研究背景介绍
21世纪以来,由于国际互联网的普及,自然语言的计算机处理成为从互联网上获取知识的重要手段。生活在信息网络时代的现代人,几乎都要与互联网打交道,都要或多或少地使用自然语言处理的研究成果来帮助他们获取或挖掘在广阔无边的互联网上的各种知识和信息。语言是人类表达和传播信息的有效工具，消除不同语言，不同表达方式间的障碍，用信息化手段促进人类的交流便是自然语言处理的任务。但由于自然语言本身上的歧义性和算法上的可实现难度，使得自然语言处理研究不光任重，而且道远。因此，世界各国都非常重视自然语言处理的研究,投入了大量的人力、物力和财力。
自然语言处理，有时亦称作计算语言学，是语言学和计算机科学的交叉学科，属于认知科学的范畴。大致地讲，自语语言处理的研究着眼于对人类语言建模的实用效果，以建立具有一定人类语言知识的软件产品。今天的计算机不理解人类的语言，人类也很难掌握计算机的语言，减少人机交互的障碍便是这类产品的目标。通过这类的自然语言处理研究建立的“自然语言人机界面”将使得用户可以直接通过自然语言（英语 汉语 德语 法语）同计算机交互。
自然语言处理包括的应用范围很广，包括自然语言人机接口、机器翻译、文献检索、自动文摘、自动校对、语音识别与合成、字符识别等等。其中机器翻译系统是典型的，其应用价值也是最明显的自然语言处理系统，其处理过程对于其它自然语言处理应用具有典型意义。以中英翻译为例，自然语言处理一般处理过程包括分析、转换和生成。其中分析过程独立于目标语言，而生成过程独立于源语言。

图1. 典型机器翻译过程框架
简单的现存的存储程序计算去解决复杂的人类语言思维，这本身就是一个难题。更何况翻译工作对于人而言也是很难的，是一项很复杂的工作。总结起来，目前自然语言处理应用主要存在以下特殊困难。首先是语言的歧义性，其次语言的错形问题，即现实语言中存在的那些用形式化的语言无法解释的现象。最后，如何高效的收集、运用知识是当前自然语言处理研究和应用的瓶颈。
当前国内外自然语言处理研究主要有以下4个显著的特点:
第一,基于句法语义规则的理性主义方法受到质疑,随着语料库建设和语料库语言学的崛起,大规模真实文本的处理成为自然语言处理的主要战略目标。
第二,自然语言处理中越来越多地使用机器自动学习的方法来获取语言知识。
第三,自然语言处理中越来越重视词汇的作用,出现了强烈的“词汇主义”的倾向。
第四,统计数学方法越来越受到重视。
自然语言处理中越来越多地使用统计数学方法来分析语言数据;使用人工观察和内省的方法,显然不可能从浩如烟海的语料库中获取精确可靠的语言知识,必须使用统计数学的方法。语言模型是描述自然语言内在规律的数学模型,构造语言模型是自然语言处理的核心。语言模型可以分为传统的规则型语言模型和基于统计的语言模型。规则型语言模型是人工编制的语言规则,这些语言规则来自语言学家掌握的语言学知识,具有一定的主观性和片面性,难以处理大规模的真实文本。基于统计的语言模型通常是概率模型,计算机借助于语言统计模型的概率参数,可以估计出自然语言中语言成分出现的可能性,而不是单纯地判断这样的语言成分是否符合语言学规则。
统计数学方法不需任何先验知识，只需收集足够多数量和足够高质量的语料库，然后按照特定模型从中训练，统计所得的所有知识最后都包含语言模型的参数中。一般地，语料库的增长即意味着系统性能的提升。如果系统的应用领域发生改变，那么只需采用新领域的语料库重新训练模型即可，所以这种方法具有很强的适应性。我们以在语音识别系统中广泛应用的隐马尔可夫模型来说明这一特点，如果我们需要的是一个通用的语音识别系统，则从普通语料库中训练模型；如果需要的是一个医疗领域的系统，则专门收集医疗领域的语料供模型学习即可。总的来讲，比之于传统方法统计语言学习具有以下明显的优点：(1).无需先验知识 (2).数据驱动，对训练集的修改或扩充即是对模型的扩充(3).知识获取成本低，使低成本的自然语言处理系统的建立成为可能。
目前,自然语言处理中的语言统计模型已经相当成熟,例如,隐马尔可夫模型(HMM) 、概率上下文无关语法、基于决策树的语言模型、最大熵语言模型等。本文将对隐马尔可夫模型进行详细介绍。
2 马尔可夫及隐式马尔可夫简介
2.1 马尔可夫模型
马尔可夫模型是前苏联数学家Andrei A. Markov在1913年提出的，该模型时间离散的形式表述为马尔可夫链。
在已知tm时过程所处状态的条件下，时刻tm以后过程将到达状态的情况与该时刻以前过程所处状态无关。

在马尔可夫模型中，每个时刻所处的状态是我们所关心的，可以把每个状态视为一个可观测的事件，那么观测的结果可以用一个序列来描述，表示为，称为马尔可夫模型的观测序列。
马尔可夫过程的一步转移概率矩阵可表示为：

若已知马尔可夫链的初始状态概率分布、任意时刻k,状态空间中任何的则该马尔可夫链的概率分布可以完全确定。
马尔可夫过程的步转移概率矩阵可表示为：

若已知马尔可夫链的初始状态概率分布、任意时刻k,状态空间中任何的，则该马尔可夫链的n维联合概率分布可以完全确定。
2.2 隐马尔可夫模型
隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程—具有一定状态数的隐马尔可夫链和显示随机函数集。
隐马尔可夫模型可以用五个元素来描述，包括2个状态集合和3个概率矩阵：
1）隐含状态S
状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态，但是状态通常无法通过直接观测而得到，如：S1、S2、S3。
2）可观测状态O
在模型中与隐含状态相关联，可通过直接观测而得到的状态，状态的数目不一定要和隐含状态的数目一致，如：O1、O2、O3。
3）初始状态概率矩阵π
表示隐含状态在初始时刻t=1的概率矩阵，如：t=1时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[ p1 p2 p3 ]。
4）隐含状态转移概率矩阵A
描述了隐马尔可夫模型中各个状态之间的转移概率。
其中Aij = P( Sj | Si ),1≤i,,j≤N，表示在 t 时刻、状态为 Si 的条件下，在 t+1 时刻状态是 Sj 的概率。
5）观测状态转移概率矩阵B
令N代表隐含状态数目，M代表可观测状态数目，则：
Bij = P( Oi | Sj ), 1≤i≤M,1≤j≤N，表示在 t 时刻、隐含状态是 Sj 条件下，观察状态为 Oi 的概率。
一般的，可以用λ=(A,B,π)三元组来简洁的表示一个隐马尔可夫模型。
下面通过一个例子来讲解隐式马尔科夫模型。坛子和小球模型：在一个房间中，假定有N个坛子，每个坛子中都装有不同颜色的小球，并且假定总共有M 种不同颜色的小球。一个精灵在房间中首先随机地选择一个坛子，再从这个坛子中随机选择一个小球，并把小球的颜色报告给房间外面的人员记录下来作为观察值。精灵然后把球放回到坛子中，以当前的坛子为条件再随机选择一个坛子，从中随机选择一个小球，并报告小球的颜色，然后放回小球，如此继续。随着时间的推移，房间外的人会得到由这个过程产生的一个小球颜色序列。
如果令每一个坛子对应一个状态，可以用一个一阶马尔科夫过程来描述坛子的选择过程。在马尔科夫过程中，每个状态只有一个输出，但在小球和坛子的问题中，可以从每个坛子中拿出不同颜色的小球，也就是每个状态能按照特定的概率分布产生多个输出。在坛子和小球问题中，如果给定一个观察序列（不同颜色小球序列），不能直接确定状态转换序列（坛子的序列），因为状态转移过程被隐藏起来了。所以这类随机过程被称为隐式马尔科夫过程。
2.3 HMM要解决的三个基本问题
在采用HMM来完成实际的各项课题研究时，需要解决三个基本问题。
2.3.1 输出概率的计算问题
给定HMM模型和观察序列，则观察序列对HMM模型的输出概率为

通过枚举所有的状态序列，如果直接计算输出概率，那么时间复杂度为。具体来说，需要次乘法运算，以及次加法运算，显然是不现实的。通常的解决办法是采用前向或后向算法，下面将分别对这两个算法做一下简单介绍。
1）前向算法
前向变量定义：
给定HMM模型，定义前向变量为HMM模型在t时刻，位于状态时观察到部分序列的概率，即
，，
前向算法的递推公式：
前向算法的实现步骤：
Step 1 初始化：，；
Step 2 递推计算：，，；
Step 3 终止计算：。
此算法采用了动态规划的思想，有效地将计算输出概率的时间复杂度降为，具体来说，需要N ( N + 1 ) ( T 1) + N次乘法运算，以及N ( N 1 ) ( T 1 ) 次加法运算。
2）后向算法
后向变量定义：
给定HMM模型，定义后向变量为在t时刻，位于状态时观察到部分序列的概率，即
，，
后向算法递推公式：

后向算法实现步骤：
Step 1 初始化：，；
Step 2 递推计算：，，；
Step 3 终止计算：。
类似地，此算法也采用了动态规划的思想，时间复杂度为，具体来说，需要2 N 2 ( T 1 ) 次乘法运算，以及N ( N 1 ) ( T 1 ) 次加法运算。
2.3.2 状态序列的解码问题 给定HMM模型和观察序列，如何确定一个状态序列，使得最有可能产生观察序列？ 该问题也称为解码或译码问题，目的就是要尽可能揭露出模型中与已知的观察序列相对应的状态序列，即确定“最优”的状态序列。最优准则一般有两个：单点状态最优准则和路径最优准则，本文采用路径最优准则。此时就是求解使得概率最大时所确定的状态序列，即

利用著名的Viterbi算法不仅可以找到满足这一准则的状态序列（路径），而且还可以得到该路径所对应的输出概率。
Viterbi变量定义：
给定HMM模型，设观察序列已知，定义Viterbi变量为在t时刻，观察到序列前缀，且的最优状态序列为的概率，即 ，
Viterbi算法递推公式：
。
Viterbi算法实现步骤：
Step1 初始化： a ，； b ；；
Step 2 递推计算： a ，，； b ，，；
Step 3 终止计算： a ； b ；
Step 4 回溯最优路径：，。
不难看出，除多了一步回溯最优路径外，此算法与前向算法非常类似。此算法的时间复杂度也为，具体来说，需要N ( N + 1 ) ( T 1) + N次乘法运算，N ( N 1 ) ( T 1 )次比较运算。
2.3.3 模型参数的估计问题 给定K条相互独立的观察序列，其中，，表示的长度，模型参数的估计问题是指在模型参数未知或不准确的情况下，如何根据这些观察序列求得或调整模型参数，使得最大？
由HMM的定义可知，HMM本身就是用参数刻画的。所谓模型参数估计就是在一定的已知条件下，利用某种算法选择和优化模型的参数A，B，p及q。这是HMM要解决的三个基本问题中最难的，目前尚没有能够使得全局最大的算法。求解HMM模型的最优参数在数学上是一个NP完全问题（所谓NP问题,是指人们根据问题类的算法复杂程度的划分而言.与P问题相对.粗略的说,P问题是指算法复杂性随着问题规模的增长而呈多项式增长的算法,是可以有效计算的.NP问题指算法复杂性随着问题规模的增长而呈指数增长的算法），目前还没有解析方法。通常首先给定一组不准确的参数（始初模型参数），然后整模型参数，最终使参数稳定在一个可以接受的精度范围内。
目前，人们已经提出了一系列的训练准则，包括最大似然准则、最大互信息准则、以及最小判别信息准则等等。从不同的准则出发，将得到不同的训练算法，其中，最为经典的算法是Baum-Welch训练算法，这也是本文采用的训练算法，它是最大似然准则的一个应用，是一种期望最大化算法。 下面我们首先就K = 1，即单观察序列的情形，推导Baum-Welch训练算法中的重估公式，然后将其推广到多观察序列。
Baum-Welch训练算法重估公式：
定义后验状态概率为给定观察序列和HMM模型，在t时刻位于状态的概率，即：
，，
其性质为：

定义Baum-Welch变量为在t时刻，位于状态以及在t + 1时刻，位于状态的概率，即：
，，
其性质为：

后验状态概率与Baum-Welch变量之间的关系为：。
容易看出，表示从状态转出的次数的期望值，而表示从状态转移到状态的次数的期望值。依据最大似然原则，由此可推导出Baum-Welch算法中的重估公式：

当训练数据偏少时，最大似然估计容易产生过拟合现象。为避免这种问题的产生，我们为每个参数引入一个预确定的伪记数（pseudo count），记为，也就是假定每个参数至少出现伪记数次，则此时的重估公式为

这些伪记数一般反映了我们对每个参数的先验偏置，实际上，它们有一个自然的概率解释，可以理解为Bayesian Dirichlet先验分布的参数。当然，这些伪记数必须是正数，但不必是整数。
多观察序列重估公式：
将重估公式推广到多观察序列时。如前所述，对观察序列，，分别定义、、以及为观察序列的前向变量、后向变量、后验状态概率以及Baum-Welch变量。
根据其所具有的性质：

此时的重估公式为

在意义下，模型参数比能更好地解释观察序列；最终得到的模型参数未必是全局最优解，但一定是局部最优值。不幸的是，经常会存在许多局部极值，尤其是当HMM模型结构比较庞大时，这个问题尤为突出。克服局部极大缺陷一般从两方面着手，一是执行算法若干遍，每次给模型取不同的初始值，如果算法多次达同一个极大点，则可认为该点是全局极大点；二是合理设计模型结构，使得模型结构能够更准确地反映需要解决的实际问题。
Baum-Welch训练算法实现步骤：
Step 1 初始化： a 随机初始化模型参数； b ；// 迭代次数 c ；
Step 2 REPEAT a ； b ，； c ，； d ，； e ，，； f FOR k = 1 TO K // 计算观察序列对模型参数的贡献:
f.1 利用算法2-1计算前向变量，，；
f.2 利用算法2-2计算后向变量，，；
f.3 按照式（2-32）计算后验状态概率，，；
f.4 按照式（2-33）计算Baum-Welch变量，，；
f.5 ，；
f.6 ，；
f.7 ，；
f.8 ，，；
END FOR g 归一化：
g.1 ，；
g.2 ，；
g.3 ，；
g.4 ，，；
g.5 ；
g.6 ；
UNTIL OR //其中及是预先设定的阈值。
3 隐马尔可夫语言处理模型
3.1 语言统计模型建立
本文将用Peter Brown在1990年构造的经典统计机器翻译模型来说明统计自然语言处理方法。该模型是一个句级的英法翻译系统，假设说话者母语（T）想好了一句话S，但说出的确实句子T。应用信息论中的噪声通道模型，这可以视作一个编码过程。而统计的MT就是要从T推回S，可视作解码过程：

图2 解码过程 思想便是从源语言中找到统计意义上与T最相近的句子S。根据贝叶斯法则： 对于说话者给定的句子T来讲，Pr(T)是一个非随机量，可以忽略不计。那么，翻译的过程转化为求条件概率最大值的问题。
那么，机器翻译过程需要两个模型，一个是关于目标语言构造知识的统计模型Pr(s)，一个是关于从S到T的翻译模型Pr(T|S)。
先考虑翻译模型Pr(T|S)，它有三个部分，首先是生产率模型Pr(n|e)，意思是英文词e在法语中有n个对应词的概率，它描述两种语言之间的对齐关系。然后是扭曲模型，它试图确定目标词在目标句子的位置。Brown首次建立这个模型很简单，认为目标词的位置取决于目标句子的长度以及对词源词在原句中的位置，形式为Pr(i|j,l)，其中i是目标词的位置，j是原词的位置，l是目标句子的长度。最后是翻译模型Pr(f|e)，即法文f由英文词e产生的概率。
对于模型单语统计模型Pr(S)，Brown采用二阶的隐式马尔科夫模型，假设S由单词W1，W2…Wn，组成，则

引入马尔科夫链假设，即第一个状态金鱼前一个状态相关，即二阶隐式马尔科夫模型。
3.2 隐式马尔科夫统计语言模型概述
隐马尔可夫统计语言模型的理论基础是离散时间马尔可夫随机过程，即将自然语言生成的过程看成是一个马尔可夫链。
假设一个句子S是又词序列构成，则句子S的出现概率为： 根据马尔可夫因果假设，假设当前词的出现概率仅与前n-1个词有关，如给定n=2，则有：

此模型称为二阶模型(Bigram)类似的，若n=3(Trigram)，则有：

此外还有Unigram(n=1)、和Four-gram(n=4)等等。显然n的值越大模型参数越多，模型越准确，但模型参数量(V表示词汇个数) 参数量随n呈指数级递增。所以，受限于当前的计算机容量和计算能力 大多数语言模型都是 Trigram或者Bigram。
3.3 参数估值
对于Trigram模型而言，其参数估计一般采用最大似然估计：

该公式为理想的情况，在一些情况下，计算出的概率值可能为零，由于语音识别不能接收零概率序列，因此，必须对模型进行适当的平滑处理[1]：采用取高补低的方法，将一些高出现次数的词串出现次数调低，补足到出现次数为0的词串，一般有：

是折扣函数，它将大于0的词串出现次数作折扣。平滑因子则被定义成刚好将折扣的次数补足至0次词串上，以保证对任何词串w，都有：
， N为磁电容量

3.4 模型困惑度度量
实际中，常用模型困惑度来度量模型的性能。词困惑度PPW一般定义为测试集中每个词概率的几何平均的倒数，如下：

中NW为测试集的总词数。困惑度可以粗略地理解为测试文档相对于模型的几何分枝程度。显然，困惑度越小，说明模型同测试集拟合得越好，模型性能越佳。
困惑度 特别是词困惑度度量 在隐马尔可夫统计语言模型性能比较中是一种公认的度量方法。
3.5 模型的压缩
隐马尔可夫模型的参数量是随着阶数N呈指数增长的，对于大多数语言来讲，其词条规模都很大，大大超过当前计算机的容量及处理能力。而且，对于自然语言处理而言，其词之间的相关距离远大于3。所以，仅用Bigram及Trigram描述词之间的依存关系有很大不足，在计算机的处理能力允许的情况下，还需要对模型引入长距依存，采用Four-gram甚至Five-gram进行处理。
为了缓解模型的巨量参数同有限计算机处理能力之间的矛盾，需要采用适当的方法对模型进行压缩，这种压缩是有损的：
常用的压缩方法为：
首先，在对性能影响不大的前提下压缩词典容量，基于速度及准确度的权衡 一般将非常用词条除去，这在一定程度上减少了模型参数。
另外，在实际模型中采用存储词串出现次数而不是直接存储概率参数的方法。实际中，大多数的N元词串都不会出现，即大多数的，所以模型只需要忠实的记录下出现的词串及其出现次数即可，在应用时再根据最大似然及平滑公式进行计算即可得到到模型的概率参数。
目前常见的模型压缩算法包括Count-cutoff[2]，Weighted Difference Pruning[3]，Stolcke Pruning[4]以及著名的Clustering[5]。
Count-cutoff是最简单也是最常用的方法。Count-cutoff 定义一个截断值cutoff，比如说cutoff=3此时语言模型中仅保留C(xyz…) > 3的词串及其出现次数所有C(xy…z) <= 3的词串及其出现次数从模型中删除 这种方法可以显著地减小模型的尺寸 但对模型性能影响较大。
Weighted Difference Pruning充分考察了trigram与bigram bigram与unigram概率的区别和联系，这种联系对于找出贡献值较小的词串有很大意义。例如，对于trigram，Weighted Difference Pruning采用值 来评估一个三元词串对于模型的重要程度，是指平滑中采用的折扣函数此函数依据方法不同而不同。Weighted Difference Pruning最后根据词串的重要程度由低到高删除词串。可以发现，对于出现次数非常高的词串，即使 的值很低也不会被剪枝。这样，系统就保存了那些确实非常“重要”的词串。
Stolcke Pruning是通过计算一个词串被删除后导致的模型熵的增加来刻度词串对模型的贡献的，词串从模型中删除所导致的熵增加为： 其中，P '表示剪枝后的模型P表示剪枝前的模型。通过这种方式，Stolcke Pruning能够高效地计算每个词串对于模型的贡献。在对模型进行压缩的时候，Stolcke Pruning设置一个阈值，所有对模型贡献(导致的熵增加)小于此阈值的trigram及bigram都从模型中删除。
Clustering 是通过将词分类的方法来压缩语言模型的。假设通过一个函数π将大小为V的词典分成C个部分，即C个类。这里π可以看作是词wi到其所属类Ci的一个映射。这时语言模型便称作基于类的n-gram语言模型，那么此时，以trigram为例，有： 此时，模型的参数个数Q便从Vn减少到Cn+V，除了n =1或者C=V这两种极端情况之外，基于类的n-gram语言模型的参数量都比一般的n-gram语言模型要小得多。
一般地，语言模型的训练都采用上述方法的组合，并通过某个寻优过程来得到最佳结果。
3.6 模型的平滑
在n-gram自然语言处理模型的应用中，一个句子S的概率表现为构成S词的n-gram概率的乘积：

表示句子的长度，一般地，n=2(bigram)或者n=3(trigram)。在一些情况下，计算出的概率值可能为零，由于语音识别不能接收零概率序列，因此，必须对模型进行适当的平滑处理：采用取高补低的方法，将一些高出现次数的词串出现次数调低，补足到出现次数为0的词串，一般有：

这里的折扣函数D及平滑参数根据不同的平滑方法表现出不同的形式。
Additive Smoothing[6]是最简单的平滑方式，它只在计算n-gram概率值时简单地给词串简单地加上一个一个常数δ，修正后： 分母中的是为了保证一个约束条件，即所有参数的概率之和等于1。
Good-Turing是很多平滑方法的核心，但在实践中并不直接使用。因为这种方法没有提供低序模型和高序模型插值合并的能力，而这种能力是获得良好模型性能的必要条件。如果一个词串在模型中出现r次，则Good-Turing认为其在模型中出在r*次：

其中nr是指在训练语料集中出现 r次的词串个数。
Katz Smoothing[7]是对Good-Turing 的扩展，在Good-Turing上添加了高序模型和低序模型插值合并的能力，这种模型平滑方法在语音识别中得到了最广泛的应用。
Church & Gale Smoothing[8]将Good-Turing与一种称之为“桶分”(bucketing)的技术结合在一起Bucketing是一种将一个词串集合分组的技术，其分得的组参数独立。同Katz Smoothing一样，模型是在低序模型的基础上递归定义的。每一个词串根据其低序模型预测的频率被分到一个桶。每一个桶被当成一个分离的分布Good-Turing被应用于每一个桶。
Jelinek & Mercer Smoothing[9]是另一种在语音识别中广泛应用的模型平滑方法。采用线性插值的方法， Jelinek & Mercer Smoothing 有： 即最大似然模型PML与已经平滑过的低序模型进行插值平滑，至于参数对每一个都训练一个值并不一定恰当。
此外，还有很多种语言模型平滑方法，但是Katz Smoothing，Church & Gale Smoothing，Jelinek & Mercer Smoothing是应用最广泛、最成熟的方法。
4 学习心得及感悟
在此次随机过程报告的完成过程中，我们组的三个人通过调研参考文献，最终确定了《马尔可夫过程语言处理中的应用》这个题目。在初步了解了题目的研究发展状况以后，我们三人的分工如下：汤恒河同学负责研究背景的介绍——自然语言处理的必要性，当前的问题等，戚向波同学负责马尔可夫及隐马尔可夫模型的总体介绍，陈号天同学负责在自然语言处理中的隐式马尔科夫模型的使用。
完成随机过程报告的过程给了我们很好的学习和锻炼的机会，让我们学到了很多东西加深了对课程的认识，也让我们对生活中的随机过程尤其是马尔可夫过程有了更加深刻的认识，为我们未来的科研道路奠定了一定的基础。
在完成报告中，感悟最深的就是团队合作的重要性。没有很好地团队合做我们就不可能完成这次的大作业，而且小组内的讨论、分析交流、组织协调都让我们受益匪浅，也让我们深刻的认识到，未来的科研生活中团队合作必要且相当有意义的。
参考文献
[1] Chen, S. F., and Goodman, J., An empirical study of smoothing techniques for language modeling, Computer Speech and Language, 1999, 13:359-394
[2] Jelinek, F., Self-organized language modeling for speech recognition. In Readings in Speech Recognition, A. Waibel and K. F. Lee, eds., Morgan-Kaufmann, San Mateo, CA, 1990, pp.450-506
[3] Seymore, K. , and Rosenfeld, R., Scalable backoff language models. In Proc. International Conference on Speech and Language Processing, Philadelphia,PA,1996, vol1, pp.232-235
[4] Stolcke, A. , Entropy-based pruning of backoff language models. In Proc. DARPA NewsTranscription and Understanding Workshop, Lansdowne, VA. 1998, pp. 270-274
[5] Brown, P. F., DellaPietra V. J., deSouza, P. V., Lai, J. C., and Mercer, R. L. Class-based n-gram models of natural language. Computational Linguistics, 1990, 18:467-479
[6] Lidstone,G.J. Note on the general case of the Bayes-Laplace formula for inductive or a posteriori probabilities. Transactions of the Faculty of Actuaries, 1920, 8:182-192.
[7] Katz, S. M. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE Transactions on Acoustics, Speech and Signal Processing, 1987, ASSP-35(3):400-401
[8] Church,Kenneth W. and William A. Gale. A comparison of the enhanced Good-Turing and deleted estimation methods for estimating probabilities of English bigrams. Computer Speech and Language, 1991, 5:19-54.
[9] Jelinek,Frederick and Robert L. Mercer., Interpolated estimation of Markov source parameters from sparse data. In proceedings of the Workshop on Pattern Recognition in Practice, Amsterdam, The Netherlands: North-Holland, May, 1980