path.sh主要設定路徑等
export KALDI_ROOT=`pwd`/../../.. [ -f $KALDI_ROOT/tools/env.sh ] && . $KALDI_ROOT/tools/env.sh export PATH=$PWD/utils/:$KALDI_ROOT/tools/openfst/bin:$PWD:$PATH [ ! -f $KALDI_ROOT/tools/config/common_path.sh ] && echo >&2 "The standard file $KALDI_ROOT/tools/config/common_path.sh is not present -> Exit!" && exit 1 . $KALDI_ROOT/tools/config/common_path.sh export LC_ALL=C 添加kaldi主目錄路徑 如果存在env.sh文件，則執行該腳本
添加openfst執行文件等目錄路徑 如果不存在common_path.sh文件，則打印報錯，退出 執行 存在，則執行該腳本文件 按照C排序法則
#!/bin/bash #run.pl本地腳本，確定訓練與識別命令 train_cmd="utils/run.pl" decode_cmd="utils/run.pl" #確定waves_yesno目錄 if [ ! -d waves_yesno ]; then wget http://www.openslr.org/resources/1/waves_yesno.tar.gz || exit 1; # was: # wget http://sourceforge.net/projects/kaldi/files/waves_yesno.tar.gz || exit 1; tar -xvzf waves_yesno.tar.gz || exit 1; fi #
解壓后,waves_yesno文件夾下的文件如下. 0_0_0_0_1_1_1_1.wav 0_0_1_1_0_1_1_0.wav ... 1_1_1_0_1_0_1_1.wav 總共60個wav文件,采樣率都是8k,wav文件里每一個單詞要么”ken”要么”lo”(“yes”和”no”)的發音,所以每個文件有8個發音,文件命名中的1代表yes發音,0代表no的發音.
#確定訓練語料和測試語料 train_yesno=train_yesno test_base_name=test_yesno #清理相關目錄 rm -rf data exp mfcc # Data preparation #數據准備
local/prepare_data.sh waves_yesno 內部實現代碼: waves_dir=$1 將傳入的文件目錄賦值 ls -1 $waves_dir > data/local/waves_all.list 將wav文件夾所有文件名寫入list文件中 local/create_yesno_waves_test_train.pl waves_all.list waves.test waves.train將waves_all.list中的60個wav文件名,分成兩撥，各30個，分別記錄在waves.test和waves.train文件中． 如waves.train文件內容如下： 0_0_0_0_1_1_1_1.wav
../../local/create_yesno_wav_scp.pl ${waves_dir} waves.test > ${test_base_name}_wav.scp
../../local/create_yesno_wav_scp.pl ${waves_dir} waves.train > ${train_base_name}_wav.scp
生成test_yesno_wav.scp和train_yesno_wav.scp 根據waves.test 和waves.train又會生成test_yesno_wav.scp和train_yesno_wav.scp兩個文件． 這兩個文件內容排列格式如下： 0_0_0_0_1_1_1_1 waves_yesno/0_0_0_0_1_1_1_1.wav 發音id 對應文件
../../local/create_yesno_txt.pl waves.test > ${test_base_name}.txt
../../local/create_yesno_txt.pl waves.train > ${train_base_name}.txt
然后生成train_yesno.txt和test_yesno.txt 這兩個文件存放的是發音id和對應的文本． 0_0_1_1_1_1_0_0 NO NO YES YES YES YES NO NO
for x in train_yesno test_yesno; do
mkdir -p data/$x #創建文件夾
cp data/local/${x}_wav.scp data/$x/wav.scp #將local里面的scp(發音id 對應文件)和text(發音id 發音文本)文件保存再對應的訓練或者測試文件夾里
cp data/local/$x.txt data/$x/text
cat data/$x/text | awk '{printf("%s global\n", $1);}' > data/$x/utt2spk #將text(發音id 發音文本)轉成 (發音id 發音人)
utils/utt2spk_to_spk2utt.pl <data/$x/utt2spk >data/$x/spk2utt #將utt2spk轉成spk2utt
done
生成utt2spk和spk2utt
這個兩個文件分別是發音和人對應關系，以及人和其發音id的對應關系．由於只有一個人的發音，所以這里都用global來表示發音．
utt2spk
<utt_id><speaker_id>
0_0_1_0_1_0_1_1 global
utt2spk
<speaker_id> <all_hier_utterences>
此外還可能會有如下文件（這個例子沒有用到）：
segments
包括每個錄音的發音分段/對齊信息
只有在一個文件包括多個發音時需要
reco2file_and_channel
雙聲道錄音情況使用到
spk2gender
將說話人和其性別建立映射關系，用於聲道長度歸一化．
以上生成的文件經過輔助操作均在：
data/train_yesno/
data/test_yesno/
目錄結構如下:
data
├───train_yesno 訓練文件夾
│ ├───text (發音id 發音文本)
│ ├───utt2spk (發音id 發音人)
│ ├───spk2utt (發音人 發音id)
│ └───wav.scp (發音id 發音文件)
└───test_yesno
├───text
├───utt2spk
├───spk2utt
└───wav.scp
#准備詞典發音腳本
local/prepare_dict.sh 內部代碼實現： mkdir -p data/local/dict #首先創建詞典目錄 input的兩個txt應該是手工寫的 非語言音發音拷貝到lexicon_words.txt cp input/lexicon_nosil.txt data/local/dict/lexicon_words.txt 將所有發音拷貝到lexicon.txt中 cp input/lexicon.txt data/local/dict/lexicon.txt 這個簡單的例子只有兩個單詞：YES和NO，為簡單起見，這里假設這兩個單詞都只有一個發音：Y和N。這個例子直接拷貝了相關的文件，非語言學的發音，被定義為SIL。 data/local/dict/lexicon.txt <SIL> SIL YES Y NO N cat input/phones.txt | grep -v SIL > data/local/dict/nonsilence_phones.txt grep -v 反向選擇 echo "SIL" > data/local/dict/silence_phones.txt echo "SIL" > data/local/dict/optional_silence.txt echo "Dictionary preparation succeeded" lexicon.txt，完整的詞位-發音對 lexicon_words.txt，單詞-發音對 silence_phones.txt， 非語言學發音 nonsilence_phones.txt，語言學發音 optional_silence.txt ，備選非語言發音
#語音詞典轉成FST腳本
最后還要把字典轉換成kaldi可以接受的數據結構-FST（finit state transducer）。這一轉換使用如下命令 utils/prepare_lang.sh --position-dependent-phones false data/local/dict "<SIL>" data/local/lang data/lang 由於語料有限，所以將位置相關的發音disable。這個命令的各行意義如下： utils/prepare_lang.sh --position-dependent-phones false <RAW_DICT_PATH> <OOV> <TEMP_DIR> <OUTPUT_DIR> OOV存放的是詞匯表以外的詞，這里就是靜音詞（非語言學發聲意義的詞） 發音字典是二進制的OpenFst 格式，可以使用如下命令查看：
~/source_code/kaldi-trunk/egs/yesno/s5$ sudo ../../../tools/openfst-1.6.2/bin/fstprint --isymbols=data/lang/phones.txt --osymbols=data/lang/words.txt data/lang/L.fst
0 1 <eps> <eps> 0.693147182 0 1 SIL <eps> 0.693147182 1 1 SIL <SIL> 1 1 N NO 0.693147182 1 2 N NO 0.693147182 1 1 Y YES 0.693147182 1 2 Y YES 0.693147182 1 2 1 SIL <eps>
. utils/parse_options.sh
if [ $# -ne 4 ]; then
echo "usage: utils/prepare_lang.sh <dict-src-dir> <oov-dict-entry> <tmp-dir> <lang-dir>"
echo "e.g.: utils/prepare_lang.sh data/local/dict <SPOKEN_NOISE> data/local/lang data/lang"
echo "<dict-src-dir> should contain the following files:"
echo " extra_questions.txt lexicon.txt nonsilence_phones.txt optional_silence.txt silence_phones.txt"
echo "See http://kaldi-asr.org/doc/data_prep.html#data_prep_lang_creating for more info."
echo "options: "
echo " --num-sil-states <number of states> # default: 5, #states in silence models."
echo " --num-nonsil-states <number of states> # default: 3, #states in non-silence models."
echo " --position-dependent-phones (true|false) # default: true; if true, use _B, _E, _S & _I"
echo " # markers on phones to indicate word-internal positions. "
echo " --share-silence-phones (true|false) # default: false; if true, share pdfs of "
echo " # all non-silence phones. "
echo " --sil-prob <probability of silence> # default: 0.5 [must have 0 <= silprob < 1]"
echo " --phone-symbol-table <filename> # default: \"\"; if not empty, use the provided "
echo " # phones.txt as phone symbol table. This is useful "
echo " # if you use a new dictionary for the existing setup."
echo " --unk-fst <text-fst> # default: none. e.g. exp/make_unk_lm/unk_fst.txt."
echo " # This is for if you want to model the unknown word"
echo " # via a phone-level LM rather than a special phone"
echo " # (this should be more useful for test-time than train-time)."
echo " --extra-word-disambig-syms <filename> # default: \"\"; if not empty, add disambiguation symbols"
echo " # from this file (one per line) to phones/disambig.txt,"
echo " # phones/wdisambig.txt and words.txt"
exit 1;
fi
#准備語言模型
這里使用的是一元文法語言模型，同樣要轉換成FST以便kaldi接受。該語言模型原始文件是data/local/lm_tg.arpa，生成好的FST格式的。是字符串和整型值之間的映射關系，kaldi里使用整型值。 gsc@X250:~/kaldi/egs/yesno/s5$ head -5 data/lang/phones.txt 音素 <eps> 0 SIL 1 Y 2 N 3 #0 4 gsc@X250:~/kaldi/egs/yesno/s5$ head -5 data/lang/words.txt 詞 <eps> 0 <SIL> 1 NO 2 YES 3 #0 4 可以使用如下命令查看生成音素的樹形結構： phone 樹
~/source_code/kaldi-trunk/egs/yesno/s5$ ~/kaldi-trunk/src/bin/draw-tree data/lang/phones.txt exp/mono0a/tree | dot -Tps -Gsize=8,10.5 | ps2pdf - ./tree.pdf
LM（language model）在data/lang_test_tg/。
查看拓撲結構
在<ForPhone></ForPhones>之間的數字，1表示silcense，2,3分別表示Y和N，這從拓撲圖里也可以看出來。 1 2 3 在phones.txt有說明。
發音音素指定了三個狀態從左到右的HMM以及默認的轉變概率。為silence賦予5個狀態。這個默認值再上面黃色標注那大塊有說明。
當前狀態只會往后面狀態轉移。
0.mdl模型的內容
用1個hmm表示1個音素(此處是一個孤立詞)。1個hmm根據發音類型，用5個(sil)或者3個(非sil)狀態來表示，狀態之間有轉移。
狀態狀態用一個對角GMM來表示，但此處1個GMM只包含1個高斯。
特征維度為39
轉移模型
topo
<TransitionModel> <Topology> <TopologyEntry> <ForPhones> 2 3 </ForPhones> <State> 0 <PdfClass> 0 <Transition> 0 0.75 <Transition> 1 0.25 </State> <State> 1 <PdfClass> 1 <Transition> 1 0.75 <Transition> 2 0.25 </State> <State> 2 <PdfClass> 2 <Transition> 2 0.75 <Transition> 3 0.25 </State> <State> 3 </State> </TopologyEntry> <TopologyEntry> <ForPhones> 1 </ForPhones> <State> 0 <PdfClass> 0 <Transition> 0 0.25 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 </State> <State> 1 <PdfClass> 1 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> <State> 2 <PdfClass> 2 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> <State> 3 <PdfClass> 3 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> <State> 4 <PdfClass> 4 <Transition> 4 0.75 <Transition> 5 0.25 </State> <State> 5 </State> </TopologyEntry> </Topology>
音素 hmm狀態
11個,見上面的樹葉子節點;
音素標號 hmm狀態標號 pdf標號
<Triples> 11
1 0 0
1 1 1
1 2 2
1 3 3
1 4 4
2 0 5
2 1 6
2 2 7
3 0 8
3 1 9
3 2 10
</Triples>
高斯模型
如下的20+1個log概率對應於11個phone(0-10)。
<LogProbs> [ 0 -1.386294 ... ] </LogProbs>
接下來是高斯模型的維度39維（沒有能量），對角GMM參數總共11個。
<DIMENSION> 39 <NUMPDFS> 11 <DiagGMM>
在接下來就是對角高斯參數的均值方差權重等參數：
<GCONSTS> [ -79.98567 ] <WEIGHTS> [ 1 ] <MEANS_INVVARS> [ 0.001624335 ...] <INV_VARS> [ 0.006809053 ... ]
編譯訓練圖
為每一個訓練的發音編譯FST，為訓練的發句編碼HMM結構。
kaldi 中表的概念
表是字符索引-對象的集合，有兩種對象存儲於磁盤
“scp”（script）機制：.scp文件從key（字串）映射到文件名或者pipe
“ark”（archive）機制：數據存儲在一個文件中。
Kaldi 中表
一個表存在兩種形式：”archive”和”script file”，他們的區別是archive實際上存儲了數據，而script文件內容指向實際數據存儲的索引。
從表中讀取索引數據的程序被稱為”rspecifier”，向表中寫入字串的程序被稱為”wspecifier”。
| rspecifier | meaning |
|---|---|
| ark:- | 從標准輸入讀取到的數據做為archive |
| scp:foo.scp | foo.scp文件指向了去哪里找數據 |
冒號后的內容是wxfilename 或者rxfilename，它們是pipe或者標准輸入輸出都可以。
表只包括一種類型的對象（如，浮點矩陣）
respecifier和wspecifier可以包括一些選項：
- 在respecifier中，ark,s,cs:- ，表示當從標准輸入讀操作時，我們期望key是排序過的(s)，並且可以確定它們將會按排序過的順序讀取，(cs)意思是我們知道程序將按照排序過的方式對其進行訪問（如何條件不成立，程序會crash），這是得Kaldi不要太多內存下可以模擬隨機訪問。
* 對於數據源不是很大，並且結果和排序無關的情形時，rspecifier可以忽略s,cs。
* scp,p:foo.scp ,p表示如果scp索引的文件存在不存在的情況，程序不crash（prevent of crash）。
* 對於寫，選項t表示文本模式。
script文件格式是，<key> <rspecifier|wspecifier>如utt1 /foo/bar/utt1.mat
從命令行傳遞的參數指明如何讀寫表（scp,ark）。對於指示如何讀表的字串稱為“rspecifier”,而對寫是”wspecifier”。
寫表的實例如下：
| wspecifier | 意義 |
|---|---|
| ark:foo.ark | 寫入歸檔文件foo.ark |
| scp:foo.scp | 使用映射關系寫入foo.scp |
| ark:- | 將歸檔信息寫入stdout |
| ark,t:|gzip -c > foo.gz | 將文本格式的歸檔寫入foo.gz |
| ark，t:- | 將文本格式的歸檔寫入 stdout |
| ark,scp:foo.ark, foo.scp | 寫歸檔和scp文件 |
讀表：
| rspecifier | 意義 |
|---|---|
| ark:foo.ark | 讀取歸檔文件foo.ark |
| scp:foo.scp | 使用映射關系讀取foo.scp |
| scp,p:foo.scp | 使用映射關系讀取foo.scp,p：如果文件不存在，不報錯 |
| ark:- | 從標准輸入讀取歸檔 |
| ark：gunzip -c foo.gz| | 從foo.gz讀取歸檔信息 |
| ark，s,cs:- | 從標准輸入讀取歸檔后排序 |
eg: raw_mfcc_test_yesno.scp 內容: 1_0_0_0_0_0_0_0 /home/wenba/source_code/kaldi-trunk/egs/yesno/s5/mfcc/raw_mfcc_test_yesno.1.ark:16 1_0_0_0_0_0_0_1 /home/wenba/source_code/kaldi-trunk/egs/yesno/s5/mfcc/raw_mfcc_test_yesno.1.ark:8841 1_0_0_0_0_0_1_1 /home/wenba/source_code/kaldi-trunk/egs/yesno/s5/mfcc/raw_mfcc_test_yesno.1.ark:17718 發音id mfcc數據位置(mfcc特征從ark文件第n行開始讀起) raw_mfcc_test_yesno.1ark 保存所有測試語音文件的mfcc 原始數據 cmvn_test_yesno.scp 內容：說話人global,因為只有一個人，所以只有1行，數據保存再ark文件中 global /home/wenba/source_code/kaldi-trunk/egs/yesno/s5/mfcc/cmvn_test_yesno.ark:7
特征提取和訓練
特征提取，這里是做mfcc
steps/make_mfcc.sh --nj <N> <DATA_DIR> <LOG_DIR> <MFCC_DIR> --nj <N>是處理器單元數 <DATA_DIR>訓練語料所在目錄 <LOG_DIR>這個目錄下記錄了make_mfcc的執行log <MFCC_DIR>是mfcc特征輸出目錄
for x in train_yesno test_yesno; do steps/make_mfcc.sh --nj 1 data/$x exp/make_mfcc/$x mfcc steps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x mfcc utils/fix_data_dir.sh data/$x done
該腳本主要執行的命令是：
~/kaldi/egs/yesno/s5$ head -3 exp/make_mfcc/train_yesno/make_mfcc_train_yesno.1.log #看log文件的前3行,head linux命令 #compute-mfcc-feats --verbose=2 --config=conf/mfcc.conf scp,p:exp/make_mfcc/train_yesno/wav_train_yesno.1.scp ark:- | copy-feats --compress=true ark:- ark,scp:/home/gsc/kaldi/egs/yesno/s5/mfcc/raw_mfcc_train_yesno.1.ark,/home/gsc/kaldi/egs/yesno/s5/mfcc/raw_mfcc_train_yesno.1.scp copy-feats --compress=true ark:- ark,scp:/home/gsc/kaldi/egs/yesno/s5/mfcc/raw_mfcc_train_yesno.1.ark,/home/gsc/kaldi/egs/yesno/s5/mfcc/raw_mfcc_train_yesno.1.scp compute-mfcc-feats --verbose=2 --config=conf/mfcc.conf scp,p:exp/make_mfcc/train_yesno/wav_train_yesno.1.scp ark:-
archive文件存放的是每個發音對應的特征矩陣（幀數X13大小）。
第一個參數scp:...指示在[dir]/wav1.scp里羅列的文件。
0_0_0_0_1_1_1_1 [
48.97441 -14.08838 -0.1344408 4.717922 21.6918 -0.2593708 -8.379625 8.9065 4.354931 17.00239 0.8865671 9.878274 2.105978
53.68612 -10.14593 -1.394655 -2.119211 13.08846 6.172102 8.67521 19.2422 0.4617066 5.210238 3.242958 2.333473 -0.5913677
通常在做NN訓練時，提取的是40維度，包括能量和上面的一階差分和二階差分。
wenba@welen-pc:~/source_code/kaldi-trunk/egs/yesno/s5/mfcc$ ../../../../src/featbin/copy-feats ark:raw_mfcc_train_yesno.1.ark ark:- |../../../../src/featbin/add-deltas ark:- ark,t:- | head
../../../../src/featbin/add-deltas ark:- ark,t:-
../../../../src/featbin/copy-feats ark:raw_mfcc_train_yesno.1.ark ark:-
0_0_0_0_1_1_1_1 [
48.97441 -14.08838 -0.1344408 4.717922 21.6918 -0.2593708 -8.379625 8.9065 4.354931 17.00239 0.8865671 9.878274 2.105978 1.737444 1.14988 0.4575244 -0.4011359 -1.597765 0.7266266 2.309042 0.4257504 0.1381468 -3.825747 0.12343 -1.734139 0.5379874 0.5782275 0.1020916 -0.1619524 0.04889613 -1.136323 0.3202233 -0.7055103 -1.168674 0.1469378 0.2680922 -1.28895 -0.2633252 0.06172774
53.68612 -10.14593 -1.394655 -2.119211 13.08846 6.172102 8.67521 19.2422 0.4617066 5.210238 3.242958 2.333473 -0.5913677 2.134995 -0.08213401 -0.1649551 0.8477319 -3.646181 1.210454 -0.9891207 -1.523279 1.419143 -0.8481507 -1.178195 -2.021803 0.888494 0.2349093 0.07898982 -0.2755309 0.01829068 -0.4357649 0.007175058 -1.218953 -1.580022 0.1808465 1.43533 -1.377595 0.1183428 -0.5812462
然后歸一化導譜特征系數
steps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x mfcc生成的文件最終在mfcc目錄下：
cmvn_test_yesno.ark cmvn_train_yesno.ark raw_mfcc_test_yesno.1.ark raw_mfcc_train_yesno.1.ark cmvn_test_yesno.scp cmvn_train_yesno.scp raw_mfcc_test_yesno.1.scp raw_mfcc_train_yesno.1.scp
詳細各個命令意義，參考kaldi官網文檔http://kaldi-asr.org/doc/tools.html
單音節訓練
steps/train_mono.sh --nj <N> --cmd <MAIN_CMD> <DATA_DIR> <LANG_DIR> <OUTPUT_DIR> --cmd <MAIN_CMD>，如果使用本機資源，使用utils/run.pl。 steps/train_mono.sh --nj 1 --cmd "$train_cmd" \ --totgauss 400 \ data/train_yesno data/lang exp/mono0a
這將生成語言模型的FST，
使用如下命令可以查看輸出：
fstcopy 'ark:gunzip -c exp/mono0a/fsts.1.gz|' ark,t:- | head -n 20
其每一列是（Q-from, Q-to, S-in, S-out, Cost）
解碼和測試
圖解碼
首先測試文件也是按此生成。
然后構建全連接的FST。
utils/mkgraph.sh data/lang_test_tg exp/mono0a exp/mono0a/graph_tgpr
解碼
# Decoding steps/decode.sh --nj 1 --cmd "$decode_cmd" \ exp/mono0a/graph_tgpr data/test_yesno exp/mono0a/decode_test_yesno
結果查看
for x in exp/*/decode*; do [ -d $x ] && grep WER $x/wer_* | utils/best_wer.sh; done如果對單詞級別的對齊信息感興趣，可以參考steps/get_ctm.sh
local/prepare_data.sh waves_yesno local/prepare_dict.sh utils/prepare_lang.sh --position-dependent-phones false data/local/dict "<SIL>" data/local/lang data/lang local/prepare_lm.sh #特征提取 #遍歷訓練與測試文件夾各個文件 #提取mfcc腳本 #cmvn統計腳本 # Feature extraction for x in train_yesno test_yesno; do steps/make_mfcc.sh --nj 1 data/$x exp/make_mfcc/$x mfcc steps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x mfcc utils/fix_data_dir.sh data/$x done #單音素模型訓練 # Mono training steps/train_mono.sh --nj 1 --cmd "$train_cmd" \ --totgauss 400 \ data/train_yesno data/lang exp/mono0a #圖？ # Graph compilation utils/mkgraph.sh data/lang_test_tg exp/mono0a exp/mono0a/graph_tgpr #解碼 # Decoding steps/decode.sh --nj 1 --cmd "$decode_cmd" \ exp/mono0a/graph_tgpr data/test_yesno exp/mono0a/decode_test_yesno # for x in exp/*/decode*; do [ -d $x ] && grep WER $x/wer_* | utils/best_wer.sh; done
參考文檔：http://blog.csdn.net/shichaog/article/details/73264152?locationNum=9&fps=1