这是学习时的笔记，包含相关资料链接，有的当时没有细看，记录下来在需要的时候回顾。
有些较混乱的部分，后续会再更新。
欢迎感兴趣的小伙伴一起讨论，跪求大神指点~
VAD(ffnn神经网络)-Alex
tags:voice
Documentation(README)中说现在的NN VAD方法比GMM方法效果好的多。
Material
Paper
-
[ ] 神经网络在语音信号检测中的研究
? 巴克码 同步头 -
[ ] 基于深度神经网络的语音端点检测
Interesting
- [ ] Google Tensorflow 做了一个非常直观的神经网络 playground: A Neural Network Playground
- [ ] 知乎:如何形象有趣讲解神经网络
- [ ] 递归神经网络
- [ ] 贴吧:关于神经网络的提问
- [ ] 语音识别中，如何理解HMM是一个生成模型，而DNN是一个判别模型呢？
神经网络
- [ ] 如何用70行代码实现深度神经网络算法
- [ ] 知乎: 简单理解神经网络
- [ ] 神经网络十大误解
Alex
Description
VOIP(voice over Internet protocol)网络电话
ASR(automatic speech recognition)自动语音识别技术
VAD语音激活检测
SLU口语理解
获取输入语音信号的语义表示
DM对话管理
决定系统如何回复给定的用户输入, 其模式有多种:rule-based plan-based 基于增强学习的
NLG自然语言生成
对话管理器输出的是抽象表达,我们要将其转换为句法和语义合法的自然语言,同时考虑上下文连贯性。许多自然语言生成系统是基于模板的，模板的某些成分是固定的，另一些成分需要根据对话管理器的输出结果进行填充。（省略表达，句子聚合等。除了基于模板外还有基于统计的方式进行）
TTS文本生成语音
Install
pyAudio:这是一个跨平台的音频 I/O 库，使用 PyAudio 你可以在 Python 程序中播放和录制音频。
git clone https://github.com/bastibe/PyAudio.git
flite:在linux下通过flite命令可以使用文字转语音功能。
wget http://www.festvox.org/flite/packed/flite-1.4/flite-1.4-release.tar.bz2
flite -t hello //读单词hello
flite hello //读文本hello.txt
flite -voice slt -f hello.txt //换女声语音库
HTK:隐马尔可夫模型工具包,HTK的开发也主要是针对语音识别的应用及研究。
Kaldi:是一个非常强大的语音识别工具库。目前支持GMM-HMM、SGMM-HMM、DNN-HMM等多种语音识别的模型的训练和预测。其中DNN-HMM中的神经网络还可以由配置文件自定义，DNN、CNN、TDNN、LSTM以及Bidirectional-LSTM等神经网络结构均可支持。
$ git clone https://github.com/kaldi-asr/kaldi
SRILM:用来构建和应用统计语言模型，主要用于语音识别，统计标注和切分，以及机器翻译，可运行在UNIX及Windows平台上。支持语言模型的估计和评测。估计是从训练数据（训练集）中得到一个模型，包括最大似然估计及相应的平滑算法；而评测则是从测试 集中计算其困惑度。
pjsip:是一个开源的SIP协议库。PJSIP作为基于SIP的一个多媒体通信框架提供了非常清晰的API，以及NAT穿越的功能。PJSIP具有非常好的移植性，几乎支持现今所有系统：从桌面系统、嵌入式系统到智能手机。
git clone git@github.com:UFAL-DSG/pjsip.git
MorphoDiTa:自然语言文本的形态学分析。
git clone git@github.com:ufal/morphodita.git
python读.wav文件
# -*- coding: utf-8 -*-
import wave
import numpy
import pylab as pl
#打开wav文件
#open返回一个的是一个Wave_read类的实例，通过调用它的方法读取WAV文件的格式和数据
f = wave.open(r"D:1.wav","rb")
#读取格式信息
#一次性返回所有的WAV文件的格式信息，它返回的是一个组元(tuple)：声道数, 量化位数（byte单位）, 采
#样频率, 采样点数, 压缩类型, 压缩类型的描述。wave模块只支持非压缩的数据，因此可以忽略最后两个信息
params = f.getparams()
nchannels, sampwidth, framerate, nframes = params[:4]
#读取波形数据
#读取声音数据，传递一个参数指定需要读取的长度（以取样点为单位）
str_data = f.readframes(nframes)
f.close()
#将波形数据转换成数组
#需要根据声道数和量化单位，将读取的二进制数据转换为一个可以计算的数组
wave_data = numpy.fromstring(str_data,dtype = numpy.short)
wave_data.shape = -1,2
wave_data = wave_data.T
time = numpy.arange(0,nframes)*(1.0/framerate)
len_time = len(time)/2
time = time[0:len_time]
##print "time length = ",len(time)
##print "wave_data[0] length = ",len(wave_data[0])
#绘制波形
pl.subplot(211)
pl.plot(time,wave_data[0])
pl.subplot(212)
pl.plot(time, wave_data[1],c="r")
pl.xlabel("time")
pl.show()
train model
生成.mlf
- 语音标记
alex/tools/vad_train/data_voip/*.txt - 生成.mlf
"alex/tools/htk/bin/make_mlf_train.sh"
#!/bin/bash
WORK_DIR=alex/tools/vad_train
TRAIN_DATA=$WORK_DIR/data_voip
TRAIN_SCRIPTS=alex/tools/htk/bin
LOG_DIR=$WORK_DIR/model_voip
TEMP_DIR=$WORK_DIR/temp
find $TRAIN_DATA -iname '*.mfc' > $WORK_DIR/train_mfc_files.txt
python $TRAIN_SCRIPTS/CreateMLF.py "-" $WORK_DIR/train_words.mlf $WORK_DIR/train.scp $TRAIN_DATA $TRAIN_DATA'/*.txt' > $LOG_DIR/train_missing_words.log
"alex/tools/htk/bin/CreateMLF.py"
部分修改如下:
for fn in fns:
with open(fn, 'r') as f:
lines = f.readlines()
lines = ''.join(lines) //把原本''中的空格去掉
words = lines.strip().split('
') //原本split默认按空格切分,改为按转行符切分
# 运行
~/path/to/VAD/alex-master$ sh alex/tools/htk/bin/make_mlf_train.sh
#生成.mlf
#!MLF!#
"alex/tools/vad_train/data_voip/2.txt"
0 19296 sil
19296 37600 speech
37600 57248 sil
.
"alex/tools/vad_train/data_voip/1.txt"
0 14400 sil
14400 23200 speech
23200 49984 sil
.
训练模型
"path/to/VAD/alex-master/alex/tools/vad/train_vad_nn_theano.py"
# 1.train_vad_nn_theano.py
# load_mlf改为
#mlf.times_to_frames()
mlf.bits_to_frames(16000)
mlf.trim_segments(trim_segments)
//trim_segments现在是0,可以修改为n(1/2/3)
//表示删除end-start(帧)<=2n部分,较短部分不进行训练
# main文件地址
train_speech.append('alex/tools/vad_train/data_voip/*.wav')
train_speech_alignment.append('alex/tools/vad_train/train_words.mlf')
features_file_name = "alex/tools/vad_train/model_voip/vad_sds_mfcc_mfr%d_mfl%d_mfps%d_ts%d_usec0%d_usedelta%d_useacc%d_mbo%d.npc" %
(max_frames, max_files, max_frames_per_segment, trim_segments,
usec0, usedelta, useacc, mel_banks_only)
# 2.htk.py
# .mlf中的bit值转帧(注意:窗口移动值是frame_shift,与targetrate相关)
def bits_to_frames(self, sample_rate):
self.frame_shift = int(sample_rate * self.targetrate / 10000000)
for f in self.mlf:
for i in range(len(self.mlf[f])):
self.mlf[f][i][0] = int(self.mlf[f][i][0] / self.frame_shift)
self.mlf[f][i][1] = int(self.mlf[f][i][1] / self.frame_shift)
## 后面的不加会导致错误4
# shorten the last segment by 10 frames as there may not be enough data for a final frame
self.mlf[f][i][1] -= 10
# remove the zero or negative length segments that could be created by the previous step
if self.mlf[f][i][0] >= self.mlf[f][i][1]:
del self.mlf[f][i]
# 3.log错误
Traceback
File "./alex/tools/vad/train_vad_nn_theano.py", line 316, in train_nn
e.train(method = method, learning_rate=learning_rate*learning_rate_decay/(learning_rate_decay+epoch))
File "/path/to/VAD/alex-master/alex/ml/tffnn.py", line 302, in train
log_lik = self.f_train_ret_loss(mini_x, mini_y, learning_rate)
TypeError: ('Bad input argument to theano function with name "/path/to/VAD/alex-master/alex/ml/tffnn.py:131" at index 2(0-based)', 'TensorType(float32, scalar) cannot store accurately value 0.019801980198, it would be represented as 0.0198019798845. If you do not mind this precision loss, you can: 1) explicitly convert your data to a numpy array of dtype float32, or 2) set "allow_input_downcast=True" when calling "function".', 0.019801980198019802)
# 修改tffnn.py
self.f_train_ret_loss = function([x, true_y, learning_rate], loss, updates = updates, allow_input_downcast=True)
# 4. htk.py 最后frame不足512个语音节点问题
ValueError: operands could not be broadcast together with shapes (512,) (465,)
# 修改（失败）
MLFMFCCOnlineAlignedArray(MLFFeaturesAlignedArray):
def __init__(+ framesize=512)
self.framesize=framesize
def get_frame(self, file_name, frame_id):
if len(frame) == self.framesize:
try:
mfcc_params = self.mfcc_front_end.param(frame)
except ValueError:
print file_name, frame_id, len(frame)
raise
else:
pass
return mfcc_params
//进行mfcc_front_end.param前先判断frame是否足帧，不足帧舍弃
UnboundLocalError: local variable 'mfcc_params' referenced before assignment
# 错误，当len(frame) != framesize时执行else后的pass，此时没有mfcc_params变量
# pass改成exit()则会导致执行exit()时整个程序停止。所以放弃该改动方法。
# 修改办法见代码2
## 运行
$ cd /path/to/VAD/alex-master
$ python alex/tools/vad/train_vad_nn_theano.py
- 为什么len(mfcc[0])=26
- 语音en和cs分别指什么————指English 和 Chinese
使用模型进行检测
"path/to/VAD/alex-master/alex/components/vad/__init__.py"
#!/usr/bin/env python
# coding: utf-8
import sys
sys.path.append("/path/to/VAD/alex-master")
import wave
import numpy as np
from alex.components.vad.ffnn import FFNNVADGeneral, FFNNVAD
from alex.utils.htk import Features
def main():
f = wave.open(r"/path/to/VAD/sound/12.wav","rb")
soundParams = f.getparams()
nchannels, sampwidth, framerate, nframes = soundParams[:4]
str_data = f.readframes(nframes)
f.close()
# wave_data = np.fromstring(str_data,dtype = np.short)
# ffnn.py文件中调用的是原始语音，是c语言数据格式，所以不用这一步。
# ffnn.py中的struct.unpack进行数据格式转换，由c转换成python
vad = FFNNVADGeneral('/path/to/VAD/alex-master/alex/tools/vad_train/model_voip/vad_nnt_546_hu32_hl1_hla0_pf10_nf10_acf_1.0_mfr20000_mfl20000_mfps0_ts0_usec00_usedelta0_useacc0_mbo1_bs1000.tffnn',
filter_length=2, sample_rate=16000, framesize=512, frameshift=160,
usehamming=True, preemcoef=0.97, numchans=26, ceplifter=22, numceps=12,
enormalise=True, zmeansource=True, usepower=True, usec0=False,
usecmn=False, usedelta=False, useacc=False, n_last_frames=10,
n_prev_frames=10, lofreq=125, hifreq=3800, mel_banks_only=True)
result = vad.decide(str_data)
if __name__ == "__main__":
main()
# 运行
$ cd path/to/VAD/alex-master
$ python alex/components/vad/__init__.py >alex/components/vad/output/output*.txt
# 图形化
$ gnuplot
$ plot "/path/to/VAD/alex-master/alex/components/vad/output/output*.txt" using 4:6 title "*.wav:time-prob" with line
（若非特别声明，文章是Vanessa的个人笔记，转载请注明出处。文章如有侵权内容，请联系我，我会及时删除）