用EP7211实现传呼信息实时语音合成和播放_嵌入式系统论文
关键词:pda g.729 语音库 语音合成
引言
pda(personal digital assitant,个人数字助理)是近年来继寻呼机和移动电话之后,在国内市场迅速崛起的便携式电子产品。就其扩展意义来讲,它能够集成移动计算、电话和网络等多种功能。根据不同的应用需求,它可以管理个人信息、提供名片存储和日程安排,也可以接收各种寻呼(如股市、天气预报等)。如果是集成通信模块,还可以作为移动电话使用,进行无线网络互联。广义的pda包括简单的电子记事本、电子辞典和功能强大的掌上电脑,它们的主要区别表现在操作系统、存储能力、运算速度和数据交换能力等方面。
目前国内传统pda产品经过几年的高速发展后,市场基于饱和,销售额出现负增长。不过由于pda产品的灵活性,有针对性的行业应用作为一个新亮点,开始为人们所关注。经过行业应用尾后的pda产品,已经在国内市场大显身手。文曲星展现超强的语言释译能力,比较适合于大和语言翻译者使用;蓝火系列能实时接收股市信息和专家点评,适合工薪阶层的炒股者。国家产业部已经鼓励pda产品在交通、警务、保险等领域的行业应用和推广。
分析市场需求,我们研发了集成传呼功能的、专门面向铁路交通行业应用的铁路交通系统pda。本pda系统除了具备传统pda的个人名片管理和辞典检索等功能外,同时提供交通行业应用的民航航班查询、铁路列车时刻表查询等功能。
本pda的寻呼系统实现如下功能:能够通过寻呼对列车时刻表、列车晚点信息、列车剩票额、股道等行业数据进行动态更新。作为另一个特色,当接收到个人寻呼时,能够将寻呼内容实时地转换成语音并播放。
下面重点介绍本pda系统中使用嵌入式处理吕ep7211实现个寻呼内容的实时语音转换和播放。该功能的实现包含前后相关的3个部分:字符语音库的建立、字符的语音合成算法和codec语音中断服务例程。
1 实现条件和要求
pda属于嵌入式应用系统,其同一般pc机有很大差别。硬件方面,嵌入式处理器基于risc体系结构,一般工作频率在几十mhz,甚至更低;系统内存容量一般在几百kb~几mb之间;一般使用容量小的rom或者flash作为硬盘来存储可执行程序序和数据。软件方面,pda系统一般有专用的嵌入式操作系统和软件开发调试移植环境。
个人传呼信息的特点是单条传呼信息长度变化较大,20~50个字符不等。最为常见的是“请回电话***”;传呼涉及到的字符数量较大,字符语音合成时运算量大,单字符合成后语音数据占用的存储空间多;需要事先建立字符语音库等。
由于具体硬件环境的限制、传呼的特点和语音合成的要求,该功能能够实现的前提有:语音库占用的空间小;字符合成时速度更快;采用前台进行字符语音合成时,以后台中断方式进行合成语音的播放来保证其实时性和连续性。
2 具体实现
下面分别介绍字符语音库的建立、字符语音合成算法、本pda系统的框架结构和语音中断服务例程。
2.1 建立字符语音库
我们选用g.729语音压缩编码标准来建立语音库。该标准采用的算法是共轭结构的代数码激励线性预测(cs-acelp),是基于celp(码激励线性预测)编码模型的算法。这种编码规范的严格性使性能达到或超过了32kbps的g.726 adpcm编码,具有很高的语音质量;同时,它是在语音信号8khz取样的基础上得到16bit线性pcm后进行编码的,压缩后的数据速率仅为8kbps,具有相当于8:1的高压缩率。其算法延迟少于16ms。由于g.726编解码器能够实现很高的语音质量和很低的算法延时,因此被广泛地应用。
字符语音库是一个单字发音语音数据的集合,中段数据之间相互独立,不具有相关性。语音库包含了国标一、二级字库中的所有6763个汉字、10个阿拉伯数字和26个字符的标准普通话语音数据。每个汉字或字符发音时长为0.65s,采用8khz抽样频率,使用了g.729a语音编码算法对上述的语音数据进行压缩,压缩后数据速率为8kbps,相当于具有8:1的高压缩率。在汉字中,同音字占了相当大的比例,而在语音合成中对于同音字的处理是没有区别的,故近7000个汉字,我们只存储1123个不同的发音。经过同音字处理和采用g.729标准压缩字符语音数据,则最终建立的语音库文件大小为729 950字节,完全符合本pda系统的数据存储要求;否则,语音库数据量太大,本pda系统不能接受!
建立一个语音压缩数据库的具体步骤如下:
*将数字和常用汉字的标准发音独立地录入到数据文件中,作为基础数据。使用cooledit2000软件完成语音的录入。
*对于输入数据,按照每帧10ms(80个样点)的长度,将a_law语音通过简单换算变成16bit pcm数据,作为编码算法的输入。
*按照g.729a算法标准,对数据进行编码。
*将编码后的数据转换为二进制比特流,写入语音库文件中。压缩后数据速率为8kbps,具有相当于8:1的高压缩率。
用c语言实现这一过程的程序流程如图1所示。
字符语音库的建立是在windows平台及visual c++编程环境下实现的,最终压缩处理后数据量的大小为729 950字节,每个字符语音数据的大小是650字节。
2.2 语音合成
当收到个人传呼信息时,语音合成程序首先从指定位置获取传呼数据,然后在语音库中查找每个汉字、阿拉伯数字或者字符的发音,重组一个数据文件。解码程序对该文件进行解码并且输出原始语音。语音合成流程如图2所示。
语音合成过程首先是当前字符在语音库的定位。对于10个阿拉伯数字和26个字符,将其放在语音库开头。这些字符的查找比较方便。汉字是2字节存储,我们依居其区位码来作为语音库中的定位索引。字符语音检索结束后的语音压缩数据作为该字符解码过程的输入。
数据解码过程可以分为参数解码和重构信号后处理2部分。首先要从输入的数据中提取参数符号,对这些符号解码之后,可以获得相应于10ms话音帧的编码器参数。这些参数包括线性预测系数、自适应码本矢量、固定码本矢量以及它们的增益。解码之后的参数用来计算重建语音信号。得到重构语音信号只有通过后处理过程来对该信号进行放大,包括后向滤波、高通滤波以及按比例因子扩大,最后得到原始的语音数据。
字符解码器原理如图3所示。
2.3 pda系统的体系结构
pda系统中嵌入式处理器ep7211进行数据处理,传呼解码芯接收传呼并进行解码,lcd提供数据输出显示,触摸屏提供用户输入接口,flash用来存储应用程序和数据,sram为程序运行提供内存空间,电源电路为嵌入式处理器和外围设备提供所需要工作电压。
嵌入式处理器ep7211是cirrus logic公司专门为低成本、超低功耗的嵌入式应用设计的,包含arm7tdmi处理器内核和丰富的外围接口。外围接口有codec音频接口、spi串行a/d接口、单色lcd接口、dram接口、红外接口、2个pwm接口、实时时钟rtc以及电源检测接口。ep7211的内核电路工作在2.5v,而外围电路工作在3.3v;可根据具体情况对内核的时钟进行动态编程控制,可工作在18、36、49和74mhz。另外ep7211还有3种基本供电模式:正常操作(operating)、空闲(idle)和等待(standby)。在等待模式,主时钟被关断,整个cpu及相关外围(除中断和rtc)也关断,但可通过中断或按钮来唤醒。
系统软件开发平台采用了我们自主开发研制的、专门面向嵌入式应用系统开发的xgw平台。xgw开发平台采用消息驱动机制,是c语言开发。它功能强大、模块化设计、扩展性强、产品升级容易,总体框架如图5所示。
图5全面反应了xgw开发平台的体系结构,包括事件消息驱动机制、内存管理、字符和图形显示输出、图形组件库等。图形组件库中的编辑框、列表框、按钮等为用户应用程序开发提供系统应用编程接口api。不过,xgw平台对于系统硬件的中断响应没有提供统一的入口和出口,需要开发人员单独处理。xgw开发平台的消息分为鼠标消息、键盘消息和定时器消息等3类。
2.4 语音中断服务例程
嵌入式处理ep7211本身提供的外设语音录放codec(coder/decoder)芯片可以实现语音的录入和播放功能。该模块提供2个独立的16字节长的数据发送和接缓冲区(fifo),其为全双工模式,数字据点发速率是64kbps。芯片自身提供工作时钟、定时脉冲以及数据串/并和并/串转换功能。编程人员通过设置ep7211相应的控制寄存器使能这些项功能,则每当数据收发缓冲区半慢或者半空时(8字节),芯片自身就会产生一次中断信号供外部处理。理论计算芯片中断速率是1ms/次。
语音播放中断服务例程主要完成的工作是,当产生语音中断时,仍然有数据需要播放,则向语音数据发送缓冲区fifo中写入指定数据,剩下的工作由codec芯片本身来完成。中断服务例程isr的伪代码如下(因为具体实现代码没有通用性,故此处用伪码描述):
void irq_codec_handler(void)
{
while(检测系统状态寄存器,发现语音芯片数据发送缓冲区fifo非满)
{
if(已经播放过的语音数据长度<给定的需要播放的语音数据长度)
{
向语音芯片发送数据缓冲区fifo写入指定数据;
调整已经播放过的语音数据长度;
if(已经播放过的语音数据长度>=给定的需要播放的语音数据长度)//结束
{
禁止数据发送缓冲区中断;
复位各相关的全局变量;
程序返回;
}
}
else
{
向语音芯片发送数据缓冲区fifo写入默认数据
0xff;
}
}
}
3 试验结构和分析
由于在设计阶段充分考虑过语音合成算法的大运算量和系统的实时性要求,故我们在具体实现的时候也采取了一些措施,比较突出的有:用arm汇编语言来实现关键性的函数代码;语音合成时提高处理器ep7211的工作频率(处理器正常工作频率是18mhz);对于一些常用的三角函数计算,采用查表的方式等来加快程序执行速度。在pda样机测试中,单字符合成时间在650ms左右,基本上能够满足实际应用需求。数据语音库经过处理之后,占用了729 560字节也能够满足本pda系统的存储的要求。
当pda系统收到1条个人传呼信息时,在语音库的支持下,立刻启动语音合成算法,逐个进行字符语音合成。当第1个字节语音合成结束后,立刻启动语音中断服务例程进行语音播放。这样收到的个人传呼,前台逐个字符解码时,其后台语音播放也在进行。根据实际测试参数,基本上满足了系统的实时性要求。
从一定角度看,单字符650 ms的语音合成时间基本能够满足实际应用需要,但还是希望能够进一步减小这个值。这由于我们对arm算是器的使用还处在研究阶段。arm本身提供了16位的thumb指令集和32位的arm指令集,而且两者在某些方面表现出较大差别。一般来讲,thumb代码长度是arm代码长度的65%,而执行效率要经后者高出60%。但在某些方面,32位arm指令集也会表现出其优于16位thumb指令集的强大功能;同时该处理器系统支持arm指令庥和thumb指令集混合编程模式。随着对二者差别和各自优势的深入理解,结合本系统的硬件体系结构,采用有效的指令集混合编程模式将会使程序执行效率进一步提高,从而使实时性得到进一步加强。