经验
计算
博客

你现在能听到我说话吗?

关于AudioSmart远场语音技术

10月7日

Trausti Thormundsson著


亚马逊的Alexa语音服务(AVS)、谷歌语音助手(GVA)、三星的Bixby、苹果的Siri、在日本很受欢迎的Naver、NTT Docomo、韩国的SK电信、韩国电信、中国的百度、阿里巴巴、腾讯等,已经开发出了先进的语音服务平台。这些公司拥有非常复杂的以语音为中心的软件平台,可以针对特定的地理位置和大量的设备进行定制,从小灯泡到大冰箱,所有这些设备都由唤醒词算法和远场语音技术激活,这两项技术都是Synaptics的专长。

现在,边缘计算已经在智能家居中生根发芽,Synaptics创造了一个双唤醒词产品,以区分基于云的需求(如天气预报和流媒体音乐)和未来基于边缘的命令,如“开灯”(这是在云上完成的)。此外,这款智能设备还需要理解全球各地的各种口音和语言,从美国南方口音、英式英语、普通话到日语。为了支持出色的用户体验,这些都是需要解决的复杂问题。

但我离题了,我将把wake word tech留给另一篇文章。今天我想重点谈谈远场语音技术,这种技术可以在充满挑战的环境中提取用户的声音,在这种环境中,用户需要切断各种环境噪声和来自设备本身的音频。随着市场采用和越来越多地使用语音触发智能设备,如扬声器和音箱,许多人可能会想,“智能设备如何从电视或收音机中识别我的声音?”让我们来仔细看看远场语音的具体细节,以及实现它的芯片和软件。

理解远场语音问题
当我们的语音从嘴里传到智能设备时,它会受到许多不同方面的影响,这些影响都会改变语音助手最终听到的信号。当我们的声音从我们传播到设备时,声音会被衰减,在自由空间中,传播距离每增加一倍,声压级就会下降6dB。语音声压波也会从我们周围的所有表面反弹,设备不仅会“看到”直接从我们的嘴巴传播到设备的语音信号,还会看到延迟和按不同数量缩放的信号的大量副本。事实上,语音助手会观察所有这些不同副本的总和。这种效果叫做混响。即使在非常安静的房间里也会发生衰减和混响。

我们所有的环境都有背景噪音,在某些情况下,这些噪音可能相当大,比如厨房电器、电视、街道交通或其他人说话的噪音。总的来说,我们所有的活动都会产生一些声音信号。语音助手也会听到所有这些背景噪音,麦克风也会从这些背景噪音中接收到我们减弱和回响的语音。

最后但并非最不重要的是,语音助手的麦克风还将接收语音助手正在播放的音频的混响版本。这被称为声学回声,在许多情况下,这个信号可能比个人助理需要听到的实际语音信号大两个数量级,因为个人助理中的扬声器比用户更接近麦克风。

远场语音处理的任务是获取麦克风信号,包括声学回声、声学噪声和回响语音,并重建一个忠实地代表所说内容的信号。

如何在信噪比为负的情况下提取用户声音
对于远场语音处理来说,最具挑战性的情况是当声学噪声与用户的声音水平接近或甚至更大时。例如,当智能设备上的麦克风离电视或嘈杂的厨房电器太近时,就会发生这种情况。信噪比(SNR)变为负值。但是有一些功能可以在真实的、嘈杂的环境中增强语音通信和自动语音识别性能。其特点如下:

智能源定位器(SSL):允许设备自动确定设备周围的声源数量,即使它们都是同时活动的。此外,它还可以确定给定的源是否只发射语音。

Smart Source Pickup (SSP):使用来自两个或多个麦克风的信号从麦克风信号中的所有其他音频源中提取单个音频源。为了决定要关注哪个源,智能源拾取使用智能源定位器中的信息。这使得SSP能够专注于用户的声音,并消除来自设备周围各个方向(全向)的噪声,即使噪声源来自与用户相同的方向。这个过程也执行部分去混响。

语音闯入:通过全双工声学回声消除(AEC),即使设备正在播放音乐或大声提示语音,Voice DSP也可以检测唤醒词。

声学回声消除(AEC)是什么?
哈曼(Harman)的扬声器、Ecobee的灯光开关或Netgear的网状Wi-Fi路由器等设备中的AEC都具有双子带滤波器结构,可确保更快的收敛和更深的消除。此外,AEC利用SSP作为后滤波器的能力,其中SSP将非线性回波残余视为噪声。其结果是线性和非线性回波的深度抵消,即使在非常大的播放音量下也能产生稳健的插入性能。

你现在能听到我说话吗?
智能家居将在多个方面变得更加智能,语音仍然是一个快速增长的关键人机界面。但智能设备的迅速普及完全依赖于它们对人们的实际帮助和意义。我们还没有完全做到这一点,但Synaptics正在以专门制造的强大边缘计算soc领先,这些soc集成了远场语音和自定义唤醒词技术,我们的客户可以利用他们不断发展的语音服务平台。

观看Synaptics远场语音技术在非常嘈杂的环境中表现的视频演示。https://bcove.video/2Bct94F

作者简介

trausti

Trausti Thormundsson
IP和算法开发副总裁
linkedin

接收最新消息