声加科技CEO邱锋海阐述TWS耳机应用场景的声信号处理目标及挑战
近日,由深圳市音响行业协会、声学楼论坛主办的“中国音频技术大会(深圳)暨声学楼十五周年年会”在深圳市金百合大酒店隆重举办。本届大会设置名师讲坛、专题报告、产品展览、颁奖典礼等多个环节,来自国内音频产业链的诸多智能音响品牌、TWS耳机品牌、音响配件厂家、TWS耳机配件厂家,以及来自世界各地的音响研发机构、专家学者、行业大咖等嘉宾悉数出席,产、学、研、用共话行业盛宴。
中国音频技术大会(深圳)暨声学楼十五周年年会开幕式
其中,来自智能听觉领域的开拓者和创新者——声加科技CEO邱锋海作为特邀嘉宾,以《TWS耳机应用场景的声信号处理目标及挑战》为题,分享了以其为代表的声加团队,在过去几年里关于TWS耳机的所做的一些研究和探索。在通过声加一系列阶段性成果的产品案例,不断解决也不断更深入的思考了TWS耳机,在包括语音增强之通话降噪,ANC之环境、佩戴自适应、语音增强之透传及辅听、个人语音入口之语音唤醒与识别上的目标和挑战。并期待和展望TWS耳机未来可以朝着智能化、个人化的方向继续发展,让每一个用户获得最佳的体验。
声加科技CEO邱锋海现场分享
根据《2020年音频产品使用现状调查报告》,无线耳机的需求从高到低,包括听音乐、看视频、语音通话、收听有声读物等。除了听音乐占以绝对的比例领先外,视频/音频会议、电话等通讯需求也在逐步上升,成为用户的新刚需。因此,毫无疑问,音质的精益求精,是音频类产品永恒的追求。同时,通话降噪的升级处理,以及备受关注的ANC技术,还有各种分散的使用场景和动态变化的用户需求,也都赋予了TWS更多的使命。
语音增强之通话降噪:
邱锋海表示,作为语音增强重要应用的一环,通话降噪的效果测评维度可以概括为可懂度、自然度、舒适度。其解决方案主要是根据时频特性和空间特性搭配不同的技术处理。从2019年开始,业界产品基本从单麦发展到了双麦,使用声加授权方案的华为、小米、OPPO、漫步者等多个品牌都相继发布多款TWS耳机产品。再到今年,随着入耳式ANC耳机的爆发,更多大厂都应用了包含反馈麦克风的通话降噪方案: 双麦阵列+内耳麦+AI,前馈+反馈系列:单麦+内耳麦+AI的Hybrid ANC案例。
“不过,在目前方案通用后,仍然有部分问题无解。”邱锋海总结,通话降噪功能的进阶,主要面临场景和佩戴两大挑战。如地铁的大噪声场景,AI对低信噪比(<0dB)语音的可懂度下降显著;骑电动车、运动下的大风噪场景,气导麦克风饱和,骨导麦克带宽有限;对于公共场合超大背景广播的竞争语音场景等,波束成型和AI的效果有限,需要有效使用骨导信息、SpeakerID等。在耳机佩戴方式上,目前有入耳式、半入耳式及骨传导等,受器件本身的约束,也让用户在实际体验中差异较大。
中国音频技术大会(深圳)暨声学楼十五周年年会现场
ANC之环境、佩戴自适应:
在ANC之环境、佩戴自适应上,目前是以前馈控制器W(z),反馈控制器K(z)设计来实现产品控制。拿声加做过的某案例来说,我们为了改善风噪场景下的ANC性能,首先可以通过改善结构设计,减小湍流,还可以结合声加的风噪检测模块,根据风噪的大小增加反馈通道对ANC的贡献,减少前馈通道的贡献比重。
关于这两点所面临的挑战和解决方案上,邱锋海进一步阐述到,入耳式耳机ANC环境适应性,可以通过结合富信息(来自其他传感器的信息),更综合的场景判断寻求解决。提升通透模式、智能化、降噪量的主观体验。;半入耳式耳机ANC佩戴适应性,同样可以依靠积累多种情况下的数据,优化设计具有普适性的ANC滤波器,根据实际用户更新化的佩戴条件自动在线更新,以及更进一步的加入环境适应性等,来解决低频响应差、传递函数差异大的痛点。
语音增强之透传及辅听:
在今年越来越多的入耳式耳机上,对自然的的透传效果与辅听功能也有了特别要求。具体来讲,透传是将环境中有用声信号传送给入耳式耳机内部,改善佩戴者的堵耳体验(Audio AR);辅听/助听则是要将透传信号动态放大,根据事先测定好的听力曲线,补偿佩戴者的听力损失。
作为被关注不久的特性,它们也面临着更多的挑战,包含低延时的语音增强;啸叫控制,尤其是在放大增益很大的情况;低延时的多通道动态范围控制技术,配合听力损失检测;自我语音消弱与控制,如在使用者讲话时,是不是能更好地拾取环境有效信号;以及需要TWS左右互通支持左右耳协调的问题。
个人语音入口之语音唤醒与识别:
TWS耳机作为重要的个人语音入口,肩负着语音交互重任的唤醒与识别功能,也成为了众多耳机厂商的研发重点。未来的发展方向也将朝着低功耗、更好的口音适应能力(更大模型),或者是对使用者进行个性化优化的计算,更好的环境适应能力等方向发展。声加科技也在此方向上不断进行探索和努力,且在一些落地案例上得到了客户和消费者的肯定。邱锋海表示,比如可以在一个通用模型下,对个人进行优化,让耳机对不同的口音进行自适应。
TWS耳机未来的发展和展望
另外,邱锋海也从产品形态、核心功能、个人化、智能化等方面对TWS耳机做了更多的展望和期待,并号召所有从业者一同想象——未来,它可不可以成为用户的个人ID?比如物理形态上,是不是能像助听器一样,结合对耳道深度的参数感知,为每个人实现定制化;同时结合智能技术,对个人行为和使用场景进行感知,从而更智能化地根据使用者的行为模式做出反馈。
最后,邱锋海表示,“我们希望有一天,耳机就像是身体器官的一部分,平时不会感觉到它的存在,但需要的时候某个功能它就出来了。声加科技将始终致力于在复杂场景下,为人与人通信、人与机器交互提供更清晰、更舒适、更自由的使用体验,最终实现人机完全交融的愿景。”