清华大学团队研发出新颖唇语解读系统
来源:中新网 发布时间:2022-03-26 13:18 作者:中新网 阅读量:6659
清华大学团队研发出新颖唇语解读系统
人说话时嘴唇动作跟语音同步,可以通过识别唇动来进行语言交流对于声带,喉舌损伤的失声人群,唇语是一种不占用双手的,日常无障碍交流的有效方式但唇语对讲话者友好,对解读唇语的听众来说却并不轻松为降低唇语解读难度,现有技术手段常采用磁场,视觉图像,超声波等方法以最流行的非接触式视觉图像方法为例,尽管其唇语识别准确率较高,但依然容易受到面部角度,光强,头动和遮挡等因素的干扰特别是在新冠肺炎疫情期间,佩戴口罩给基于视觉的唇动解读带来全新挑战通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景
最近几天,清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作,研发出了一种新颖的唇语解读系统相关研究成果在线发表在《自然·通讯》期刊上
该系统包含低成本,自供电的柔性摩擦电传感器和基于原型学习的深度学习模型传感器将唇部肌肉运动产生的电信号传输到解码系统,翻译成可沟通的语言该研究测试分析了传感器的机械与电气性能,采集并提取了选定元音,单词,短语,无声语音和发声语音的唇动信号特征通过比较同步采集的唇动和声音信号,证明了无论是否发声,嘴唇运动信号都具有一致性进一步分析了语速与唇动模式等不同参数对信号特征的影响规律提出了一种基于原型学习的空洞循环神经网络模型,用于唇动信号的识别,在20个分类情况下,测试准确率达到94.5%
值得注意的是,上述自供电传感器由柔性聚合物薄膜与柔性电极组成,可提高人体佩戴的舒适性研究团队利用该系统进行了多种场景应用展示,如解锁大门的身份识别,移动模型车的方向控制,唇动/语音的实时转换等,展示了该系统在唇动识别领域的可行性和应用潜力
面向失声人群日常无障碍沟通需求,该工作为特殊场景下唇语翻译应用开拓了创新的研究方向此外,该工作在机器人控制,个人身份验证,人机界面,残疾辅助,无声语音,情报,反恐任务实施,康复,生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值
团队相关负责人表示,尽管该工作已展示了该技术的有效性和应用前景,但仍然面临系统可靠性,稳定性等问题研究团队相信,伴随着研究的深入,该技术有望切实为失声人群服务,提供无障碍语言交流的科技手段
作为国内首批量产三元软包动力电池和首家登陆科创板的锂电池制造公司,孚能科技因在2018年11月与戴姆勒签订大额供货合同且在IPO阶段引入后者作为战略股东,此次清华大学电池安全实验室参访的正是孚能科技镇江基地戴姆勒产线。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
站点精选
- 收评:指数午后持续走低创指跌2.52%纺织板
- 两部门:全力以赴保夏粮小麦丰收千方百计扩种大
- 瑞幸咖啡2021首度实现门店层面年度盈利:总
- 一名肝癌患者背后的多方“救赎”
- 辽宁餐饮人携手抗疫一线共同“战疫”
- 以下是AppleWatchSeries7所有
- 打造独具特色的自贡文旅名城核心区实现旅游收入
- 爱康科技:公司尚未回购股份博士学位
- 自2014年11月以来WTI原油期货首次触及
- 衡水银行爱心助力疫情防控获赠锦旗
- 新星宇控股,多元新人居让业主生活更加丰富多彩
- 目前公司(贵州百灵)种植的中药材主要用于自身
- 三维化学:2021年营收同比增长289.29
- 拼多多APP平均月活跃用户数为7.334亿同
- 亏损超1亿股价大挫88%!净利连亏五年荔枝距
- IDC发布了《中国企业级外部存储市场季度跟踪