“手之语”——基于图形识别和深度学习的手语翻译软件
国际学院
"Language of the Speech-impaired" – A sign language translation software based on graphic recognition and deep learning
本项目的研究内容是一个基于人体姿态研究的手语图像识别系统。经调查研究,目前市面上手语识别系统大多存在便捷性,实用性低的问题:例如严苛的硬件要求或是高昂的造价。本项目计划开发一款利用手机摄像头识别手势转化成语音或者文字的手语翻译软件,可以在一定程度上解决上述问题,满足听障人士和其它手语需求群体的需求。针对图像采集功能,本项目计划开发一个安卓客户端,手机摄像头会将用户采集到的视频提取关键帧并进行本地压缩后发送到云端处理。针对手语识别功能,本项目计划基于OpenPose人体姿态开源模型和OpenCV算法,利用人工智能技术、图形识别算法等技术检测手语视频和图像,再把数字特征进行分类器模型预测,最后将预测结果以文本或语音形式展现出来。本项目的前景较为广阔, 没有大的限制条件, 为正常人与聋哑人之间的交流搭建了一个高效快捷的平台, 能够改善如今市面上语言障碍患者辅助用品匮乏的现象, 还能够丰富听障人士的生活,帮助他们更好地融入社会。