直播线上实时翻译和流式字幕技术,区别于传统的线下翻译+字幕叠加硬件设备,创新性的采用云线上实时翻译+流式字幕叠加,通过API的方式实现直播视音频分离、音频转码、语音识别及转文本、文本翻译、自动审核、字幕返回等功能,并最终将流式字幕叠加到直播源流中,语音识别、转写及翻译准确率预计可达90%以上,并拥有自动校正功能,在保证字幕效果的情况下,极大的节省了使用成本,且系统支持动态扩缩容,便捷高效。
技术实现原理是将直播流进行音频流剥离,利用AI语音能力将直播流中的音频流进行实时识别、转写,同时进行多语言翻译及内容审核,过滤敏感内容,保障内容的安全合规,最终将识别的原语言和翻译语言以实时字幕的方式叠加到直播流中,让用户可以在观看直播画面、声音的同时可以获取文字维度的信息,极大的提升用户的观看体验。
技术方案架构图
模块组成:
业务实现流程:
技术优势:
实践过程中遇到的难点:
技术应用场景:
该技术可以广泛的应用于电商、会展、融媒、教育等领域,比如在电商领域,可以帮助企业聚焦直播带货出海业务场景,通过云端实时翻译+多语言字幕的技术手段,降低海外地区用户的观看门槛,提升直播观看量,从而提升商品购买转化率和GMV;在会展行业,可以完美替代同传和线下硬件设备,大大降低会展直播成本。
技术实践:
该技术在2021年相继应用于服贸会、亚欧商品贸易博览会、商洽会等国际性展会项目中。