据IDC预测，中国数字人市场规模预计到2026年达102.4亿元。但数字人表现力不足仍是制约行业发展的一大难点，仅面部/手部动作并不足以理解人类行为，捕捉与语音一致协调的人体全身的运动，对于数字人/虚拟代理进行交互至关重要。

为了能够保证身体运动与音频更一致，发挥出虚拟形象的真正用处——实现有意义且真实连贯的交互行为，京东探索研究院提出一个新的语音到全身运动的方法，首先，建立了高质量的3D身体网格数据集；其次，将脸部表情，身体姿态和手部动作分别训练生成模型。通过定量评估表明京东探索研究院的语音合成富有表现力的三维人体具有最为可靠的生成质量。

首先，所有的虚拟数字人其背后的算法和模型都需要高质量的数据进行大量训练、测试、调参才能达到最终的最优效果。而三维整体身体网格和同步语音记录的数据集非常少，而且由于复杂的运动捕捉系统，它们很难获得。

图1 模型效果图

在数字人方向京东拥有深厚的技术积累，京东云旗下的言犀数字人如今已服务伊利、联想、国台酒业、六神、蔓迪、skg、同仁堂、Swisse等超过4000品牌，带动超过10亿元GMV。借助言犀虚拟主播，蔓迪直播销售转化率提升16%，平均GMV占比真人主播达25%，成本降低15%；同仁堂成交转化率超5%，还打造多个平台AI直播矩阵；六神初次开播，半月成交转化率就高达39%，转粉率达3.5%。