以下文章来源于LiveVideoStack ,作者魏伟
京东云 | LiveVideoStack
嘉宾:魏伟—京东云视频云产品研发部的负责人
1.
做最懂视频的云
LiveVideoStack:魏伟你好,非常荣幸代表LiveVideoStack采访您,可能还有一些读者对您不太熟悉,能否简单介绍下自己? 魏伟:我是京东云视频云产品研发部的负责人,有十多年视频行业研发经验,先后从事于AVS标准制定、广电音视频系统、互联网视频平台、视频云服务平台的架构设计和研发工作,具有丰富的广电、互联网视频、视频云等行业的研发和管理经验。2018年加入京东云,现在主要关注媒体处理、RTC、直播、点播、CDN、P2P等视频云服务相关技术和产品。 LiveVideoStack:加入京东云一年了,回顾这一年,主要做了哪些工作?有哪些充满挑战、欣喜与兴奋的瞬间? 魏伟:这一年多时间里,建立起了包括产品、研发、测试、运维等职能的完整团队,具备了底层算法、产品开发、终端开发、网络传输等完整的端到端视频技术研发能力,推出了直播、点播、媒体处理、推流和播放SDK等等产品,这些产品都已具备了成熟的主流功能,并在核心功能的关键性能指标上领先于竞品厂商;这些都是充满挑战、让团队欣喜和兴奋的。过去一年中,我们将京东集团内的全部视频相关业务搬迁到京东云上,今年618期间,支持商城所有视频类项目。应对618期间商家大并发发起直播为店铺带货引流、大流量观众观看直播下单,保障用户稳定流畅的访问直播内容,并可将有需要的直播流实时转成点播文件供点播访问,保障业务平稳。此外,也服务了游戏直播、娱乐直播、体育直播、点播、短视频、教育等等领域的客户,这些也都充满挑战和让人兴奋。 LiveVideoStack:视频云服务是一个涉及大量技术栈、基础学科与工程经验的领域。京东云选择哪些关键技术突破? 魏伟:视频云服务涉及音视频、流媒体、网络、平台、客户端等大量技术栈,也涉及从汇编、C\C++、Go、Python、Java、OC等大量编程语言。京东云视频云提供了从生产、处理、传输、消费等多个环节的完整端到端服务,为用户提供全链路的音视频极致体验,除了全链条的功能丰富度之外,围绕视频服务体验提升,重点在视频编解码、音频编解码、质量检测和修复、视频内容安全、弱网传输优化等方向深入优化,已经推出了京享超清、极速转码、舒适音频、质量检测和修复、视频动态加密、多码率自适应等功能。 LiveVideoStack:如果用一句话连描述京东云视频云,您会怎么说? 魏伟:京东云视频云是最懂视频的视频云! 2. 视频云发展技术重点 LiveVideoStack:编码技术是多媒体服务中的重中之重,你们做了哪些工作? 魏伟:在H.264、H.265两个主要视频标准、AAC音频标准的编码技术方面,近一年我们在音频、视频,转码等方面深耕,开发了京享超清、舒适音频、极速转码等功能。京享超清,通过京东云特有的视频编码能力和优化算法,对视频中的内容、场景、画面进行智能分析和处理,让视频拥有高画质的同时降低视频码率,有效地提升视频质量并为客户节约带宽成本;舒适音频,基于京东云独特的“智享Audio”音频分析处理技术,对音频音量水平进行分析,自动实现音频的自动增益和动态范围调整,让不同场景的节目音量过度更加平滑,给客户带来更加舒适的视听享受;极速转码,基于京东云自研的“粒子转码”技术,支持倍数转码加速,极大的降低转码需要的时间,1080P可以超过10倍的处理速度,满足客户视频内容快速生产快速发布的需求。 LiveVideoStack:网络是另一个直接关系到用户体验的关键技术,比如实现码率自适应与移动网络与WiFi平滑切换,网络协议优化等等。能否介绍下这方面的研发进展? 魏伟:不同类型网络切换、即使相同网络下稳定性的变化,都是对视频流畅播放体验的挑战。为提升用户复杂网络下平滑、流畅的极致观看体验,以DASH标准为参考,京东云自研多码率平滑切换的全链路解决方案,在视频编码、音频编码、客户端播放SDK等模块做技术改进,实现了点播、直播在网络切换、网络带宽变化情况下仍保持流畅播放的体验。相关的技术,首先要解决同一内容不同档次之间的帧级精确对齐,然后是客户端依据自身网络带宽、机型等实际情况自适应选择视频流并无缝切换,切换过程画面无黑屏、无回退、无跳跃。我们在这方面已经推出成熟方案,点播、直播产品中都已实现。 LiveVideoStack:用户体验与成本永远是一对矛盾,一方面,如何在保证用户体验的前提下,降低运营成本?另一方面,为用户降低成本,让利与用户? 魏伟:首先使用公有云服务,就是相比自建视频服务平台降低成本的最根本办法。公有视频云服务范围内,我理解体验和成本并不是矛盾、而是平衡,技术的改进和提升则是为了达到更好的平衡点。我们综合考虑体验和成本两方面,有些技术提升体验、有些技术降低成本,整体上在不增加成本的情况下提升体验。一方面是云服务的体验提升和客户成本降低,,我们推出的京享超清、舒适音频、极速转码等功能都没有增加成本,产品体验大幅提升;另一方面是帮助客户提升用户体验和降低成本,我们在更低的带宽成本情况下,提供高画质、低卡顿的播放体验。 LiveVideoStack:AI与多媒体技术结合是大势所趋,已经应用于内容理解,自动生成海报等。京东云做了哪些探索? 魏伟:AI与多媒体的结合也是京东云探索的重点方向,这方面我们集中在图像理解、视频分析、人脸/脸识别等方面。 图像理解包含智能鉴黄、拍照购、特定物品识别等,基于业界领先的深度学习图像识别技术,对图片影像的肤色、姿态和场景等进行智能识别,准确快速的输出每张图片“色情”、"低俗”、“性感”、“正常”的概率,有效的规避涉黄风险;视频分析包括视频摘要和视频内容分析,基于客户提供的视频,通过对视频片段和视频帧的深度理解,提取视频中的精彩片段或多张具有代表性的视频帧作为视频摘要,对视频进行文字、人脸、物体、场景多维度分析,输出视频中的人或物,泛标签,关键帧及精彩片段。 LiveVideoStack:未来,从4K、8K到16K,VR与沉浸式体验,5G等新技术将逐步成熟,您和您的团队做了哪些准备? 魏伟:5G到来以后,延时更低、带宽更大,比4G多了更多可能性,比如超高清视频、5G+8K的视频传输和实现,更多包括视频监控和AR/VR技术将更为受益;可明确预见的是超高清视频甚至超过8K的视频处理都将很快变成可能。5G大带宽和低延时属性,正好是4K/8K/VR落地的最佳载体,视频超高清、5G、云和AI融合是未来大趋势,京东云已开始在5G+4K/8K直播方面技术积累,积极构建端到端超高清解决方案,一起迎接万物万联的时代。 本文为节目文稿节选 点击【阅读原文】了解京东云视频云的最新技术实践