首页 > 推荐 > 2018,HEVC与AV1,谁将笑傲江湖?

2018,HEVC与AV1,谁将笑傲江湖?

前言

Unisphere Research和Streaming media Magazine受Harmonic资助,近期发布了一份关于视频编码器使用情况的市场调研报告。本公众号做了翻译、补充和整理。


简介

在2017年6月的苹果全球开发者大会上,苹果公司向动态码率自适应技术HLS规范中添加了HEVC编码的视频。苹果公司表示,HEVC可以降低分割尺寸,同时保持40%的部分具有与H.264相同的视觉质量,带来“更快的视频启动”和“更好的总体质量”。使用更高质量的编解码器也可以降低发行商的带宽成本,允许其在相同带宽条件下,部署更高分辨率的视频流,以提高用户体验,特别是在移动设备端。此外,苹果也推出了一种新的编码途径,可延伸至4K,并支持高动态范围视频(HDR)。

苹果的决定随即引发了一波来自编码厂商的预测,他们认为发行商会迅速将HEVC整合到自己的HLS流中。但实际上,发行商作为该决定唯一影响的利益群体,目前均没有表露出自己的意图。

以下这份报告是从由Harmonic赞助,通过对从事流媒体的相关人员调查中产生。调查对象具体回答关于他们当前和计划使用HEVC的情况,他们关切和考虑的问题,他们使用其他如VP9和AV1编解码器甚至像CAE(content aware encoding)等更易实行的编码方法的意图。总共626名受访者回答了有关使用HEVC的问题,437名受访者完成了整项调查。

就完成的437人次的调查而言,最大的一个受访群体(16.7%)表示他们的组织是一个在线分配视频的电视网络。第二大受访群体(13.3%)的公司主要是运维用户创造内容的网站,其次是使用视频的商业网站公司,占到12.4%,8.5%来自订阅支持的视频点播(SVOD)。还有其他如教育网站(5.5%),地方、州、联邦政府网站(3%)和礼拜网站(3.2%),还有3%的受访者从事AVOD服务。要说明的是,我们只对电视网络,AVOD和SVOD受访者的调查产生了一套独立的结论,发现此结果与整项437人次调查的结果几乎相同。

从市场服务的层面来讲,74%的受访者服务于北美市场,欧洲57.5%,拉丁美洲34%,中东26.9%,东亚26.2%,印度和东南亚25%,大洋洲23%,非洲22%,非洲21%,中国为18.8%,俄罗斯和独联体为18.8%。需要注意的是,这次调查是在苹果加入开放媒体联盟之前完成的。


基于HEVC的编码现状

调查中的第一个问题是目前使用HEVC编码的情况,回答该问题的受访者人数为所有受访者626人。

如图1所示,25.1%的受访者目前正采用基于HEVC编码的视频。同类报告如视频开发者报告2017(https://bitmovin.com/video-dev-report/),调查的380名调查对象中当前有28%采用HEVC编码,40%计划在未来一年内使用HEVC,这样的结果归因于苹果在HLS中支持HEVC。

相反,在encoding.com的2017年全球媒体格式报告中 (http://1yy04i3k9fyt3vqjsf2mv610yvm-wpengine.netdna-ssl.com/files/2017-Global-Media-Formats-Report.pdf),提供了2016年实际制作的视频文件的数据,该公司表示,2016年只有3%的视频流被编码成HEVC格式。这个结果似乎表示大多数发行商仅是在他们自己的硬件或软件设施中使用HEVC编码,而不是在云服务上。事实也确实如此,只有24%的受访者表示他们使用了云编码服务。  

根据上述的多项调查结果,HEVC比许多权威人士、行业专家曾想过的情况部署得更为广泛。下文中,我们也将探索苹果增加HEVC到HLS这一决定对未来的影响。首先,我们想更好地理解为什么许多生产者还没有开始用HEVC进行编码。


为什么不采用HEVC编码?

几乎70%的受访者表示H.264满足了他们的需求(见图2)。这样的结果不足为奇,根据encoding.com的报告,2016年79%的视频流通过H.264编码,95%的视频开发者表示他们使用着H.264。H.264与当今的通用编解码器非常接近,许多编码公司仍在努力通过内容感知编码等技术改进H.264的输出质量。

同样,苹果决定允许VOD内容使用200%的受限VBR(最高码率是平均码率的1倍),而不是先前强制规定的110%受限VBR,此举进一步改善H.264编码输出的质量 (https://developer.apple.com/library/content/documentation/General/Reference/HLSAuthoringSpec/Requirements.html#//apple_ref/doc/uid/TP40016596-CH2-SW1)。这一变化是所有公司在输出HLS时都应该考虑实施的,从质量的角度看,这种改善可以通过最少的成本实现目标。

受访者不采用HEVC的其他原因包括版税(14.4%),等待AV1编解码器(6.9%),HEVC没有经济意义(5.4%),使用替代的技术方案(3.9%)。


有哪些替代技术?

接下来的问题询问了正在使用替代技术而非HEVC的受访者(图3)。30.8%的受访者正在使用内容感知的编码优化技术(CAE),而84.6%正在使用替代的编解码器。由于AV1还没有正式推出(V-Nova仅是新闻稿),我们认为84.6%中的大部分受访者正在使用VP9。正如之后将提到的,尽管AV1即将推出,许多受访者仍会在短期内使用VP9。

关于图2对版税的担忧等原因的调查,令人惊讶的是,目前许多公司也并没有采用CAE,虽然这一问题排除了同时部署HEVC和这类技术的公司。CAE的优势已被Netflix和YouTube等厂商验证过,多家供应商目前也提供了有效的解决方案,事实上,主要供应商都应该在2018年内有一个VOD解决方案。

HEVC编码的HLS流只会在HLS终端的子集中播放,而H.264产生的CAE却无处不在。就这一点而言,CAE应该只会被大型视频分销商短期使用,并不影响HEVC在未来的某个节点上被采用。


为什么HEVC没有经济效益?

随后我们询问了那些声称HEVC没有经济意义的受访者发表这种言论的原因,最终获得了多种回答。如图4所示,61.1%受访者表示,关于版税的不确定性促成了他们的这一观点。这确实是有道理的,目前HEVC已存在三个版税库,其中之一尚未宣布其专利费率,再加上多个已知的HEVC知识产权所有者,如采用HEVC,所缴纳的专利使用费是不可估计的。

具体而言,MPEG LA pool不包括内容相关的使用费,而HEVC Advance pool则相反。而未宣布的Velos pool相关网站作出了如下声明:“由于版税涉及到内容,我们会花时间去充分理解整个行业的动态性,以确保我们的方案可以最好地支持HEVC技术的进步和采用。”事实上,现在Velos最应该做的是公布他们的专利收费方案,以实际行动支持HEVC。

缺乏确定性的费用缴纳方案妨碍了55.6%的受访者实现其目标的ROI。数量最小的一组受访群体,表示他们的网络已有足够的能力,无需使用比H.264更精简的编码格式。


苹果公司采用HEVC的影响

接下来的几个问题探讨了苹果在HLS中采用HEVC的决定对那些计划采用HEVC的受访者所带来的影响,连同他们的担忧和一些实施细节。

图5表明了受访者受苹果这一决定的影响而采用HEVC的程度。这里有一个等级评分1-5,其中5是最强的影响,加上没有影响,有六个可能的答案。在这个问题上,3,4,5的回答共66.2%的比例表明苹果的决定有重大影响。

下一个问题则要求受访者提供他们计划部署HEVC最早的时间点(图6)。 进8.7%的人认为他们可能会在2017年底部署。而有62.5%考虑在2018年底之前完成部署,这是相当大的比重。

正如报告开头所述,有很多在HLS中支持HEVC的原因,包括更快的启动,更低带宽成本,更高的QoE,以及对4K和HDR的支持。因而到2018年底,HLS的HEVC支持将是一个跟上潮流的趋势,是一个创造或保持优势的机会。

即使你不打算在短期内把HEVC添加到HLS中,如果你正打算购买一个新的编码器或选择一个新的云编码平台,确保它或者在2018年底提供HLS中的HEVC。实际上你也很难找到没有这些功能的编码器,因为大多数领先的供应商已经宣布支持HEVC/HLS。


HEVC相关的部署问题

接下来我们得到了受访者关心的HEVC相关的部署问题结果,如图7所示。五个主要关心的问题已在图中列出,唯一没有被重视的问题是移动设备上的电池寿命问题。这样的情况与Streaming Media分享的文章“HLS中的HEVC:它如何影响设备性能?”(http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/HEVC-in-HLS-How-Does-It-Affect-Device-Performance-121758.aspx)所发现的结果一致。具体而言,即使在测试时使用较旧的设备,HEVC仅提高了CPU利用率15%左右,且要求iPhone 7及更高版本的设备中与H.264相似的CPU资源。

其他四项问题涉及到大部分受访者,包括我们已经讨论过的版税问题。此外,编码成本也是一个被极其重视的问题,评分三或更高的有70%的受访者,因为HLS中的HEVC方案相比于现有的H.264将产生额外的编码成本。其他考虑的部署问题还涉及到为所有终端创建HEVC内容的可行性问题,因为必须多次进行HEVC编码,这将产生一笔巨大的开销。

潜在的兼容性问题也是其中的一个焦点。70.3%的受访者将其评为3分或更高。这些担忧是可以理解的,虽然苹果已声明HEVC / HLS方案会在iOS 11,Mac High Sierra和tvOS 11等工作平台立即生效,但并不是所有的苹果终端都可以升级到这些版本,况且许多发行商并不只是在苹果设备上发布HLS。所以,在部署HEVC之前,视频流制作者应该在这三类设备上均进行测试:兼容HEVC的苹果设备,不兼容HEVC的苹果设备,其他的移动终端。如果出现问题,可能需要创建多种HLS包集合以兼容所有的HLS终端。


传统设备的解决方法

就这一问题,我们向受访者提问了如何用传统设备来传输现在的视频流,主要提供了三种技术方案,如图8所示。首先是向现有的H.264流中添加更高分辨率的HEVC流,这将最小化编码和存储成本,同时提高QoE,减小带宽,这种方案被12.4%的受访者提及并计划采用。 第二种方案,也是10.5%的受访者首选的方案,涉及到重塑HEVC的整个过程,这将产生与方案一相反的效应,增加编码和存储成本但可以最大化带宽,最大化QoE。第三种选择是前两者的结合,这种方案被28.8%的受访者所选择。然而本问题调查中48.3%的“还不知道”的回应是最常见的。

事实上,处理传统设备这一问题上确实存在很大的不确定性,包括混合H264/HEVC HLS流。例如,在苹果的全球开发者会议上,题为“HLS创作更新”(https://developer.apple.com/videos/play/wwdc2017/515/)的报告介绍了苹果建议开发者经常使用一些包含HEVC编码的H.264码流,这样播放器可以在H.264和HEVC之间切换。另一方面,苹果在其HLS示例页面(https://developer.apple.com/streaming/examples/)上提供了唯一的混合H.264 / HEVC的样本数据流,包含9个HEVC流和相关的I帧以及9个H.264和对应的I帧,这种混合结构可以使得播放器并不是必须要在两个编解标准间切换。

当然,问题与机会并存。目前多个利益相关方正加速研究和测试HEVC/HLS方案可行的版本,并提供最佳的实践建议以推动相关市场。


关于AV1

调查转向即将发布的AV1。第一个问题调查了受方针对新编解码器的兴趣,结果如图9所示。约66%的受访者选择了三分或更高。这明确地表示了AV1被许多潜在的客户认为是HEVC的替代品。

另一方面,AV1的真正部署或许还需要一段时间,因而我们的下一个问题揭示了与AV1相关的几个问题,如图10所示。性能(质量和解码要求)和编码是主要关注的问题,这也会使得质量和编码要求成为整个AV1发展、完善过程中的重要目标。

NAB 2018应该是第一个让供应商系统地展示AV1最终版本的博览会,其中包括与HEVC和VP9比较(注:近期MSU公布了一个比较,本公众号前面报道过),也是首次深度分析了各类编解码器的质量、解码和编码要求。但有一点需要明确的是,即使苹果公司加入开放媒体联盟以加速AV1被纳入HLS的过程,它仍然不会在硬件上被兼容HEVC的数以亿计的苹果终端所支持。显然,如果你正在寻求一种采用HLS的高级编解码器,HEVC仍是短期甚至中期的唯一选择。


其他编码

接下来的调查采访了受访者在2017年中想要添加哪些编解码器,如图11所示。AV1最受关注,是33.0%的受方针考虑的新编解码器。正如YouTube已经证明的那样,VP9也是基于桌面浏览器播放的一个很好的选择,但像AV1一样,VP9对HLS来说并非替代品,对于其他编码器像PERSEUS、RealMedia HD、Divideon xvc等来说亦是如此。

此外,大部分受访者(53.8%)不打算补充任何新的编解码器。据推测,这个群体中的大部分人会在将来探索CAE的好处。


HDR

关于高动态范围视频的话题,目前有9.8%的受访者已将HDR分配到所有兼容的终端,这一数字将会在年底增长到15.1%。同时到2018年底,50.6%受访者计划分配HDR,剩下的49.4%的受访者则没有部署HDR的计划(图12)。虽然VP9和AV1都是可兼容HDR的,但市场现实表明,大部分的HDR视频流仍使用HEVC。

以上数据表明,虽然HDR会提高HEVC的适应性,但它并不是主要的驱动力。兼容HDR的移动终端数量越来越多,但HDR主要还是针对超高清电视机,而不是移动端。事实上所有的HDR电视都将支持HDR10,据此可以合理推测HEVC将成运行具有HDR内容设备的首选。


总结

经过此次调查我们发现,首先,HEVC被受访者中25.1%的人所部署,这是一个不小的比例。大多数不使用HEVC的受访者表示H.264仍然能满足他们的需求,而税收等实际条件对那些还没有部署HEVC的人来说也一个很大的负担。  

尽管苹果在HLS中部署HEVC的决定在短期内影响不大,但到2018年底,达到62.5%受访者可能已经开始为他们的HLS流添加HEVC。除了版税问题,潜在用户对于HEVC/HLS方案中的编码成本和潜在的兼容性问题也是十分关心。

由于绝大多数受访者并不打算采用任何新的编解码器,我们希望H.264下的CAE在2018年可以取得更多进展。对于UHD视频,我们看到HEVC仍是主要的编解码器选择,但是CAE也同样可以利用。

调查显示,对于AV1编解码器,大家表现出了浓厚的兴趣,对AV1的质量和编码时间的问题也十分关注。尽管苹果设备在2020年前都不会使用AV1硬件解码,但如果苹果能采纳AV1,最终能产生多大的影响仍有待观察。所以,至少在移动端,HEVC仍然是一个对电池更加友好的选择。


参考文献:

THE IMPACT OF APPLE’S HEVC ADOPTION: A SURVEY-BASED REPORT,produced by Unisphere Research and Streaming Media magazine, and sponsored by Harmonic.


友情链接