企业视频质量概况

如今，全球员工逐渐走出家门并重返办公室办公，“混合”办公正迅速成为新的办公模式。在混合办公模式下，人们需要利用会议技术的最新创新成果，随时随地保持联系和协作。在疫情影响下，视频通信变得至关重要，家庭和移动设备的使用量大幅增加。众所周知，这些办公环境无法保证优质的通信媒介，例如网络带宽较低或变化不定、照明条件和摄像头质量不佳，以及存在背景噪音。通过创新改善用户体验的关键在于衡量视频质量体验。本文将深入探讨思科如何解决有关视频质量的这个多维度问题。

衡量视频质量是一项涉及多方面的复杂工作

为什么衡量视频质量很难？部分原因在于很难界定视频质量的定义。我们可以凭借视觉感官判断出视频质量不佳，但视频质量不佳有很多种表现，比如画质不佳、模糊或嘈杂；画面卡顿、丢帧或不同步。视频会议系统也具有极强的适应性。网络不稳定时，可以改变 CPU 使用率和视频内容。为了满足需求，Webex 等应用可以通过更改分辨率、调整帧速率以及与最终用户的客户端协调并调整最佳网络策略，来适应不同的网络环境。因此，视频质量体验会不断发生变化。衡量单个视频元素的质量是一个自上而下和自下而上的过程。自上而下是指我们想要衡量整体的用户体验。自下而上是指我们想要衡量每个元素的表现情况和具体作用。

质量和网络损失

用户体验的一个重要部分在于，当网络条件不佳时客户端的具体运作情况。由于视频流包含基于先前帧所预测的数据，因而数据丢失会导致接收器出现错误。因此，我们可以采用不同的策略。在数据层，可以通过前向纠错或重传的方式，将错误减到最小。通过一个新的关键帧，可以重新传送视频流。如果还有任何其他错误，则需要通过时域、空域结合的隐藏方法来进行错误隐藏：空域错误隐藏是指从周围像素借用信息来重建丢失的数据；时域错误隐藏是指从附近的视频帧借用数据来填充丢失的帧。最后，可以通过采用较低的比特率和较低的视频分辨率来降低数据速率。每种技术方法都有利有弊。从衡量指标的角度来看，操作过程非常困难。接收到的视频与传输的视频并不相同。不同供应商采用的优化技术方案各不相同，因此不同供应商提供的视频也存在差异。例如，视频清晰度可能较低也可能较高，或者可能会增加延迟以实现重传。供应商不会共享其质量优化的方法，因为这是他们的专利和“秘密武器”。无论是在发送方、传输期间还是接收方进行优化，生成的视频都会与源视频存在差异。即使没有质量损失，客户端也会进行自适应，比如降噪、超分辨率、前置和后置滤波等。对于不同供应商，这些情况也各不相同。所有这些因素结合在一起，导致同类比较变得非常困难。

全参考与无参考指标

那么，在这种情况下，究竟如何对视频质量进行衡量？为此，我们需要了解全参考 (FR) 指标和无参考 (NR) 指标之间的区别。FR 指标是一种需要将特定视频与原始视频进行比较的指标，两者之间需要进行逐个像素的对比，要求分辨率相同、帧率相同，每个输入帧与输出帧匹配。如果在某个过程中可能会给特定的输入视频引入一些质量损失，并且具体目标是将损失减到最小，那么全参考指标最为实用。

VMAF – 全参考评估

FR 指标有很多种，例如 PSNR、SSIM、MS-SSIM。视频质量多方法评估融合或 (VMAF) 是目前最受青睐和最先进的指标。这种 FR 评估方法由 Netflix 设计，用于对其视频流服务进行视频质量感知评估。使用 VMAF（或任何 FR 指标）来衡量质量是一件极具挑战性的事情。由于接收到的视频和源视频可能存在很大差异，因此必须对输出视频进行缩放、裁剪和同步，以便将其与（部分）传输视频进行逐个像素的比较。根据我们的经验，虽然在供应商比较中尝试使用了这种方法，但具体操作非常容易出错。此外，虽然 VMAF 很好地捕捉了视频质量的差异，但并不能捕捉绝对质量水平。在视频会议中，我们不需要提供如电影般高清的视频质量。用户体验受视觉捕捉的视频质量本身的影响，而不仅仅取决于接收到的视频与视觉捕捉的视频质量之间存在多大的差异。最后，VMAF 这一指标仅限于捕捉空间域特征，而无法捕捉时间域特征，并且最终得分为所有帧的分数平均值。

NIQE – 无参考评估

另一方面，近年来对无参考视频质量指标进行了大量研究，这些指标是在不与参考视频进行对比的情况下对绝对质量水平进行评估。如果可以找到合适可靠的 NR 指标，那么基于视频流体验的适应性和质量损失，这项指标将成为评估会议应用的理想选择。目前主流的 NR 质量指标为自然图像质量评估 (NIQE)。NIQE 将统计模型与图像进行拟合，以计算统计数据与自然图像的某一图库之间的差距。无论源图像质量如何，无论视频管道中的任何损失或处理情况如何，NIQE 均可对任何情况下的最终用户的视频质量进行评分。NIQE 等 NR 指标可用于单独评估源视频和目标视频，并通过分数差异捕捉质量损失，从而可以对损失恢复和视频优化技术进行评估。由于捕捉的视频质量可能很差，因此需要通过视频优化技术对质量进行改善。根据我们的经验来看，NIQE 是一项非常可靠的指标，但仍然缺失一些重要功能，尤其是仍然无法解决时间域的质量损失问题。

增强型 NIQE：附加指标

NIQE 存在一定的局限性，如果将所有比特数都分配给某一个帧，并且不再发送其他帧，则有可能获得很高的 NIQE 分数。这并非是 NR 指标所导致的问题：如前所述，使用 VMAF 也存在同样的问题，由于我们只能将实际接收到的帧与其对应的帧进行对比。因此，我们首要考虑的附加指标为丢帧指标 (DFM)。这项指标会计算视频序列中丢失的帧数以及用于错误恢复的关键帧出现的次数。在某些情况下，使用关键帧可能会导致 NIQE 分数出现错误结果。因此，通过这种时域评估方法，我们可以将准确结果和任何错误结果区分开来。虽然 NIQE 捕获了图像质量诸多方面的元素，但没有捕捉到一些压缩失真的情况。因此，我们还纳入了针对块效应和图像模糊的评估方法。FR 和 NIQE 这两种指标可能都无法解读在编码视频中十分常见的这些元素。

思科侧重于使用无参考评估

FR 指标具有十分重要的作用，尤其是在评估单个视频管道元素方面颇有成效。但思科认为，在准确评估端到端的视频质量方面，无参考指标最能捕捉用户体验。由于人类的感知系统非常复杂，因此很难设计一套全面的评估指标，但以下四种指标可以共同捕捉质量体验的重要部分：无参考 (NIQE) | DFM | 块效应 | 图像模糊。这些指标可以从几个不同维度简单衡量人们对视频质量的主观感受。这些指标可以捕捉端到端的质量损失，以及源视频质量本身的影响。会议系统经常需要接收低质量的源视频内容，并需要使用各种方法来改善或保持端到端的视频质量。因此，针对端到端的视频质量体验，质量评估不应依赖于 FR 质量评估方法，而应充分考虑上述这些因素。因此，思科侧重于使用无参考指标来衡量端到端的视频质量，因为这项指标可以更加准确地反映最终用户的体验。

思科长期专注于视频质量和总体质量

我们提到的这些指标并非十全十美，而是存在一些局限性，例如在判断图形/合成内容的质量方面存在局限性，因此我们还在不断改进评估方法。但是，尽管运用无参考指标的过程相对更加困难，但我们坚信这项指标是评估视频质量体验的最佳选择。在最新版本的 Webex 应用中，所有视频质量指标均得到显著改进，其中包括视频质量、音频质量、背景噪音抑制、CPU 利用率以及专为混合办公时代而设计的各项创新成果。为了应对疫情的影响，所有供应商解决方案的视频质量均得到显著提高。我们持续进行的评估结果表明，Webex 应用提供的视频质量达到或超过任何其他供应商的视频质量水平。这个市场的竞争一直非常激烈，而思科始终并长期专注于视频质量和性能表现。

了解关于使用 Webex Meetings 开展混合办公的更多信息

文章合著者：首席工程师 Thomas Davies Thomas Davies 是思科协作技术团队 (CTG) 的首席工程师，曾在卫星网络、射频通信和广播领域工作，但在其 20 多年的职业生涯中，他大部分的时间都致力于从事视频处理和视频压缩（编解码器）。他在思科工作了 10 多年，致力于打造下一代协作体验，并为 HEVC (H.265) 和 AV1 等视频压缩标准做出重要贡献，同时也在实际产品（例如 Cisco Webex）的标准实施方面发挥了重要作用。更多相关文章 如何确保每次视频会议的配置妥当 Webex 新动态：2021 年 9 月 在线上会议和活动期间利用分组讨论的最佳实践