El modo de trabajo \u201ch\u00edbrido\u201d se est\u00e1 convirtiendo r\u00e1pidamente en el nuevo modo de funcionamiento a medida que los empleados del mundo salen de sus hogares y regresan a la oficina. El trabajo h\u00edbrido requiere que las personas aprovechen las \u00faltimas innovaciones en tecnolog\u00edas de conferencias para permanecer conectadas y colaborar donde sea que est\u00e9n. La pandemia hizo que la comunicaci\u00f3n por v\u00eddeo fuera fundamental y aument\u00f3, en gran medida, el uso de dispositivos m\u00f3viles y en el hogar. Estos entornos son conocidos por presentar desaf\u00edos para la entrega de medios de alta calidad, como un ancho de banda de red bajo o variable, iluminaci\u00f3n y c\u00e1maras deficientes, y ruido de fondo. La medici\u00f3n de la experiencia del usuario es fundamental para innovar y mejorarla. En este art\u00edculo, se analiza c\u00f3mo Cisco aborda este problema multidimensional de la calidad de v\u00eddeo.<\/p>\n
\u00bfPor qu\u00e9 es dif\u00edcil medir la calidad del v\u00eddeo? En parte, porque definirla es dif\u00edcil. Reconocemos la mala calidad cuando la vemos, pero el v\u00eddeo puede ser malo de muchas maneras diferentes: d\u00e9bil, fragmentado o con ruido; con fotogramas congelados o corruptos, o fuera de sincronizaci\u00f3n.<\/p>\n
Los sistemas de videoconferencia tambi\u00e9n son muy adaptables. Las redes son poco confiables, el uso de la CPU y el contenido de los v\u00eddeos cambian. En respuesta, las aplicaciones como Webex se adaptar\u00e1n cambiando la resoluci\u00f3n, ajustando la tasa de fotogramas y colaborando con los clientes finales para negociar estrategias de red \u00f3ptimas. Esto hace que lo que se experimenta sea un objetivo m\u00f3vil.<\/p>\n
Medir la calidad individual de los componentes de v\u00eddeo es un proceso de lo general a lo particular y de lo particular a lo general. De lo general a lo particular porque queremos medir la experiencia de los usuarios en forma total. De lo particular a lo general porque queremos medir c\u00f3mo funciona cada componente y cu\u00e1l es su contribuci\u00f3n.<\/p>\n
Una parte importante de la experiencia del usuario es c\u00f3mo se comporta un cliente cuando hay malas condiciones de red. Debido a que las transmisiones de v\u00eddeo contienen datos que se predicen a partir de fotogramas anteriores, la p\u00e9rdida de datos provoca errores en el receptor. Se pueden adoptar diferentes estrategias. En el nivel de datos, los errores pueden minimizarse utilizando la correcci\u00f3n de errores hacia adelante o la retransmisi\u00f3n. Las transmisiones de v\u00eddeo pueden reiniciarse con un nuevo fotograma clave. Los errores que queden tendr\u00e1n que ocultarse mediante alguna mezcla de ocultaci\u00f3n temporal o espacial: la ocultaci\u00f3n espacial toma prestada la informaci\u00f3n de los p\u00edxeles circundantes para reconstruir los datos perdidos; la ocultaci\u00f3n temporal toma prestados los datos de los fotogramas de v\u00eddeo cercanos para rellenar los fotogramas perdidos. Por \u00faltimo, la tasa de datos puede reducirse utilizando tasas de bits m\u00e1s bajas y resoluciones de v\u00eddeo menores. Cada una de estas t\u00e9cnicas tiene costos y beneficios.<\/p>\n
Desde el punto de vista de las m\u00e9tricas, esto es un gran desaf\u00edo. El v\u00eddeo que se recibe no es el mismo que el que se transmite. El conjunto de t\u00e9cnicas de optimizaci\u00f3n adoptado por los distintos proveedores es diferente, por lo que el v\u00eddeo que muestren los distintos proveedores ser\u00e1 diferente, por ejemplo, favoreciendo el movimiento sobre la nitidez o viceversa o aumentando la latencia para permitir la retransmisi\u00f3n. Los proveedores no comparten sus m\u00e9todos de optimizaci\u00f3n de la calidad porque son implementaciones propias y constituyen su \u201cf\u00f3rmula secreta\u201d. Independientemente de si la optimizaci\u00f3n se produce en el lado del emisor, durante la transmisi\u00f3n, o en el lado del receptor, el v\u00eddeo resultante se ha desviado de su origen.<\/p>\n
Incluso cuando no hay p\u00e9rdidas, sigue habiendo adaptaci\u00f3n del cliente: eliminaci\u00f3n de ruido, superresoluci\u00f3n, prefiltrado y posfiltrado, que tambi\u00e9n es diferente entre los proveedores. Todos estos factores dificultan enormemente las comparaciones.<\/p>\n
Entonces, \u00bfc\u00f3mo se puede medir la calidad en tales circunstancias? Para entenderlo, debemos comprender la diferencia entre las m\u00e9tricas de referencia completa y sin referencia.<\/p>\n
Una m\u00e9trica de referencia completa es aquella en la que es necesario comparar el v\u00eddeo con un original. Requiere una correspondencia p\u00edxel a p\u00edxel: la misma resoluci\u00f3n, la misma tasa de fotogramas, cada fotograma de entrada emparejado con un fotograma de salida. Es muy \u00fatil cuando un solo proceso puede introducir alguna p\u00e9rdida en una entrada bien definida, cuando el objetivo es minimizar esa p\u00e9rdida.<\/p>\n
Existen varias m\u00e9tricas de referencia completa como PSNR, SSIM, MS-SSIM, pero una m\u00e9trica muy popular, a menudo, considerada de vanguardia, es la fusi\u00f3n de evaluaci\u00f3n de m\u00faltiples m\u00e9todos de v\u00eddeo o VMAF. Este m\u00e9todo de prueba de referencia completa fue dise\u00f1ado espec\u00edficamente por Netflix para llevar a cabo evaluaciones de la calidad perceptiva del v\u00eddeo para su servicio de transmisi\u00f3n de v\u00eddeo.<\/p>\n
Utilizar la fusi\u00f3n de evaluaci\u00f3n de m\u00faltiples m\u00e9todos de v\u00eddeo \u2014o cualquier m\u00e9trica de referencia completa\u2014 para medir la calidad es muy dif\u00edcil. Dado que el v\u00eddeo recibido y el de origen pueden ser muy diferentes, es necesario escalar, recortar y sincronizar la salida para poder compararla p\u00edxel a p\u00edxel con lo transmitido (o parte de ello).<\/p>\n
Seg\u00fan nuestra experiencia, aunque este enfoque se ha intentado en las comparaciones de proveedores, las manipulaciones necesarias son muy propensas a errores.<\/p>\n
Adem\u00e1s, aunque la fusi\u00f3n de evaluaci\u00f3n de m\u00faltiples m\u00e9todos de v\u00eddeo capta bien las diferencias<\/em>, no capta la calidad absoluta. En conferencias, no tenemos v\u00eddeos de pel\u00edculas de producci\u00f3n costosa. La experiencia del usuario se ve influida por la calidad del propio v\u00eddeo capturado, no solo por la diferencia entre el v\u00eddeo recibido y el capturado.<\/p>\n Por \u00faltimo, la fusi\u00f3n de evaluaci\u00f3n de m\u00faltiples m\u00e9todos de v\u00eddeo es una m\u00e9trica solo espacial: no captura los efectos temporales, y la puntuaci\u00f3n es solo un promedio de las puntuaciones de los fotogramas.<\/p>\n Asimismo, en los \u00faltimos a\u00f1os, se ha investigado mucho sobre las m\u00e9tricas de calidad de v\u00eddeo sin referencia que intentan medir el nivel de calidad absoluto sin comparaci\u00f3n con una referencia. Si se puede encontrar una m\u00e9trica sin referencia adecuada y confiable, ser\u00eda ideal para aplicaciones de conferencias debido a las adaptaciones y p\u00e9rdidas que experimentan las transmisiones de v\u00eddeo.<\/p>\n Una m\u00e9trica de calidad sin referencia muy popular es el evaluador de calidad de imagen natural o NIQE. El evaluador de calidad de imagen natural ajusta un modelo estad\u00edstico a una imagen para ver hasta qu\u00e9 punto las estad\u00edsticas son representativas de un corpus de im\u00e1genes naturales. El evaluador de calidad de imagen natural puede puntuar la calidad de v\u00eddeo de los usuarios finales en cualquier situaci\u00f3n, independientemente de la calidad de la imagen de origen y de cualquier p\u00e9rdida o procesamiento a lo largo de la cadena de v\u00eddeo.<\/p>\n Una m\u00e9trica sin referencia como el evaluador de calidad de imagen natural puede utilizarse para evaluar tanto el v\u00eddeo de origen como el de destino de forma independiente. Las p\u00e9rdidas de calidad se recogen en la diferencia de puntuaciones, lo que permite evaluar las t\u00e9cnicas de recuperaci\u00f3n de p\u00e9rdidas y optimizaci\u00f3n de v\u00eddeo. Dado que el v\u00eddeo capturado puede ser de mala calidad, la optimizaci\u00f3n del v\u00eddeo incluso puede mejorarlo.<\/p>\n Seg\u00fan nuestra experiencia, el evaluador de calidad de imagen natural es bastante confiable, pero a\u00fan le faltan algunas caracter\u00edsticas importantes. En particular, todav\u00eda no aborda la calidad temporal.<\/p>\n Una de las limitaciones del evaluador de calidad de imagen natural es que potencialmente se podr\u00eda obtener una muy buena puntuaci\u00f3n asignando toda la tasa de bits a un fotograma y no enviando nunca otro. Este no es un problema espec\u00edfico de las m\u00e9tricas sin referencia: como se mencion\u00f3, el uso de la fusi\u00f3n de evaluaci\u00f3n de m\u00faltiples m\u00e9todos de v\u00eddeo tiene el mismo problema ya que solo se pueden comparar los fotogramas que realmente se reciben con aquellos a los que corresponden.<\/p>\n La primera m\u00e9trica adicional que consideramos, por lo tanto, es la m\u00e9trica de p\u00e9rdida de fotogramas o DFM. Esta m\u00e9trica calcula la cantidad de fotogramas perdidos en una secuencia y la aparici\u00f3n de fotogramas clave que se utilizan como m\u00e9todo de recuperaci\u00f3n de errores. En algunos casos, el uso de fotogramas clave puede dar resultados falsos positivos en la puntuaci\u00f3n del evaluador de calidad de imagen natural. Por lo tanto, esta medici\u00f3n temporal permite distinguir entre los resultados precisos y los falsos positivos.<\/p>\n Aunque el evaluador de calidad de imagen natural capta muchos aspectos de la calidad de la imagen, no capta algunos artefactos de compresi\u00f3n. En consecuencia, tambi\u00e9n incluimos una medida de bloqueo y una medida de desenfoque. Tanto la m\u00e9trica de referencia completa como la del evaluador de calidad de imagen natural pueden fallar en la interpretaci\u00f3n de estos elementos, que son comunes al v\u00eddeo codificado.<\/p>\n Las m\u00e9tricas de referencia completa tienen su lugar, sobre todo para evaluar los elementos individuales del proceso. No obstante, Cisco cree que para evaluar con precisi\u00f3n la calidad del v\u00eddeo de extremo a extremo, las m\u00e9tricas sin referencia son las que mejor capturan la experiencia del usuario. La percepci\u00f3n humana es muy compleja, y dise\u00f1ar m\u00e9tricas exhaustivas es dif\u00edcil, pero las siguientes cuatro m\u00e9tricas juntas capturan una parte importante de la experiencia de calidad:<\/p>\n Si referencia (NIQE) | DFM | Bloqueo | Desenfoque<\/p>\n En conjunto, proporcionan una medida concisa de la calidad subjetiva del v\u00eddeo en varias dimensiones diferentes.<\/p>\n Estas m\u00e9tricas pueden capturar tanto la calidad perdida de extremo a extremo como el impacto de la propia calidad de la fuente. Los sistemas de conferencia, a menudo, deben aceptar contenidos de origen de baja calidad y utilizar diversos m\u00e9todos para mejorar o mantener la calidad del v\u00eddeo de extremo a extremo. Por eso, las evaluaciones de calidad no deben basarse en las metodolog\u00edas de medici\u00f3n de la calidad de referencia completa, sino que deben tener en cuenta estos factores al considerar la experiencia de extremo a extremo. Por lo tanto, Cisco se centra en el uso de m\u00e9tricas sin referencia para la calidad de extremo a extremo, ya que refleja con mayor precisi\u00f3n la experiencia del usuario final.<\/p>\n Las m\u00e9tricas de las que hablamos no son perfectas. Hay algunas limitaciones, por ejemplo, a la hora de evaluar la calidad de los contenidos gr\u00e1ficos\/sint\u00e9ticos, y estamos desarrollando continuamente nuestro enfoque. Pero aunque es el camino m\u00e1s dif\u00edcil, estamos convencidos de que las m\u00e9tricas sin referencia son el mejor marco para evaluar la calidad del v\u00eddeo.<\/p>\n En la \u00faltima versi\u00f3n de la aplicaci\u00f3n Webex, se consiguieron mejoras significativas en todas las m\u00e9tricas de calidad de los medios. Estas mejoras incluyen la calidad de v\u00eddeo, la calidad de audio, la eliminaci\u00f3n del ruido de fondo, la utilizaci\u00f3n de la CPU, as\u00ed como innovaciones dise\u00f1adas para el mundo del trabajo h\u00edbrido.<\/p>\n En respuesta a la pandemia, hemos visto que la calidad de los medios de todas las soluciones de los proveedores mejor\u00f3 significativamente este a\u00f1o. Nuestras pruebas constantes demuestran que la aplicaci\u00f3n Webex proporciona una calidad de v\u00eddeo que iguala o supera la de cualquier otro proveedor. Sigue siendo un mercado muy competitivo, y el enfoque en la calidad y el rendimiento est\u00e1 en primer lugar y sigue siendo un objetivo para Cisco.<\/p>\n Obtenga m\u00e1s informaci\u00f3n sobre el trabajo h\u00edbrido con Webex Meetings<\/a><\/p><\/blockquote>\n Coautor Thomas Davies, ingeniero principal<\/strong><\/p>\n Thomas Davies<\/a> es ingeniero principal de Collaboration Technology Group (CTG) de Cisco. Thomas ha trabajado en redes de sat\u00e9lite, comunicaciones por radiofrecuencia y radiodifusi\u00f3n, pero ha dedicado la mayor parte de sus m\u00e1s de veinte a\u00f1os de carrera al procesamiento y la compresi\u00f3n de v\u00eddeo (c\u00f3decs). Lleva m\u00e1s de diez a\u00f1os trabajando para Cisco en la creaci\u00f3n de la pr\u00f3xima generaci\u00f3n de experiencias de colaboraci\u00f3n, y ha contribuido a los est\u00e1ndares de compresi\u00f3n de v\u00eddeo como HEVC (H.265) y AV1, pero tambi\u00e9n ha sido fundamental en las implementaciones de esos est\u00e1ndares en productos reales, como Cisco Webex.<\/p>\n M\u00e1s informaci\u00f3n<\/strong><\/p>\n C\u00f3mo lograr la configuraci\u00f3n adecuada de las reuniones de v\u00eddeo en todo momento<\/a><\/p>\nNIQE: pruebas sin referencia<\/h2>\n
Aumento del evaluador de calidad de imagen natural: m\u00e9tricas adicionales<\/h2>\n
La preferencia de Cisco por las pruebas sin referencia<\/h2>\n
El enfoque continuo de Cisco en la calidad del v\u00eddeo y la calidad en general<\/h2>\n