Nun, da die Mitarbeiter weltweit aus ihren Homeoffices ins B\u00fcro zur\u00fcckkehren, wird die \u201ehybride\u201c Arbeitsweise schnell zum neuen Modus des Arbeitens. Das hybride Arbeiten erfordert es, dass Mitarbeiter die neuesten Innovationen der Konferenztechnologien nutzen, um \u00fcberall in Verbindung zu bleiben und zusammenzuarbeiten. Mit der Pandemie wurde die Videokommunikation unentbehrlich, und deren Nutzung hat im Homeoffice und auf Mobilger\u00e4ten einen enormen Zuwachs erfahren. Diese Umgebungen sind jedoch ber\u00fcchtigt f\u00fcr die Herausforderungen, die sich hinsichtlich der Bereitstellung hochwertiger Medien stellen, z.\u00a0B. bei geringer oder schwankender Netzwerkbandbreite, unzureichender Ausleuchtung und schlechten Kameras sowie Hintergrundger\u00e4uschen. Von zentraler Bedeutung f\u00fcr Innovationen zur Verbesserung der Benutzererfahrung ist es daher, dass diese Erfahrung gemessen wird. In diesem Artikel wird untersucht, wie Cisco das mehrdimensionale Problem der Videoqualit\u00e4t angeht.<\/p>\n
Warum ist es schwierig, die Videoqualit\u00e4t zu messen? Teilweise, weil es schwer ist, sie zu definieren. Wir erkennen schlechte Qualit\u00e4t, wenn wir sie sehen, aber Videos k\u00f6nnen in vielerlei Hinsicht schlecht sein: Sie sind unscharf, zeigen Blockartefakte oder Rauschen, Frames frieren ein, sind fehlerhaft oder nicht synchron.<\/p>\n
Videokonferenzsysteme sind au\u00dferdem hochgradig adaptiv. Netzwerke sind unzuverl\u00e4ssig, die CPU-Auslastung schwankt, Videoinhalte \u00e4ndern sich. Anwendungen wie Webex reagieren darauf durch Ver\u00e4nderung der Aufl\u00f6sung, Anpassung der Bildraten und die Zusammenarbeit mit Endbenutzer-Clients, um optimale Netzwerkstrategien auszuhandeln. Aus all diesen Gr\u00fcnden haben wir es auf der Empf\u00e4ngerseite mit einem schwer bestimmbaren \u201eMoving Target\u201c, einem beweglichen Ziel, zu tun.<\/p>\n
Die Messung der Qualit\u00e4t einzelner Videokomponenten ist ein Top-Down- und ein Bottom-Up-Prozess. Top-Down, weil wir die Gesamtheit dessen messen m\u00f6chten, was Benutzer erleben. Bottom-Up, weil wir messen m\u00f6chten, wie jede einzelne Komponente arbeitet und welchen Beitrag sie leistet.<\/p>\n
Die Benutzererfahrung wird wesentlich davon beeinflusst, wie sich ein Client bei schlechten Netzwerkbedingungen verh\u00e4lt. Da Videostreams Daten enthalten, die aus vorangehenden Frames prognostiziert werden, f\u00fchrt Datenverlust zu Fehlern beim Empf\u00e4nger. Hierf\u00fcr k\u00f6nnen unterschiedliche Strategien verfolgt werden. Auf der Datenebene k\u00f6nnen Fehler durch den Einsatz von Fehlerkorrektur bei der Weiterleitung oder erneute \u00dcbertragung minimiert werden. Videostreams k\u00f6nnen mit einem neuen Keyframe neu gestartet werden. Alle verbleibenden Fehler m\u00fcssen durch eine Mischung aus zeitlicher oder r\u00e4umlicher Verdeckung verborgen werden: Die r\u00e4umliche Fehlerverdeckung \u00fcbernimmt Informationen umgebender Pixel, um verlorene Daten wiederherzustellen. Die zeitliche Fehlerverdeckung \u00fcbernimmt Daten aus nahe gelegenen Videoframes, um verlustbehaftete Frames aufzuf\u00fcllen. Und schlie\u00dflich kann die Datenrate reduziert werden, indem niedrigere Bitraten und geringere Videoaufl\u00f6sungen verwendet werden. Jede dieser Techniken steht sowohl f\u00fcr Kosten als auch f\u00fcr Vorteile.<\/p>\n
Aus messtechnischer Perspektive ist dies extrem anspruchsvoll. Das empfangene Video stimmt nicht mit dem \u00fcbertragenen Video \u00fcberein. Von den verschiedenen Anbietern werden unterschiedliche Optimierungstechniken verwendet. Daher wird auch ein Video von verschiedenen Anbietern unterschiedlich angezeigt, weil beispielsweise bei einem die Bewegung gegen\u00fcber der Sch\u00e4rfe beg\u00fcnstigt wird und beim n\u00e4chsten umgekehrt und beim dritten die Latenz erh\u00f6ht wird, um eine erneute \u00dcbertragung zu erm\u00f6glichen. Anbieter ver\u00f6ffentlichen ihre Methoden der Qualit\u00e4tsoptimierung nicht, da es sich um propriet\u00e4re Implementierungen handelt, die als Gesch\u00e4ftsgeheimnis behandelt werden. Unabh\u00e4ngig davon, ob die Optimierung auf der Senderseite, w\u00e4hrend der \u00dcbertragung oder auf der Empf\u00e4ngerseite erfolgt \u2013 das resultierende Video weicht von seiner Quelle ab.<\/p>\n
Auch wenn kein Verlust auftritt, gibt es immer noch Client-Anpassung: Rauschunterdr\u00fcckung, Superaufl\u00f6sung, Vor- und Nachfilterung, die sich ebenfalls von Anbieter zu Anbieter unterscheiden. All diese Faktoren machen einen echten Vergleich extrem schwierig.<\/p>\n
Wie l\u00e4sst sich Qualit\u00e4t unter solchen Umst\u00e4nden \u00fcberhaupt messen? Um dies zu verstehen, m\u00fcssen wir den Unterschied zwischen Metriken mit vollst\u00e4ndiger Referenz versus Metriken ohne Referenz kennen.<\/p>\n
Bei einer vollst\u00e4ndig referenzierten Metrik muss das Video mit dem Original verglichen werden. Sie erfordert eine pixelgenaue Entsprechung: dieselbe Aufl\u00f6sung, dieselbe Bildrate, jeder Frame muss mit einem Ausgabeframe abgeglichen werden. Dieses Verfahren ist dann am n\u00fctzlichsten, wenn ein einzelner Prozess bei einer klar definierten Eingabe einen gewissen Verlust verursachen kann. Das Ziel besteht dabei darin, diesen Verlust zu minimieren.<\/p>\n
Es gibt verschiedene Metriken mit vollst\u00e4ndiger Referenz, wie PSNR, SSIM, MS-SSIM. Eine sehr beliebte Metrik, die vielfach als Stand der Technik angesehen wird, ist VMAF (Video Multimethod Assessment Fusion). Diese Testmethode wurde von Netflix speziell entwickelt, um f\u00fcr den eigenen Video-Streaming-Dienst eine wahrnehmungsbasierte Bewertung der Videoqualit\u00e4t durchzuf\u00fchren.<\/p>\n
Die Verwendung von VMAF \u2013 oder einer beliebigen vollst\u00e4ndig referenzierten Metrik \u2013 zur Messung der Qualit\u00e4t stellt eine gro\u00dfe Herausforderung dar. Da das empfangene Video stark vom Quellvideo abweichen kann, muss die Ausgabe skaliert, zugeschnitten und synchronisiert werden, damit man es Pixel f\u00fcr Pixel (teilweise) mit dem \u00fcbertragenen Bild vergleichen kann.<\/p>\n
Es wurde zwar versucht, diesen Ansatz f\u00fcr den Vergleich von Anbietern zu nutzen, die erforderlichen Manipulationen bedingen unserer Erfahrung nach jedoch eine hohe Fehleranf\u00e4lligkeit.<\/p>\n
Dar\u00fcber hinaus erfasst VMAF zwar sehr gut die Unterschiede<\/em>, es erfasst jedoch nicht die absolute Qualit\u00e4t. Bei Videokonferenzen liegen keine teuer produzierten Filmvideos vor. Die Benutzererfahrung h\u00e4ngt auch von der Qualit\u00e4t des aufgenommenen Videos als solchem ab, nicht nur davon, wie sehr sich das empfangene Video von dem aufgenommenen unterscheidet.<\/p>\n Und schlie\u00dflich ist VMAF eine rein r\u00e4umliche Metrik: VMAF erfasst keine zeitbezogenen Effekte, und das Ergebnis bildet nur den Durchschnitt der Frame-Ergebnisse ab.<\/p>\n In den letzten Jahren wurde andererseits viel zu referenzfreien Videoqualit\u00e4tsmetriken geforscht, mit denen versucht wird, ohne Vergleich mit einer Referenz das absolute Qualit\u00e4tsniveau zu messen. Falls sich eine ad\u00e4quate, zuverl\u00e4ssige referenzfreie Metrik finden lie\u00dfe, w\u00e4re sie wegen der Anpassungen und Verluste, die bei Videostreams auftreten, ideal f\u00fcr Konferenzanwendungen geeignet.<\/p>\n Eine beliebte referenzfreie Qualit\u00e4tsmetrik ist NIQE (Naturalness Image Quality Evaluator). NIQE passt ein statistisches Modell an ein Bild an, um zu ermitteln, wie genau die Statistik einem Korpus nat\u00fcrlicher Bilder entspricht. Mit NIQE l\u00e4sst sich die Videoqualit\u00e4t beim Endbenutzer in jeder Situation bewerten, unabh\u00e4ngig von der Bildqualit\u00e4t der Quelle oder den Verlusten oder Bearbeitungen innerhalb der Videopipeline.<\/p>\n Eine referenzfreie Metrik wie NIQE kann genutzt werden, um sowohl das Quell- als auch das Zielvideo unabh\u00e4ngig voneinander zu bewerten. Qualit\u00e4tsverluste werden dann als Differenz der Ergebnisse erfasst, was die Bewertung von Techniken zur Verlustkorrektur und Videooptimierung erm\u00f6glicht. Da ein aufgenommenes Video von schlechter Qualit\u00e4t sein kann, kann die Ausgangsqualit\u00e4t durch Videooptimierung sogar noch verbessert werden.<\/p>\n Nach unserer Erfahrung ist NIQE recht zuverl\u00e4ssig, es fehlen aber noch einige wichtige Funktionen. Insbesondere wird die zeitbezogene Qualit\u00e4t noch nicht ber\u00fccksichtigt.<\/p>\n Eine Einschr\u00e4nkung von NIQE besteht darin, dass man potenziell einen sehr guten NIQE-Wert erzielen kann, indem man die gesamte Bitrate einem Frame zuweist, ohne jemals einen weiteren zu senden. Dies ist kein spezifisches Problem referenzfreier Metriken: Wie bereits erw\u00e4hnt, tritt bei der Verwendung von VMAF dasselbe Problem auf, da nur die tats\u00e4chlich empfangenen Frames mit den entsprechenden Quellframes verglichen werden k\u00f6nnen.<\/p>\n Daher sehen wir uns als erste zus\u00e4tzliche Metrik DFM (Drop Frame Metric) an. Diese Metrik berechnet die Anzahl der ausgelassenen Frames in einer Sequenz und das Vorhandensein von Keyframes, die als Methode der Fehlerbehebung genutzt werden. Die Verwendung von Keyframes kann bei NIQE in einigen F\u00e4llen zu falsch-positiven Ergebnissen f\u00fchren. Daher erm\u00f6glicht diese zeitbezogene Messung eine Unterscheidung zwischen exakten und falsch-positiven Ergebnissen.<\/p>\n Auch wenn NIQE viele Aspekte der Bildqualit\u00e4t erfasst, werden einige Kompressionsartefakte nicht erfasst. Aus diesem Grund beziehen wir auch eine Messung der Blockbildung und der Unsch\u00e4rfe mit ein. Sowohl referenzielle Metriken als auch die NIQE-Metriken interpretieren diese Elemente, die bei codiertem Video \u00fcblich sind, m\u00f6glicherweise nicht.<\/p>\n Referenzielle Metriken haben ihre Vorteile, insbesondere wenn es um die Bewertung einzelner Pipelineelemente geht. Cisco vertritt jedoch die Ansicht, dass f\u00fcr eine exakte Bewertung der durchg\u00e4ngigen Videoqualit\u00e4t referenzfreie Metriken die Benutzererfahrung am besten erfassen. Die menschliche Wahrnehmung ist au\u00dferordentlich komplex. Es ist daher schwierig, umfassende Metriken zu entwickeln. Die folgenden vier Metriken erfassen gemeinsam aber einen wesentlichen Teil der Qualit\u00e4tserfahrung:<\/p>\n Referenzfrei (NIQE) | DFM | Blockbildung | Unsch\u00e4rfe<\/p>\n Zusammen bieten sie eine pr\u00e4zise Messung der subjektiven Videoqualit\u00e4t \u00fcber mehrere verschiedene Dimensionen hinweg.<\/p>\n Diese Metriken k\u00f6nnen sowohl den Qualit\u00e4tsverlust zwischen den Endpunkten als auch die Auswirkungen der eigentlichen Quellqualit\u00e4t erfassen. Konferenzsysteme m\u00fcssen h\u00e4ufig Quellinhalte von geringer Qualit\u00e4t annehmen und verschiedene Methoden anwenden, um die Videoqualit\u00e4t zwischen den Endpunkten zu verbessern oder aufrechtzuerhalten. Daher sollten Qualit\u00e4tsbewertungen nicht auf referenziellen Methoden der Qualit\u00e4tsmessung basieren, sondern diese Faktoren bei der Bewertung der End-to-End-Erfahrung ber\u00fccksichtigen. Cisco konzentriert sich deshalb auf die Verwendung referenzfreier Metriken f\u00fcr die End-to-End-Qualit\u00e4t, da sie die Benutzererfahrung genauer abbilden.<\/p>\n Die angesprochenen Metriken sind nicht perfekt. Sie haben einige Einschr\u00e4nkungen, beispielsweise bei der Beurteilung der Qualit\u00e4t von Grafiken\/k\u00fcnstlicher Inhalte, und wir entwickeln unseren Ansatz kontinuierlich weiter. Aber auch wenn dies der schwierigere Weg ist, sind wir \u00fcberzeugt, dass referenzfreie Metriken das beste Framework f\u00fcr die Bewertung der erlebten Videoqualit\u00e4t bieten.<\/p>\n In der neuesten Version der Webex App wurden erhebliche Verbesserungen s\u00e4mtlicher Kennzahlen f\u00fcr die Medienqualit\u00e4t erzielt. Diese Verbesserungen betreffen die Videoqualit\u00e4t, die Audioqualit\u00e4t, die Unterdr\u00fcckung von Hintergrundger\u00e4uschen, die CPU-Auslastung sowie Innovationen f\u00fcr die hybride Arbeitswelt.<\/p>\n In Reaktion auf die Pandemie hat sich in diesem Jahr die Medienqualit\u00e4t der L\u00f6sungen aller Anbieter deutlich verbessert. Unsere kontinuierlichen Tests ergeben, dass die Webex App eine Videoqualit\u00e4t bietet, die die jedes anderen Anbieters erreicht oder \u00fcbertrifft. Der Markt ist nach wie vor unglaublich umk\u00e4mpft, und der Fokus auf Qualit\u00e4t und Leistung bildet f\u00fcr Cisco weiterhin einen Schwerpunkt.<\/p>\n Weitere Informationen zur hybriden Arbeit mit Webex Meetings<\/a><\/p><\/blockquote>\n Mitautor Thomas Davies \u2013 Principal Engineer<\/strong><\/p>\n Thomas Davies<\/a> ist Principal Engineer bei der Cisco Collaboration Technology Group (CTG). Thomas Davies hat in den Bereichen Satellitennetzwerke, HF-Kommunikation und Rundfunk gearbeitet, hat jedoch den gr\u00f6\u00dften Teil seiner \u00fcber 20-j\u00e4hrigen Karriere der Videoverarbeitung und Videokomprimierung (Codecs) gewidmet. Er arbeitet seit \u00fcber 10\u00a0Jahren bei Cisco an der Entwicklung der n\u00e4chsten Generation der Collaboration-Erfahrungen. Er hat an der Entwicklung von Videokomprimierungsstandards wie HEVC (H.265) und AV1 mitgewirkt und war auch ma\u00dfgeblich an der Implementierung dieser Standards in reale Produkte beteiligt, z.\u00a0B. in Cisco Webex.<\/p>\n Weitere Informationen<\/strong><\/p>\n So richten Sie Videokonferenzen immer perfekt ein<\/a><\/p>\nNIQE \u2013 Testen ohne Referenz<\/h2>\n
Verbesserung von NIQE: Zus\u00e4tzliche Metriken<\/h2>\n
Cisco bevorzugt referenzfreie Tests<\/h2>\n
Kontinuierlicher Fokus von Cisco auf Video- und Gesamtqualit\u00e4t<\/h2>\n