Alors que les employ\u00e9s du monde entier sortent de chez eux pour r\u00e9int\u00e9grer le bureau, le travail \u00ab\u00a0hybride\u00a0\u00bb devient rapidement le nouveau mode de fonctionnement. Pour profiter du travail hybride, et ainsi rester en contact et collaborer depuis n\u2019importe o\u00f9, il est n\u00e9cessaire de recourir aux toutes derni\u00e8res technologies de visioconf\u00e9rence. Avec la pand\u00e9mie, la communication vid\u00e9o est devenue essentielle et a explos\u00e9 dans les foyers et en utilisation mobile. Ces environnements ont la r\u00e9putation de laisser \u00e0 d\u00e9sirer au niveau de la qualit\u00e9 multim\u00e9dia, avec notamment une bande passante r\u00e9seau faible ou variable, une luminosit\u00e9 m\u00e9diocre, des cam\u00e9ras peu performantes et un bruit de fond trop pr\u00e9sent. Pour innover afin d\u2019am\u00e9liorer l\u2019exp\u00e9rience utilisateur, il est essentiel de mesurer cette perception. Cet article explique comment Cisco aborde cette probl\u00e9matique multidimensionnelle concernant la qualit\u00e9 vid\u00e9o.<\/p>\n
Pourquoi est-il si difficile de mesurer la qualit\u00e9 vid\u00e9o\u00a0? Cela s\u2019explique en partie du fait qu\u2019il est difficile de la d\u00e9finir. Nous savons reconna\u00eetre une qualit\u00e9 m\u00e9diocre, mais la vid\u00e9o peut s\u2019av\u00e9rer de mauvaise qualit\u00e9 pour diverses raisons\u00a0: vid\u00e9o floue, pixelis\u00e9e ou bruit, ou image fig\u00e9e, alt\u00e9r\u00e9e ou d\u00e9synchronis\u00e9e.<\/p>\n
Les syst\u00e8mes de visioconf\u00e9rence sont \u00e9galement hautement adaptatifs. Les r\u00e9seaux ne sont pas fiables, l\u2019utilisation des processeurs et le contenu vid\u00e9o changent. Pour y r\u00e9pondre, les applications telles que Webex s\u2019adaptent\u00a0: elles modifient la r\u00e9solution, ajustent la vitesse des images et collaborent avec les clients des utilisateurs finaux pour n\u00e9gocier des strat\u00e9gies r\u00e9seau optimales. De ce fait, l\u2019exp\u00e9rience d\u2019utilisation constitue une sorte de \u00ab\u00a0cible mouvante\u00a0\u00bb.<\/p>\n
Mesurer la qualit\u00e9 des composants vid\u00e9o individuels est un processus \u00e0 la fois descendant et ascendant. Descendant car nous souhaitons mesurer la totalit\u00e9 de ce que per\u00e7oivent les utilisateurs. Ascendant car nous souhaitons mesurer les performances et la contribution de chaque composant.<\/p>\n
Le comportement d\u2019un client en pr\u00e9sence de performances r\u00e9seau m\u00e9diocres constitue une part importante de l\u2019exp\u00e9rience utilisateur. Comme les flux vid\u00e9o contiennent des donn\u00e9es pr\u00e9dites par les images pr\u00e9c\u00e9dentes, la perte de donn\u00e9es entra\u00eene des erreurs de r\u00e9ception. Diff\u00e9rentes strat\u00e9gies peuvent \u00eatre adopt\u00e9es. Au niveau de la couche de donn\u00e9es, les erreurs peuvent \u00eatre minimis\u00e9es par la correction d\u2019erreurs sans voie de retour (Forward Error Correction) ou par la retransmission. Les flux vid\u00e9o peuvent \u00eatre red\u00e9marr\u00e9s avec une nouvelle image cl\u00e9. Toutes les erreurs restantes devront \u00eatre dissimul\u00e9es par un m\u00e9lange de masquage temporel ou spatial\u00a0: le masquage spatial emprunte des informations aux pixels environnants pour reconstruire les donn\u00e9es perdues\u00a0; le masquage temporel emprunte des donn\u00e9es aux images vid\u00e9o avoisinantes pour remplir les images perdues. Pour finir, la vitesse des donn\u00e9es peut \u00eatre r\u00e9duite par l\u2019utilisation de faibles d\u00e9bits binaires et de r\u00e9solutions vid\u00e9o inf\u00e9rieures. Chacune de ces techniques pr\u00e9sente des avantages et des inconv\u00e9nients.<\/p>\n
Si l\u2019on consid\u00e8re les m\u00e9triques, cette probl\u00e9matique est extr\u00eamement complexe. La vid\u00e9o re\u00e7ue n\u2019est pas la m\u00eame que celle qui a \u00e9t\u00e9 transmise. L\u2019ensemble de techniques d\u2019optimisation adopt\u00e9 par les diff\u00e9rents fournisseurs \u00e9tant diff\u00e9rent, la vid\u00e9o qu\u2019ils affichent sera \u00e9galement diff\u00e9rente. Par exemple, certains favorisent le mouvement plut\u00f4t que la nettet\u00e9 (ou le contraire), d\u2019autres augmentant la latence pour permettre la retransmission. Les fournisseurs ne divulguent pas leurs m\u00e9thodes d\u2019optimisation de la qualit\u00e9, car ces impl\u00e9mentations sont propri\u00e9taires et constituent un secret bien gard\u00e9. Mais que l\u2019optimisation se produise c\u00f4t\u00e9 exp\u00e9diteur, durant la transmission, ou c\u00f4t\u00e9 r\u00e9cepteur, la vid\u00e9o qui en r\u00e9sulte n\u2019est pas conforme \u00e0 sa source.<\/p>\n
M\u00eame si elle ne pr\u00e9sente aucune perte, elle a toutefois subi une adaptation client (suppression de bruit, super-r\u00e9solution, filtrage pr\u00e9 et post transmission) qui varie aussi selon les fournisseurs. Avec tous ces facteurs, il est extr\u00eamement difficile d\u2019\u00e9tablir des comparaisons.<\/p>\n
Comment, dans ce cas, mesurer la qualit\u00e9\u00a0? Pour y parvenir, nous devons comprendre la diff\u00e9rence entre les m\u00e9triques FR (avec r\u00e9f\u00e9rence) et les m\u00e9triques NR (sans r\u00e9f\u00e9rence).<\/p>\n
Une m\u00e9trique FR est obtenue par comparaison de la vid\u00e9o \u00e0 son original. Une correspondance pixel par pixel est requise\u00a0: m\u00eame r\u00e9solution, m\u00eame fr\u00e9quence d\u2019images, chaque image en entr\u00e9e correspond \u00e0 chaque image en sortie. Elle est particuli\u00e8rement utile lorsqu\u2019un processus unique risque d\u2019introduire une perte quelconque dans une entr\u00e9e bien d\u00e9finie et que l\u2019objectif est de minimiser cette perte.<\/p>\n
Il existe diverses m\u00e9triques FR, telles que PSNR, SSIM, MS-SSIM. Toutefois, la m\u00e9trique VMAF (Video Multimethod Assessment Fusion) est tr\u00e8s r\u00e9pandue et souvent consid\u00e9r\u00e9e comme le nec-plus-ultra des m\u00e9thodes. Cette m\u00e9thode de test FR a \u00e9t\u00e9 sp\u00e9cialement con\u00e7ue par Netflix afin de r\u00e9aliser des \u00e9valuations de perception de la qualit\u00e9 vid\u00e9o pour son service de streaming. L\u2019utilisation de VMAF (ou de toute autre m\u00e9trique FR) pour mesurer la qualit\u00e9 est tr\u00e8s complexe. Comme la vid\u00e9o re\u00e7ue et la vid\u00e9o source peuvent pr\u00e9senter de grandes diff\u00e9rences, il est n\u00e9cessaire de dimensionner, d\u00e9couper et synchroniser la sortie de fa\u00e7on \u00e0 la comparer pixel par pixel \u00e0 (une partie de) ce qui est transmis. Bien que cette approche ait \u00e9t\u00e9 tent\u00e9e pour comparer des fournisseurs, nous avons constat\u00e9 que les manipulations requises sont fortement sujettes aux erreurs. Par ailleurs, bien que la m\u00e9thode VMAF capture les diff\u00e9rences<\/em> de fa\u00e7on satisfaisante, elle ne saisit pas la qualit\u00e9 absolue. En visioconf\u00e9rence, il y tr\u00e8s peu de production de films vid\u00e9o. L\u2019exp\u00e9rience utilisateur est influenc\u00e9e par la qualit\u00e9 de la vid\u00e9o captur\u00e9e en soi, et pas simplement par les diff\u00e9rences entre la vid\u00e9o re\u00e7ue et celle qui est captur\u00e9e. Pour terminer, la m\u00e9trique VMAF est uniquement spatiale: elle ne capture pas les effets temporels, et la note obtenue est seulement une moyenne des notes attribu\u00e9es aux images. <\/p>\n Depuis quelques ann\u00e9es, de nombreuses recherches portent sur les m\u00e9triques de qualit\u00e9 vid\u00e9o NR (sans r\u00e9f\u00e9rence) qui visent \u00e0 mesurer le niveau de qualit\u00e9 absolu sans recourir \u00e0 une comparaison \u00e0 une r\u00e9f\u00e9rence. Une m\u00e9trique NR fiable et adapt\u00e9e serait la solution id\u00e9ale pour les applications de visioconf\u00e9rence, notamment en raison des adaptations et des pertes subies par les flux vid\u00e9o.<\/p>\n La m\u00e9thode de mesure de la qualit\u00e9 NR NIQE (Naturalness Image Quality Evaluator) est souvent utilis\u00e9e. NIQE applique un mod\u00e8le statistique \u00e0 une image pour \u00e9valuer la pr\u00e9cision de la repr\u00e9sentation d\u2019un corpus d\u2019images naturelles par ces statistiques. NIQE peut \u00e9valuer la qualit\u00e9 vid\u00e9o d\u2019utilisateurs finaux dans toutes les circonstances, quels que soient la qualit\u00e9 d\u2019image source et les pertes ou le traitement appliqu\u00e9 dans le pipeline vid\u00e9o.<\/p>\n Une m\u00e9trique NR comme NIQE permet d\u2019\u00e9valuer de fa\u00e7on ind\u00e9pendante \u00e0 la fois la vid\u00e9o source et la vid\u00e9o de destination. Les pertes de qualit\u00e9 sont ensuite captur\u00e9es dans la diff\u00e9rence entre les r\u00e9sultats, ce qui permet d\u2019\u00e9valuer des techniques d\u2019optimisation vid\u00e9o et de r\u00e9cup\u00e9ration des pertes. La vid\u00e9o captur\u00e9e pouvant \u00eatre de qualit\u00e9 m\u00e9diocre, elle peut m\u00eame \u00eatre am\u00e9lior\u00e9e par l\u2019optimisation vid\u00e9o.<\/p>\n Nous avons constat\u00e9 que la m\u00e9thode NIQE est assez fiable, mais qu\u2019elle ne propose pas encore certaines fonctionnalit\u00e9s importantes, notamment concernant la qualit\u00e9 temporelle.<\/p>\n Un des inconv\u00e9nients de NIQE est qu\u2019il est possible d\u2019obtenir un tr\u00e8s bon r\u00e9sultat NIQE lorsque la totalit\u00e9 du d\u00e9bit binaire est affect\u00e9e \u00e0 une image alors qu\u2019une autre n\u2019est pas transmise. Ce probl\u00e8me n\u2019est pas sp\u00e9cifique aux m\u00e9triques NR\u00a0: comme mentionn\u00e9 plus haut, la m\u00e9thode VMAF pr\u00e9sente le m\u00eame inconv\u00e9nient puisqu\u2019elle ne compare que les images effectivement re\u00e7ues \u00e0 celles qui leur correspondent.<\/p>\n Par cons\u00e9quent, la premi\u00e8re m\u00e9trique additionnelle que nous allons envisager est la m\u00e9trique DFM (Drop Frame Metric), qui calcule le nombre d\u2019images ignor\u00e9es dans une s\u00e9quence et l\u2019occurrence d\u2019images cl\u00e9s utilis\u00e9es pour la r\u00e9cup\u00e9ration en cas d\u2019erreur. Dans certains cas, l\u2019utilisation d\u2019images cl\u00e9s peut g\u00e9n\u00e9rer des faux positifs dans les r\u00e9sultats NIQE. Par cons\u00e9quent, cette mesure temporelle permet de faire la distinction entre des r\u00e9sultats corrects et tout faux positif.<\/p>\n Bien que la m\u00e9thode NIQE capture de nombreux aspects de la qualit\u00e9 d\u2019image, elle ne capture pas certains artefacts de compression. Nous devons \u00e9galement inclure une mesure de pixellisation et une mesure de flou. Les m\u00e9triques FR et NIQE peuvent toutes deux omettre d\u2019interpr\u00e9ter ces \u00e9l\u00e9ments, pourtant fr\u00e9quents dans le cas de vid\u00e9os encod\u00e9es.<\/p>\n L\u2019utilisation des m\u00e9triques FR est justifi\u00e9e, en particulier pour l\u2019\u00e9valuation des \u00e9l\u00e9ments de pipeline individuels. Mais les \u00e9quipes de Cisco estiment que les m\u00e9triques NR sont mieux adapt\u00e9es pour capturer l\u2019exp\u00e9rience utilisateur afin d\u2019\u00e9valuer avec pr\u00e9cision la qualit\u00e9 vid\u00e9o de bout en bout. La perception humaine est extraordinairement complexe, et il est difficile de concevoir des m\u00e9triques compl\u00e8tes. Toutefois, ensemble, les quatre m\u00e9triques suivantes capturent une grande partie de l\u2019exp\u00e9rience qualit\u00e9\u00a0:<\/p>\n Sans r\u00e9f\u00e9rence (NIQE) | DFM | Pixellisation | Flou<\/p>\n Ensemble, ces m\u00e9triques fournissent une mesure concise de la qualit\u00e9 subjective de la vid\u00e9o pour plusieurs dimensions diff\u00e9rentes.<\/p>\n Ces m\u00e9triques peuvent capturer \u00e0 la fois la perte de qualit\u00e9 de bout en bout et l\u2019impact de la qualit\u00e9 de la source. Les syst\u00e8mes de visioconf\u00e9rence doivent souvent accepter du contenu source de qualit\u00e9 m\u00e9diocre et recourir \u00e0 diverses m\u00e9thodes pour am\u00e9liorer ou conserver la qualit\u00e9 vid\u00e9o de bout en bout. Par cons\u00e9quent, les \u00e9valuations de qualit\u00e9 ne doivent pas reposer sur des m\u00e9thodologies de mesure de la qualit\u00e9 FR, mais prendre en compte ces facteurs pour envisager l\u2019exp\u00e9rience compl\u00e8te. C\u2019est pourquoi Cisco s\u2019attache \u00e0 utiliser des m\u00e9triques NR pour \u00e9valuer la qualit\u00e9 de bout en bout, car elles refl\u00e8tent l\u2019exp\u00e9rience de l\u2019utilisateur final avec une plus grande exactitude.<\/p>\n Les m\u00e9triques que nous avons pr\u00e9sent\u00e9es ne sont pas id\u00e9ales. Elles pr\u00e9sentent des limites, par exemple pour juger de la qualit\u00e9 des graphiques\u00a0\/ du contenu synth\u00e9tique, et nous d\u00e9veloppons notre approche en permanence. Bien que ce ne soit pas la voie de la facilit\u00e9, nous sommes convaincus que les m\u00e9triques NR constituent le meilleur cadre pour \u00e9valuer la qualit\u00e9 de l\u2019exp\u00e9rience vid\u00e9o.<\/p>\n Dans la derni\u00e8re version de l\u2019application Webex, des am\u00e9liorations importantes ont \u00e9t\u00e9 apport\u00e9es aux m\u00e9triques de qualit\u00e9 des contenus multim\u00e9dia. Ces am\u00e9liorations concernent la qualit\u00e9 vid\u00e9o et audio, la suppression du bruit de fond, l\u2019utilisation du processeur, ainsi que des innovations con\u00e7ues pour le monde du travail hybride.<\/p>\n Cette ann\u00e9e, nous avons constat\u00e9 une am\u00e9lioration significative de la qualit\u00e9 multim\u00e9dia des solutions de tous les fournisseurs, en r\u00e9ponse \u00e0 la pand\u00e9mie. Nos tests continuels montrent que la qualit\u00e9 vid\u00e9o dans l\u2019application Webex est \u00e9quivalente ou surpasse celle de tous les autres fournisseurs. Dans ce march\u00e9 qui reste incroyablement concurrentiel, une attention soutenue sur la qualit\u00e9 et les performances sont essentielles pour Cisco.<\/p>\n En savoir plus sur le travail hybride avec Webex Meetings<\/a><\/p><\/blockquote>\n Co-auteur Thomas Davies- Ing\u00e9nieur en chef<\/strong><\/p>\n Thomas Davies<\/a> est ing\u00e9nieur en chef du groupe Collaboration Technology Group (CTG) de Cisco. Thomas Davies a occup\u00e9 des fonctions dans le domaine des r\u00e9seaux par satellites, des communications RF et de la diffusion, mais a consacr\u00e9 une grande partie de ses vingt ann\u00e9es de carri\u00e8re au traitement vid\u00e9o et \u00e0 la compression vid\u00e9o (codecs). Travaillant pour Cisco depuis plus de 10\u00a0ans, il a contribu\u00e9 \u00e0 la cr\u00e9ation de la nouvelle g\u00e9n\u00e9ration d\u2019exp\u00e9riences de collaboration, a particip\u00e9 \u00e0 l\u2019\u00e9laboration de normes de compression vid\u00e9o telles que HEVC (H.265) et AV1, et a surtout jou\u00e9 un r\u00f4le essentiel dans la mise en \u0153uvre de ces normes dans des produits concrets, tels que Cisco Webex.<\/p>\n En savoir plus<\/strong><\/p>\n Comment toujours organiser parfaitement les visioconf\u00e9rences<\/a><\/p>\nNIQE \u2013 tests sans r\u00e9f\u00e9rence<\/h2>\n
Am\u00e9liorer la port\u00e9e de NIQE\u00a0: m\u00e9triques additionnelles<\/h2>\n
La pr\u00e9f\u00e9rence de Cisco pour les tests sans r\u00e9f\u00e9rence<\/h2>\n
Cisco porte une attention continue \u00e0 la qualit\u00e9 vid\u00e9o et \u00e0 la qualit\u00e9 dans son ensemble<\/h2>\n