La modalit\u00e0 di lavoro “ibrida” sta diventando rapidamente la nuova modalit\u00e0 operativa man mano che i dipendenti di tutto il mondo escono da casa e tornano in ufficio. Il lavoro ibrido richiede alle persone di utilizzare le ultimissime innovazioni nel campo delle tecnologie di conferenza per rimanere connessi e collaborare ovunque si trovano. La pandemia ha reso la comunicazione video essenziale, con un enorme aumento dell’uso di dispositivi in-home e mobili. \u00c8 noto che per trasmettere contenuti multimediali di alta qualit\u00e0 in questi ambienti occorre affrontare diversi problemi, come larghezza di banda di rete scarsa o variabile, illuminazione e videocamere scadenti e rumori di fondo. \u00c8 quindi fondamentale per l’innovazione che mira a migliorare l’esperienza utenti, misurare tale esperienza. Nel presente articolo viene spiegato l’approccio di Cisco a questo problema multi-dimensionale di qualit\u00e0 video.<\/p>\n
Perch\u00e9 misurare la qualit\u00e0 video \u00e8 difficile? In parte perch\u00e9 definirla \u00e8 difficile. Sappiamo che la qualit\u00e0 \u00e8 scadente quando la vediamo, ma la qualit\u00e0 video pu\u00f2 essere scadente in molti diversi modi: debole, a intermittenze o rumorosa, frame bloccati o danneggiati oppure mancanza di sincronizzazione.<\/p>\n
I sistemi di videoconferenza sono anche altamente adattivi. Le reti non sono affidabili, l’uso di CPU e contenuto video cambiano. Di conseguenza, applicazioni come Webex si adatteranno cambiando la risoluzione, regolando la velocit\u00e0 di trasmissione e collaborando con i client degli utenti finali per negoziare strategie di rete ottimali. Questo significa che l’esperienza da misura cambia continuamente.<\/p>\n
La misurazione della qualit\u00e0 di singoli componenti video \u00e8 un processo dall’alto verso il basso e un processo dal basso verso l’alto. Dall’alto verso il basso perch\u00e9 desideriamo misurare l’intera esperienza dell’utente. Dal basso verso l’alto perch\u00e9 desideriamo misurare le prestazioni e il contributo di ogni componente.<\/p>\n
Una parte importante dell’esperienza dell’utente \u00e8 come un client si comporta in caso di condizioni di rete scadenti. Poich\u00e9 i flussi video contengono dati predetti da fotogrammi precedenti, la perdita di dati causa errori di ricezione. Possono essere adottate diverse strategie. A livello di dati, gli errori possono essere ridotti al minimo utilizzando la funzionalit\u00e0 FEC (Forward Error Correction) o la ritrasmissione. I flussi video possono essere riavviati con un nuovo fotogramma chiave. Eventuali errori restanti dovranno essere nascosti da una combinazione di occultamento temporale o spaziale: l’occultamento spaziale prende in prestito informazioni da pixel circostanti per ricreare i dati persi; l’occultamento temporale prende in prestito dati da fotogrammi video nelle vicinanze per riempire i fotogrammi persi. Infine, la velocit\u00e0 dati pu\u00f2 essere ridotta utilizzando velocit\u00e0 in bit e risoluzioni video pi\u00f9 basse. Ciascuna di queste tecniche ha costi e vantaggi.<\/p>\n
Dal punto di vista delle metriche, questo \u00e8 estremamente complesso. Il video ricevuto non \u00e8 uguale al video trasmesso. Il pacchetto di tecniche di ottimizzazione adottato da fornitori diversi \u00e8 differente e, quindi, il video visualizzato da fornitori diversi sar\u00e0 differente, ad esempio, favorendo il movimento rispetto alla nitidezza o viceversa oppure aumentando la latenza per consentire la ritrasmissione. I fornitori non condividono i propri metodi di ottimizzazione della qualit\u00e0 perch\u00e9 sono implementazioni proprietarie e rappresentano la loro “ricetta segreta”. Indipendentemente dal fatto che l’ottimizzazione si verifichi sul lato mittente, durante la trasmissione o sul lato ricevente, il video risultante \u00e8 diverso dal video originale.<\/p>\n
Anche quando non esiste alcuna perdita, si verifica comunque un adattamento del client: denoising, super risoluzione, pre e post filtraggio, che variano a seconda del fornitori. Tutti questi fattori rendono il confronto su basi paritarie estremamente difficile.<\/p>\n
In che modo, quindi, la qualit\u00e0 pu\u00f2 essere misurata in tali circostanze? Per capire, dobbiamo comprendere la differenza tra metriche con riferimento completo (FR, Full Reference) e metriche senza riferimento (NR, No Reference).<\/p>\n
Una metrica con riferimento completo \u00e8 una metrica in cui \u00e8 necessario confrontare il video con l’originale. Richiede una corrispondenza pixel per pixel: stessa risoluzione, stessa velocit\u00e0 di trasmissione, ogni fotogramma di input deve corrispondere a un fotogramma di output. \u00c8 pi\u00f9 utile quando un singolo processo pu\u00f2 introdurre una qualche perdita in un input ben definito, dove lo scopo \u00e8 ridurre al minimo tale perdita.<\/p>\n
Esistono diverse metriche FR come PSNR, SSIM, MS-SSIM, ma una metrica molto popolare, spesso considerata all’avanguardia, \u00e8 la metrica VMAF o Video Multimethod Assessment Fusion. Questo metodo di test FR \u00e8 stato progettato in modo specifico da Netflix per eseguire valutazioni di qualit\u00e0 video percettive per il proprio servizio di streaming video.<\/p>\n
L’uso della metrica VMAF, o di qualsiasi metrica FR, per misurare la qualit\u00e0 \u00e8 molto complesso. Poich\u00e9 il video ricevuto e il video di origine possono essere abbastanza diversi, \u00e8 necessario modificare in scala, ritagliare e sincronizzare l’output in modo che possa essere confrontato pixel per pixel con quanto viene trasmesso (o parte di questo).<\/p>\n
Nella nostra esperienza, sebbene questo approccio sia stato tentato nei confronti tra fornitori, le manipolazioni richieste sono altamente soggette a errore.<\/p>\n
Inoltre, sebbene la metrica VMAF acquisisca differenze<\/em>, non acquisisce la qualit\u00e0 assoluta. Nelle conferenze, non si usano filmati prodotti con costi elevati. L’esperienza utente \u00e8 influenzata dalla qualit\u00e0 del video acquisito, non solo dalle differenze tra video ricevuto e video di origine.<\/p>\n Infine, la metrica VMAF \u00e8 una metrica esclusivamente spaziale: non acquisisce effetti temporali e il punteggio \u00e8 solo una media dei punteggi di fotogrammi.<\/p>\n In alternativa, negli ultimi anni \u00e8 stata effettuata una vasta ricerca sulle metriche di qualit\u00e0 di video senza riferimento che tentano di misurare il livello di qualit\u00e0 assoluta senza alcun confronto con un riferimento. Se fosse possibile trovare una metrica NR adatta e affidabile, tale metrica sarebbe ideale per le applicazioni di conferenza a causa degli adattamenti e delle perdita che i flussi video subiscono.<\/p>\n Una metrica di qualit\u00e0 NR comune \u00e8 la metrica NIQE (Naturalness Image Quality Evaluator). La metrica NIQE adatta un modello statistico a un’immagine per vedere quanto la statistica \u00e8 rappresentativa di un corpo di immagini naturali. La metrica NIQE pu\u00f2 assegnare un punteggio alla qualit\u00e0 video degli utenti finali in qualsiasi situazione, indipendentemente dalla qualit\u00e0 dell’immagine di origine e da perdite o elaborazione lungo la pipeline video.<\/p>\n Una metrica NR come NIQE pu\u00f2 essere utilizzata per valutare video di origine e di destinazione in modo indipendente. Le perdite di qualit\u00e0 vengono quindi acquisite nella differenza di punteggi, consentendo di valutare tecniche di recupero delle perdite e ottimizzazione del video. Poich\u00e9 il video acquisito pu\u00f2 essere di qualit\u00e0 scadente, l’ottimizzazione video pu\u00f2 persino migliorarlo.<\/p>\n La nostra esperienza dimostra che la metrica NIQE \u00e8 abbastanza affidabile, ma ancora priva di alcune caratteristiche importanti. In particolare, non risolve ancora i problemi di qualit\u00e0 temporale.<\/p>\n Una limitazione della metrica NIQE \u00e8 che potenzialmente potresti ottenere un buon punteggio NIQE allocando tutta la velocit\u00e0 in bit a un fotogramma e non inviando mai un altro fotogramma. Questo non \u00e8 un problema specifico delle metriche NR: come menzionato, utilizzando la metrica VMAF si verifica lo stesso problema, perch\u00e9 puoi solo confrontare i fotogrammi che sono effettivamente ricevuti con quelli a cui corrispondono.<\/p>\n La prima metrica aggiuntiva da considerare, quindi, \u00e8 la DFM o Drop Frame Metric. Questa metrica calcola il numero di fotogrammi rilasciati in una sequenza e l’occorrenza di fotogrammi chiave usata come metodo di recupero degli errori. In alcuni casi, l’uso di fotogrammi chiave pu\u00f2 restituire risultati falsi positivi nel punteggio NIQE. Pertanto, questa misurazione temporale consente di distinguere tra risultati accurati e falsi positivi.<\/p>\n Sebbene la metrica NIQE acquisisca molti aspetti della qualit\u00e0 dell’immagine, non acquisisce alcune risorse di compressione. Quindi, includiamo anche una misurazione blocco e una misurazione di sfocatura. Entrambe le metriche, FR e NIQE, possono interpretare in modo errato questi elementi, che sono comuni nel video codificato.<\/p>\n Le metriche FR hanno il loro perch\u00e9, in particolare nella valutazione di singoli elementi della pipeline. Tuttavia, Cisco crede che per valutare accuratamente la qualit\u00e0 video end-to-end, le metriche NR acquisiscano meglio l’esperienza dell’utente. La percezione umana \u00e8 straordinariamente complessa e progettare metriche complete \u00e8 difficile, ma le seguenti quattro metriche insieme acquisiscono una parte significativa dell’esperienza di qualit\u00e0:<\/p>\n NR (NIQE) | DFM | Blocco | Sfocatura<\/p>\n Insieme, queste metriche forniscono una misurazione concisa della qualit\u00e0 video soggettiva attraverso diverse dimensioni differenti.<\/p>\n Tali metriche possono acquisire sia la qualit\u00e0 persa end-to-end e l’impatto della qualit\u00e0 di origine stessa. I sistemi di conferenza devono spesso accettare contenuti di origine di bassa qualit\u00e0 e utilizzare diversi metodi per migliorare o mantenere la qualit\u00e0 video dall’inizio alla fine. Come tali, le valutazioni della qualit\u00e0 non si devono basare su metodologie di misurazione della qualit\u00e0 FR, ma devono tenere presenti questi fattori quando si considera l’esperienza end-to-end. Pertanto, Cisco si concentra sull’uso di metriche NR per qualit\u00e0 end-to-end, perch\u00e9 riflettono pi\u00f9 accuratamente l’esperienza degli utenti finali.<\/p>\n Le metriche di cui abbiamo parlato non sono perfette. Esistono alcune limitazioni, ad esempio nel valutare la qualit\u00e0 di contenuti grafici\/sintetici, e stiamo sviluppando continuamente il nostro approccio. Ma sebbene questa sia la strada pi\u00f9 difficile, siamo convinti che le metriche NR sono la migliore struttura per la valutazione della qualit\u00e0 video.<\/p>\n Nell’ultima release dell’app Webex, sono stati raggiunti importanti miglioramenti di tutte le metriche di qualit\u00e0 dei contenuti multimediali. Questi miglioramenti includono qualit\u00e0 video, qualit\u00e0 audio, rimozione dei rumori di fondo, utilizzo delle CPU nonch\u00e9 innovazioni concepite per il mondo del lavoro ibrido.<\/p>\n In risposta alla pandemia, la qualit\u00e0 dei contenuti multimediali delle soluzioni di tutti i fornitori sul mercato \u00e8 significativamente migliorata quest’anno. I nostri continui test dimostrano che l’app Webex fornisce qualit\u00e0 video che soddisfa o supera la qualit\u00e0 garantita da qualsiasi altro fornitore. \u00c8 un mercato incredibilmente competitivo e l’attenzione a qualit\u00e0 e prestazioni \u00e8 in primo piano e continua a essere una priorit\u00e0 per Cisco.<\/p>\n Ulteriori informazioni sul lavoro ibrido con Webex Meetings<\/a><\/p><\/blockquote>\n Co-autore Thomas Davies- Principal Engineer<\/strong><\/p>\n Thomas Davies<\/a> \u00e8 un Ingegnere capo del Collaboration Technology Group (CTG) di Cisco. Thomas ha lavorato nel campo delle reti satellitari, delle comunicazioni RF e delle trasmissioni, ma ha dedicato la maggior parte della sua carriera di oltre 20 anni a elaborazione video e compressione video (codec). Ha lavorato in Cisco per oltre 10 anni alla creazione della prossima di generazione di esperienze di collaborazione e ha contribuito a standard di compressione video come HEVC (H.256) e AV1, ma \u00e8 stato anche fondamentale nell’implementazione di tali standard nei prodotti effettivi, come Cisco Webex.<\/p>\n Ulteriori informazioni<\/strong><\/p>\n Come trovare la configurazione giusta per la riunione video ogni volta<\/a><\/p>\nNIQE \u2013 Test senza riferimento<\/h2>\n
Potenziamento della metrica NIQE: metriche aggiuntive<\/h2>\n
Test senza riferimento \u00e8 la preferenza di Cisco<\/h2>\n
Attenzione continua di Cisco a qualit\u00e0 video e qualit\u00e0 in generale<\/h2>\n