세계 전역에서 직원들이 재택근무를 멈추고 사무실로 돌아가면서 ‘하이브리드’ 업무 방식이 비즈니스 운영의 뉴노멀로 빠르게 자리 잡고 있습니다. 하이브리드 업무가 가능하려면 혁신적인 최신 컨퍼런스 기술을 활용하여 어디에서나 연결하고 협업할 수 있어야 합니다. 팬데믹으로 인해 재택근무와 모바일 사용이 크게 증가하면서 비디오 통신은 삶의 필수 조건이 되었습니다. 이러한 환경은 네트워크 대역폭의 부족 또는 잦은 변화, 열악한 조명과 카메라, 배경 소음 등으로 인해 고품질 미디어를 제공하기가 어려운 것으로 악명이 높습니다. 사용자 경험을 개선하기 위한 혁신에서 가장 중요한 것은 경험을 측정하는 것입니다. 이 글에서는 시스코가 비디오 품질 개선을 위해 이러한 다면적인 문제에 어떻게 접근하는지 살펴봅니다.
비디오 품질 측정은 매우 복잡하고 다면적인 과제
비디오 품질 측정이 어려운 이유는 무엇일까요? 우선 품질을 정의하기가 어렵기 때문입니다. 눈으로 봐서 품질이 나쁘다는 것을 알 수 있는 경우도 있지만 비디오의 품질 불량은 여러 가지 측면에서 나타날 수 있습니다. 예를 들어 영상이 흐리고 끊기거나 잡음이 있을 수 있고, 프레임이 정지되거나 손상되거나 싱크가 안 맞을 수도 있습니다. 네트워크는 불안정하고 CPU 사용량과 비디오 콘텐츠에 변화가 생깁니다. 이에 대응하기 위해 Webex 같은 애플리케이션은 해상도를 변경하고, 프레임 속도를 조정하고, 최종 사용자 클라이언트와 협업하여 최적의 네트워크 전략을 협상합니다. 다시 말해, 현재의 경험 자체가 끊임없이 변화하는 목표가 됩니다. 개별 비디오 구성요소의 품질 측정은 하향식과 동시에 상향식으로 이루어지는 프로세스입니다. 즉 하향식으로 총체적 사용자 경험을 측정하고, 상향식으로 모든 구성요소의 성능과 기여도를 측정합니다.품질 및 네트워크 손실
네트워크 상태가 좋지 않을 때 클라이언트가 보이는 동작이 사용자 경험에서 중요한 부분을 차지합니다. 비디오 스트림에는 이전 프레임에서 예측한 데이터가 포함되기 때문에 데이터 손실은 수신 측 오류로 이어집니다. 다른 전략을 채택할 수도 있습니다. 데이터 계층에서 순방향 오류 정정법 또는 재전송을 사용하여 오류를 최소한으로 줄일 수 있습니다. 새로운 키 프레임으로 비디오 스트림을 다시 시작할 수도 있습니다. 남아 있는 오류는 시간적 또는 공간적 은폐를 적절히 조합해서 숨겨야 합니다. 공간적 은폐는 주변 픽셀에서 정보를 빌려 와서 손실된 데이터를 재구축하는 것이고, 시간적 은폐는 근처의 비디오 프레임에서 데이터를 빌려다가 손실된 프레임을 채우는 것입니다. 마지막으로, 비트 전송률과 비디오 해상도를 낮춰 데이터 전송 속도를 줄일 수 있습니다. 이러한 각 기법은 비용을 줄일 뿐만 아니라 이점도 있습니다. 메트릭의 관점에서 보면 굉장히 어려운 일입니다. 수신되는 비디오가 전송되는 비디오와 달라지기 때문입니다. 다양한 벤더에서 저마다 다른 최적화 기법을 사용하며, 따라서 각 벤더에서 표시하는 비디오가 달라집니다. 예를 들어 선명도보다 움직임을 선호하는 벤더가 있고 그 반대인 벤더도 있으며 재전송을 위해 대기 시간을 늘리는 경우도 있습니다. 벤더는 품질을 최적화하는 방법을 공유하지 않습니다. 회사마다 독점적인 구현 방식이 있고 이것이 ‘영업 비밀’이기 때문입니다. 송신 측에서 최적화하든, 전송 중에 최적화하든, 아니면 수신 측에서 최적화하든 간에 최종적인 비디오는 소스와 달라집니다. 만에 하나 손실이 없더라도 노이즈 제거, 초고해상도 적용, 사전 및 사후 필터링 등 클라이언트의 조정은 필요하지만 이 방법 역시 벤더마다 다릅니다. 이러한 모든 요인으로 인해 일대일로 비교하기가 매우 어렵습니다.FR(Full-Reference) 메트릭과 NR(No-Reference) 메트릭
이러한 상황에서 과연 품질을 측정하는 것이 가능할까요? 이를 알아보려면 FR 메트릭과 NR 메트릭의 차이를 이해해야 합니다. FR 메트릭에서는 비디오를 원본과 비교합니다. 동일한 해상도, 동일한 프레임 속도, 각 입력 프레임이 출력 프레임과 일치하는지 등을 픽셀 단위로 맞춰 봐야 합니다. 이 방식은 단일 프로세스를 통해 잘 정의된 입력이 일정 정도 손실될 가능성이 있는 경우에 가장 유용하며, 목표는 이 손실을 최소화하는 것입니다.VMAF – FR 테스트
PSNR, SSIM, MS-SSIM 등 다양한 FR 메트릭이 있지만 흔히 최첨단 방식으로 인정받는 인기 메트릭은 VMAF(Video Multimethod Assessment Fusion)입니다. 이 FR 테스트 방법은 비디오 스트리밍 서비스에 대한 비디오 인지 품질 평가를 위해 넷플릭스가 특별히 설계한 것입니다. VMAF(FR 메트릭)로 품질을 측정하는 것은 매우 어렵습니다. 수신된 비디오와 원본 비디오가 크게 다를 수 있으며, 전송된 비디오(일부)와 픽셀 단위로 비교하기 위해 출력을 조정하고, 잘라내고, 동기화해야 합니다. 벤더 비교에서 이 방식을 시험해 보았지만, 경험상 필요한 조작을 할 때 오류가 발생하기 쉽습니다. 게다가 VMAF는 차이점은 잘 찾아내지만 절대적인 품질을 포착하지는 못합니다. 우리는 회의를 위해 많은 비용을 들여 영화 같은 비디오를 제작하지는 않습니다. 녹화된 비디오와 수신된 비디오의 차이뿐 아니라 비디오 녹화본 자체의 품질도 사용자 경험에 영향을 미칩니다. 마지막으로 VMAF는 공간 전용 메트릭으로, 시간에 따른 효과를 포착하지 못하며 따라서 VMAF의 평가 점수는 프레임 단위의 점수를 평균낸 것에 불과합니다.NIQE – NR 테스트
최근 몇 년간 참조 기준과 비교하지 않고 절대 품질을 측정하는 NR 비디오 품질 메트릭에 대한 다양한 연구가 진행되었습니다. 적절하고 신뢰할 수 있는 NR 메트릭을 찾을 수 있다면 비디오 스트림에 조정과 손실이 발생하는 회의 애플리케이션에 이상적일 것입니다. 널리 사용되는 NR 품질 메트릭은 NIQE(Naturalness Image Quality Evaluator)입니다. NIQE는 이미지에 통계 모델을 맞춰 통계가 자연적인 이미지 코퍼스를 얼마나 정확히 나타내는지 확인합니다. NIQE는 소스 이미지 품질, 손실 및 비디오 파이프라인을 따라 이루어지는 처리와 관계없이 어떤 상황에서나 최종 사용자의 비디오 품질을 평가할 수 있습니다. NIQE 같은 NR 메트릭으로 소스 비디오와 대상 비디오를 각각 평가할 수 있습니다. 그런 다음 평가 점수의 차이로 품질 손실을 파악하여 손실 복구 및 비디오 최적화 기술을 평가합니다. 녹화된 비디오의 품질이 낮을 수 있으며, 그 경우 비디오 최적화로 품질을 향상할 수도 있습니다. 경험에 따르면 NIQE는 신뢰성이 매우 높지만 여전히 몇 가지 중요한 특징은 간과될 수 있습니다. 특히 특정 시점의 품질을 파악하지 못합니다.NIQE 보강: 추가 메트릭
NIQE에는 모든 비트 전송률을 한 프레임에 할당하고 다른 것은 보내지 않을 경우 NIQE 점수가 굉장히 높아질 수 있다는 제약이 있습니다. 비단 NR 메트릭만의 문제는 아닙니다. 언급한 바와 같이 VMAF를 사용할 때도 실제로 수신된 프레임을 그에 상응하는 프레임과만 비교할 수 있기 때문에 동일한 문제가 발생합니다. 따라서 가장 먼저 고려해야 할 추가 메트릭은 DFM(Drop Frame Metric)입니다. 이 메트릭은 한 시퀀스에서 손실된 프레임 수와 오류 복구에 사용되는 키프레임의 발생을 계산합니다. 키프레임을 사용하면 NIQE 평가 점수에서 거짓 양성이 나올 수 있으므로 이러한 시간적 측정을 통해 정확한 결과와 거짓 양성 결과를 구별할 수 있습니다. NIQE는 이미지 품질의 여러 측면을 포착하지만 일부 압축 아티팩트는 포착하지 못합니다. 따라서 차단 측정 및 블러 측정도 포함해야 합니다. FR 메트릭과 NIQE 메트릭 모두 인코딩된 비디오에 공통적으로 나타나는 이러한 요소를 해석하지 못할 가능성이 있기 때문입니다.시스코가 선호하는 NR 테스트
FR 메트릭은 특히 개별 파이프라인 요소를 평가하는 데 제격입니다. 그러나 시스코는 엔드 투 엔드 비디오 품질을 정확하게 평가하는 경우 NR 메트릭이 사용자 환경을 가장 잘 포착할 수 있다고 믿습니다. 인간의 인식은 매우 복잡하고 설계된 종합 메트릭은 사용하기 어렵지만, 다음 네 가지 메트릭을 함께 활용하면 품질 경험의 중요한 부분을 포착할 수 있습니다. NR(NIQE) | DFM | 차단 | 블러 이러한 메트릭을 함께 활용하면 여러 차원에 걸쳐 주관적인 비디오 품질을 압축해서 측정할 수 있습니다. 이들 메트릭으로 처음부터 끝까지 발생하는 품질 손실과 소스 품질 자체의 영향을 모두 파악할 수 있습니다. 회의 시스템에서는 종종 낮은 품질의 소스 콘텐츠도 수용해야 하고 다양한 방법으로 비디오 품질을 전체적으로 개선하거나 유지해야 합니다. 따라서 FR 품질 측정 방법에 의존하여 품질을 평가할 것이 아니라 이러한 요소를 감안하여 엔드 투 엔드 경험을 고려해야 합니다. 시스코는 최종 사용자 경험이 더 정확히 반영되는 NR 메트릭을 주로 사용하여 엔드 투 엔드 품질을 관리하고 있습니다.항상 비디오 품질 및 전체적인 품질에 초점을 맞춰 노력하는 시스코
지금까지 이야기한 메트릭은 완벽하지 않습니다. 예를 들어 그래픽/합성 콘텐츠의 품질을 판단하는 데 몇 가지 제한이 있어 계속해서 접근 방식을 개선하고 있습니다. 그러나 비록 더 어려운 길이라 할지라도 NR 메트릭이 비디오 품질을 평가하는 가장 좋은 프레임워크라고 확신합니다. Webex App의 최신 릴리스에서는 모든 미디어 품질 메트릭을 크게 개선했습니다. 이러한 개선 사항에는 비디오 품질, 오디오 품질, 배경 노이즈 억제, CPU 사용 및 하이브리드 업무 방식의 보편화를 위해 설계된 혁신 기능이 포함됩니다. 올해는 팬데믹에 대응하는 과정에서 모든 벤더 솔루션의 미디어 품질이 크게 향상되었습니다. 시스코는 지속적인 테스트를 통해 Webex 앱이 다른 어떤 벤더보다 우수한 비디오 품질, 최소한 그에 필적하는 품질을 제공하는 것을 확인했습니다. 앞으로 이 시장의 경쟁은 믿을 수 없을 만큼 치열해질 것이며, 시스코는 무엇보다 품질과 성능에 초점을 맞춰 노력하면서 끊임없이 전진할 것입니다.Webex Meetings를 이용한 하이브리드 업무 방식 자세히 알아보기공동 저자: 수석 엔지니어 Thomas Davies Thomas Davies는 Cisco CTG(Collaboration Technology Group)의 수석 엔지니어입니다. Thomas는 위성 네트워킹, RF 통신 및 방송 업계에서 일했지만 20년 이상의 경력 대부분을 비디오 처리 및 비디오 압축(코덱) 분야에 바쳤습니다. 그는 시스코에서 10년 이상 근무하며 차세대 협업 경험을 구축하고 HEVC(H.265) 및 AV1 같은 비디오 압축 표준에 기여해 왔습니다. 또한 Cisco Webex 같은 실제 제품에 이러한 표준을 구현하는 데 중요한 역할을 했습니다. 자세히 알아보기 비디오 회의를 언제나 완벽하게 설정하는 방법 Webex의 새로운 기능: 2021년 9월 가상 회의 및 이벤트 도중 세부 세션을 활용하는 모범 사례
About The Author
Mike Paget Sr. Manager, Technical Marketing for Cloud Collaboration, Contact Center, & Competitive Analysis Cisco
Michael has spent nearly 20 years working with video technologies in live production, broadcasting, and video conferencing.
Learn more
