화질이 나쁘고 계속 멈추는 라이브 스트리밍을 얼마나 오래 시청하시겠습니까? 오늘날 비디오 중심의 디지털 환경에서 스트리밍 비디오 품질은 사용자 경험에 엄청난 영향을 미칩니다. 사용자에게 고품질의 실시간 비디오 경험을 제공하기 위해 무엇을 할 수 있을까요?
아고라의 적응형 비디오 최적화™(AVO)는 캡처부터 재생까지 모든 단계를 세심하게 고려한 종합적인 접근 방식을 통해 최상의 라이브 비디오 품질을 제공하는 다양한 기술의 조합입니다. AVO는 기계 학습과 인공지능을 활용하여 이상적인 네트워크 환경이 아닌 상황에서도 우수한 성능을 보장합니다.
일반적인 실제 환경에서 이 상황은 어떻게 보일까요? 예를 들어, 20%의 패킷 손실이 발생하는 네트워크 환경에서 Zoom의 Video SDK를 사용한 실시간 영상은 멈춤, 끊김, 지연 현상을 겪는 반면, 아고라의 영상 스트림은 원활하게 유지됩니다. Zoom의 이미지 품질은 종종 눈에 띄게 흐릿하게 보이지만, 아고라는 일관된 이미지 품질과 선명도를 유지합니다. 아래 동영상 예시를 시청하시면 AVO가 Zoom과의 직접 비교를 통해 실시간 동영상을 어떻게 최적화하는지 확인할 수 있습니다.
탁월한 라이브 비디오 경험을 제공하기 위한 세 가지 핵심 요소
AVO를 구동하는 구체적인 기술에 들어가기 전에, 라이브 비디오 사용자 경험(UX)을 향상시키기 위해 우리가 중점적으로 다루는 핵심 원칙을 살펴보겠습니다: 이미지 품질, 비디오 유동성, 및 저지연.
- 최적화된 이미지 품질: 아고라의 기술은 향상된 대비, 생동감 있는 세부 사항, 그리고 깊이감을 통해 선명하고 생생한 이미지를 제공하며, 모든 순간을 진정한 본질로 포착하는 명확하고 몰입감 있는 시청 경험을 선사합니다.
무결점 비디오 유동성: 버퍼링과 끊김 없이 부드러운 비디오 재생으로 자연스럽고 매끄러운 시청 경험을 제공합니다. 일반적인 버퍼링과 끊김으로 인한 불편함을 완전히 제거합니다.
초저지연: 초저지연은 사용자가 호스트나 다른 사용자와 실시간으로 상호작용할 수 있음을 의미합니다. 또한 더 빠른 로딩 시간과 즉각적인 첫 프레임 렌더링을 통해 사용자는 Agora를 사용하여 구축된 애플리케이션 내에서 다양한 비디오 스트림이나 피드 간에 매끄러운 전환을 경험할 수 있으며, 이는 자연스럽고 반응이 빠른 비디오 상호작용을 가능하게 합니다.
이 세 가지 핵심 기둥은 아고라가 최상의 사용자 경험을 제공하기 위한 사명의 핵심에 있으며, 라이브 비디오와의 모든 상호작용이 가능한 한 몰입감 있고 흥미로운 경험이 되도록 보장합니다.
라이브 비디오 처리 최적화를 통한 품질 향상
세 가지 핵심 사용자 경험 기둥을 기반으로, 비디오 처리의 개선은 사용자에게 최적의 실시간 비디오 경험을 제공하는 데 필수적입니다. 아고라의 AVO가 최적화하는 비디오 처리의 다섯 단계는 다음과 같습니다: 사전 처리, 인코딩, 전송, 디코딩, 사후 처리.
이 초기 단계에서는 아고라가 원본 비디오 입력을 정제하여 인코딩 전에 비디오의 품질을 최상으로 확보합니다. 이 단계는 최고 품질의 출력을 위한 기반을 마련하는 데 필수적입니다.
아고라의 사전 처리 단계에는 다음과 같은 내용이 포함됩니다:
- 명암 조정은 저조도 환경과 같은 어려운 조명 조건을 자동으로 보정하여 사용자의 이미지가 명확하게 표시되도록 합니다.
- 지각 기반 비디오 코딩 (PVC)은 딥 러닝을 활용하여 시각적 명확성을 저하시키지 않으면서 최대 30% 적은 대역폭을 소비하며 최고 품질의 비디오를 제공합니다. PVC는 인간의 눈이 비디오 콘텐츠를 인식하는 방식을 고려하여 시각적 중복을 제거함으로써 압축 효율을 향상시킵니다.
- 관심 영역(ROI) 프레임링은 얼굴이나 신체와 같은 관심 영역에 더 많은 비트 자원을 할당하여 배경 물체보다 더 높은 품질을 제공함으로써 주어진 비디오 이미지의 주관적 인상을 개선합니다.
- 색상 강화는 비디오 콘텐츠를 생동감 있고 현실감 있게 만들어 정확한 생생한 색상으로 어떤 화면에서도 돋보이도록 합니다.
- 사전 처리 자동 조정은 알고리즘 복잡도의 적절한 수준을 선택하여 시스템 자원 소비와 비디오 품질 개선 사이의 균형을 유지합니다.
인코딩
비디오 인코딩은 원본 비디오 프레임을 훨씬 낮은 비트율의 비트스트림으로 압축하고 최적의 전송을 위해 필요한 형식으로 변환하는 과정입니다.
아고라의 코딩 엔진 (ACE)은 아고라의 AVO의 핵심 기능으로, 다음과 같은 주요 기능을 지원하여 최적의 인코딩을 제공합니다:
- 아고라 코딩 기술 (ACT)은 장치의 성능과 상호 운용성 요구사항에 따라 최적의 인코더를 동적으로 선택하는 자동 조정 기능을 포함합니다. Agora는 H.264, H.265, VP8, VP9, AV1 등 하드웨어 및 소프트웨어에서 다양한 비디오 코덱을 지원합니다. ACT는 CPU 부하 변화에 따라 코덱 선택을 동적으로 조정하여, 특히 세션 중 호환성 문제가 발생할 경우 H.264 또는 VP8로 전환하여 세션 연속성을 유지합니다.
- 비디오 품질 제어 (VQC)는 머신 러닝을 활용하여 사용 가능한 대역폭에 따라 비디오 해상도와 프레임 속도를 동적으로 조정하여 최적의 사용자 경험을 보장합니다.
전송
Agora는 사전 처리 및 인코딩 단계에서 비디오를 최적화한 후 아고라의 소프트웨어 정의 실시간 네트워크(SD-RTN™)를 통해 전송합니다. 아고라의 네트워크는 인터넷 위에 실시간으로 중첩되는 네트워크로, 변동하는 네트워크 조건에 자동으로 적응하여 비디오를 최적의 경로로 전송하며 최소 지연 시간과 최고의 전체 성능을 보장합니다.
Agora의 Last Mile Transport (ALT)는 기기에서 실행되는 SDK와 Agora의 SD-RTN™ 사이에서 작동하여 어려운 마지막 마일 연결을 통해 전송을 최적화합니다.
SDK(기기) 측의 ALT에는 다음과 같은 기능이 포함됩니다:
- 손실 감지 분석기는 패킷 손실을 혼잡, 무작위 또는 기타 손실 카테고리로 분류하는 머신 러닝 알고리즘입니다.
- 혼잡 제어 및 대역폭 추정은 네트워크의 감지된 혼잡 수준을 기반으로 전송 관련 매개변수를 지능적으로 계산하고 사용 가능한 대역폭을 추정합니다.
- 포워드 오류 교정(FEC) 및 자동 재전송 요청(ARQ)은 패킷 손실 내구성을 향상시킵니다.
- 페이싱은 SD-RTN™으로 전송되는 비디오의 흐름을 부드럽게 합니다.
아고라의 SD-RTN™은 비디오 전송을 최적화하기 위해 다음과 같은 핵심 기능을 제공합니다:
- 스마트 라우팅은 최소 지연으로 가장 신뢰할 수 있는 전송 경로를 선택합니다.
- 프리로드/프리조인은 SD-RTN™과 협력하여 첫 번째 프레임 렌더링을 극히 빠르게 만들기 위해 핵심 정보를 예측하고 사전 설정합니다. 이 기능이 특히 유용한 사례는 사용자가 여러 비디오 피드 간 전환 시 즉시 비디오를 시청하려는 앱입니다.
- 단계별 혼잡 제어는 네트워크 내 각 홉에서 트래픽 상황에 따라 동적으로 혼잡 제어를 수행합니다.
- SD-RTN™ 내 Agora Last Mile Transport는 수신 SDK로 전송할 확장형 비디오 코덱(SVC)의 적절한 비트스트림을 동적으로 선택합니다.
디코딩
SD-RTN™이 비디오 트래픽을 최적의 경로를 통해 목적지로 라우팅한 후, 비디오 트래픽은 SD-RTN™의 최종 홉과 아고라 SDK를 사용하는 사용자의 장치 사이의 마지막 구간을 다시 통과해야 합니다. SDK는 다음과 같은 기능을 활용하여 스트림의 최적화된 디코딩을 지원합니다:
- 지터 버퍼는 수신된 비디오 패킷을 일시적으로 저장하며, 필요 시 재순서화하여 일관된 재생이 가능하도록 합니다. 이 기능은 실시간 비디오 스트림의 지터와 패킷 손실을 완화하며, 네트워크 조건에 따라 동적으로 조정되는 적응형 크기를 갖추고 있습니다. 지터 버퍼는 지연 시간과 품질의 균형을 맞추기 위해 세심하게 조정되었습니다.
- 소프트웨어 및 하드웨어 디코딩 Agora Coding Technology (ACT)에서 지원하는 코덱(예: H.264, H.265, VP8, VP9, AV1)에 대한 소프트웨어 및 하드웨어 디코딩. 소프트웨어와 하드웨어 디코더의 조합은 이 과정을 가속화하고 지연을 줄입니다.
포스트 프로세싱
비디오 스트림이 목적지에 도착하고 실시간으로 디코딩되면 최적의 시청 경험을 보장하기 위해 최종 개선 과정을 거칩니다.
- 자동 조정은 실시간 상태 모니터링을 통해 장치 성능 문제와 과열을 방지하며, 리소스 집약적 기능에 대해 설정을 자동으로 재구성합니다.
- 슈퍼 클리어티는 딥 러닝을 활용해 더 선명하고 명확한 비디오 이미지를 제공하며, 최소한의 CPU 리소스를 소비하면서도 동일한 해상도를 유지합니다.
- Super Resolution은 해상도를 업스케일링하여 사용자에게 현실감 있는 선명도를 제공합니다. 또한 화면 공유 콘텐츠를 더 선명하고 명확하게 만듭니다.
- Video Quality Assessment (VQA)는 딥러닝을 활용하여 실시간으로 비디오 시청 품질을 추정합니다.
결론
아고라의 Adaptive Video Optimization (AVO)은 캡처부터 재생까지 모든 단계에서 최적의 라이브 비디오 품질을 제공합니다.
사용자 경험의 세 가지 핵심 요소인 이미지 품질, 비디오 유동성, 초저지연 시간을 활용해 AVO는 라이브 비디오 경험을 개선합니다. 이는 시청자에게 일관된 우수한 품질의 경험을 제공하며, 최종 사용자의 참여도를 높입니다.
초저지연 시간, 일관된 높은 비디오 프레임 속도, 프레임 동결률 감소로 AVO는 패킷 손실이 발생하는 어려운 네트워크 환경에서도 더 부드러운 실시간 경험을 보장합니다. Perceptual Video Coding (PVC) 및 Super Clarity와 같은 기본 기능으로 강화된 이미지 품질을 통해 AVO는 세부 사항, 명확성, 유동성을 특징으로 하는 비교할 수 없는 비디오 커뮤니케이션 경험을 제공합니다.
이러한 사용자 경험 개선 사항은 현재 안드로이드 기기용 Google Play 스토어와 아이폰용 Apple App Store에서 이용할 수 있는 Agora Live App을 통해 확인할 수 있습니다.
