1:1 데스크톱 PC 영상 통화
이 블로그는 1:1 데스크톱 PC 비디오 통화라는 특정 시나리오를 살펴봅니다. 모든 테스트 사례의 요약은 이 요약 블로그를 참고하세요:
실시간 참여 솔루션을 평가할 때는 전체적인 그림을 살펴보세요. 앱 개발자를 위해 실시간 오디오 및 비디오 SDK와 API를 개발해온 약 10년의 경험을 바탕으로, Agora와 협력하는 모든 분께 이 조언을 공유합니다.
Zoom이 의뢰한 최근 연구는 이를 잘 보여주는 사례입니다.
이번에 공개된 테스트는 Zoom의 비디오 SDK 성능을 Agora 및 다른 3개의 실시간 참여 PaaS 제공업체의 비디오 SDK와 비교합니다.
결과에서 Zoom은 (a) 모든 벤더와 비교해 비디오 통화 시 가장 높은 프레임 속도를 유지하며 (b) 모든 테스트된 네트워크 환경에서 가장 일관된 비디오 품질을 제공한다고 주장합니다.
이 두 가지 주장만으로도 많은 내용을 분석해야 합니다. 그러나 포괄적인 성능 비교를 위해 Zoom의 테스트에 다음과 같은 중요한 부분이 누락되어 있음을 지적해야 합니다:
- 모바일 및 웹 테스트 결과는 포함되지 않았습니다(테스트에는 PC만 포함되었습니다).
- 테스트에 사용된 각 공급업체의 SDK 버전 및 각 공급업체의 SDK 구현에 대한 최선의 실천 방법이 준수되었는지 등 세부 사양이 명시되지 않았습니다.
- 다양한 지리적 지역 간 실제 환경 테스트. 고객은 선택한 공급업체가 서비스 제공을 계획한 지역 내 및 지역 간에서 일관된 품질과 성능을 제공할 수 있는지 확인하는 것이 중요합니다.
- 저사양 기기와 고사양 기기 간의 CPU 및 RAM 자원 사용량 커버리지(일반적으로 작은 차이는 사용자 경험에 영향을 미치지 않습니다).
이 블로그는 1:1 데스크톱 PC 비디오 통화에 초점을 맞추고 있지만, 아고 팀은 다음과 같은 시나리오도 테스트했습니다:
아고라 테스트
이 블로그에서는 고객이 실시간 참여(RTE) 솔루션을 평가할 때 고려해야 할 중요한 요소를 넓게 살펴보겠습니다.
오늘은 먼저 Agora가 Zoom의 연구에서 다룬 1:1 통화 시나리오에 초점을 맞춰 최근 테스트에서 도출된 주요 결과와 핵심 인사이트를 소개하겠습니다.
테스트 환경 설정
이 테스트에서는 발신자와 수신자로 두 대의 Windows 노트북을 사용합니다:
- 발신자: OMEN HP
- 프로세서 Intel Core i7-9750H CPU @2.60GHz
- 수신자: MSI
- 프로세서 Intel Core i7-10750H CPU @2.60GHz
모든 비디오 피드는 노트북이 안정적인 Wi-Fi 네트워크에 연결된 상태에서 1280×720 @ 30 FPS (720p30)로 설정되었습니다.
아고라의 경우, 비교를 위해 Zoom의 최신 애플리케이션 버전 5.12.3을 활용하여 테스트를 진행했으며, Zoom의 모든 최선의 실천 방법이 적절히 적용되었는지 확인하기 위해 Native SDK 버전 4.1.0을 사용했습니다.
Zoom의 연구 결과에서 그들은 더 오래된 버전의 아고라 Video SDK를 사용했음을 확인할 수 있습니다. 그들은 다음과 같이 언급했습니다: “…아고라는 32-grid 갤러리 뷰를 호스팅할 수 없었습니다”. 아고라는 최대 128개의 호스트를 지원합니다!
프레임 레이트 테스트
이 테스트에서는 주로 패킷 손실 및 네트워크 제한 조건이 수신 프레임 속도에 미치는 영향을 중점적으로 분석합니다.
아고라는 SD-RTN 네트워크를 공용 인터넷 위에 오버레이로 적용하고, 마지막 마일 연결 성능을 최적화하는 기술 및 장치 최적화를 통해 패킷 손실 및 기타 네트워크 문제 발생 빈도를 최소화합니다. SD-RTN은 AI 알고리즘을 활용해 인터넷상의 장애물을 우회해 트래픽을 라우팅하며, 실시간 트래픽을 최적화해 최고의 성능을 제공합니다. 또한 아고라 패킷 손실의 영향을 완화해 최종 사용자 경험을 최적화하는 기술을 구현했습니다.
정상 네트워크
일반적인 네트워크 환경에서 Zoom과 Agora의 프레임 속도는 평균 29 프레임 초당(FPS)로 측정되었습니다. 이는 프레임 속도가 30 FPS를 유지하는 경우가 드물기 때문에 예상되는 값입니다.
25% 업링크 패킷 손실
모든 프레임 속도는 26 FPS 이상을 유지하지만, 아고라는 줌보다 약간 높은 수준을 유지하고 있습니다.
25% 다운링크 패킷 손실
아고라는 약 28 FPS 수준을 유지하고 있습니다. 그러나 줌은 여전히 약간 더 약한 성능을 보이고 있으며, 약 25 FPS를 약간 상회하는 수준입니다.
프레임 속도 복구 (1Mbps 제한)
여기서 네트워크는 상향 방향으로 1Mbps로 속도가 제한되며, 이후 하향 방향으로 속도가 제한되어 총 30초 동안 유지됩니다. 이는 상대적으로 품질이 낮은 3G 네트워크를 사용하거나 매우 혼잡한 4G 네트워크를 사용하는 것과 유사합니다.
제한이 적용되면 모든 제공업체의 프레임 속도가 즉시 감소합니다. 이 제한 조건 하에서 Agora와 Zoom이 모두 프레임 속도를 얼마나 잘 개선하는지 보는 것은 놀랍습니다. 그러나 Agora가 복구 과정을 훨씬 더 우수하게 처리한다는 것은 분명합니다.
프레임 속도 복구, 1Mbps 제한 및 25% 패킷 손실
잔인한 조합입니다. 비디오 통화를 시도하는 누구에게도 원치 않을 만한 상황이지만, Zoom과 비교해 보겠습니다:
음, 예상했던 대로 꽤 극적인 결과입니다. 이 테스트에서 Agora 네트워크의 복구 능력은 의심하기 어렵습니다. 스로틀이 적용된 지 약 5초 후 Agora는 이 상황에 빠르게 적응해 25 FPS 이상으로 회복되며, 스로틀이 해제된 후에도 해당 수준을 유지합니다. 반면 Zoom은 제한이 적용된 상태에서 0 FPS로 15초 이상 유지된 후 평균 5 FPS 미만의 프레임 속도를 기록했습니다.
이러한 조건에서 활성 통화 시 끊김과 동결 현상이 발생하며, 결국 사용자에게 불량한 사용자 경험을 제공하게 됩니다.
비트레이트 테스트
비트레이트는 비디오 통화를 통해 다른 사람과 소통할 때 중요한 요소입니다. 최종 사용자에게 최상의 경험과 품질을 제공하기 위해, 주어진 네트워크 환경에서 가능한 한 가장 높은 비디오 전송 속도를 유지하는 것이 중요합니다.
정상 네트워크
정상적인 네트워크 환경에서 아고라와 Zoom의 전송 비트율은 동일했습니다. 그러나 아고라 라수의 신 비트율은 Zoom보다 항상 더 높았습니다.
25% 업링크 패킷 손실
상향 링크 패킷 손실률 25%에서 아고라 송신 및 수신 비트레이트는 Zoom보다 높게 유지되었습니다.
25% 다운링크 패킷 손실
다운링크 패킷 손실률이 25%일 때, 아고라의 송신 및 수신 비트레이트는 Zoom보다 높게 유지되었습니다.
비트레이트에 초점을 맞춘 테스트 전반에 걸쳐 아고라는 변화하는 네트워크 환경에 적응하며 전송 속도를 극대화하고, Zoom보다 더 일관되게 높은 품질의 비디오 경험을 유지했습니다.
전체적으로 아고라는 변화하는 네트워크 환경에서도 더 높은 비트레이트를 유지하여 사용자에게 전반적으로 더 우수한 품질의 경험을 제공했습니다. 위에서 보여진 바와 같이, 아고라의 비트레이트는 네트워크 환경에 따라 최적화되어 최상의 경험을 제공합니다.
개발자 도구
아고SDK를 사용하는 개발자들을 위해 나쁜 네트워크 환경을 처리하는 데 도움이 되는 여러 기능이 제공됩니다. 이 기능에는 사용 사례에 따라 SDK가 비디오 해상도, 비디오 프레임 속도, 또는 오디오를 우선순위로 지정할 수 있는 간단한 우선순위 전환 기능이 포함됩니다.
결론
Zoom이 의뢰한 연구는 고객이 실시간 참여 솔루션을 평가할 때 고려해야 할 일부 측면을 다루었지만, 앞서 언급했듯이 전체적인 이야기를 전달하지는 않았습니다.
이 블로그에서는 PC 간 1:1 통화 시나리오에서 아고라와 Zoom을 비교했으며, 전체적으로 Agora가 더 우수한 결과를 보여주었습니다.
다음 순서
모든 테스트 시나리오의 요약은 이 블로그를 확인하세요:
각 테스트 케이스의 상세 결과를 확인하려면 다른 시나리오를 다룬 블로그를 여기에서 확인하세요:
한편, 무료로 가입하여 Agora의 성능을 직접 테스트해 보세요.
