声网Agora RTC开发者月刊 - 2021年4月月刊|为音频互动体验实时打分的 MoS 分方法

产品与技术

声网Agora 音频互动 MoS 分方法

此前 RTE 行业中还没有一个很好的可用于评价实时互动场景的 QoE 评价方法。

声网基于在全球大规模商用的客观实时数据和实践总结,正式推出自研的用于评价实时音频用户体验的无参考客观评价方法——声网Agora 实时音频 MoS 方法。这套方法,已集成于声网 Agora 音频/视频 SDK 的 3.3.1 及更新的版本中,目前仅提供了下行(编解码-传输-播放)链路的分数,后续还会开放提供上行质量打分接口。开发者在调用该方法后,可实时地客观判断当前用户的音频互动体验,给自身业务、运营的优化提供重要的参考数据。

基于这套下行质量评估算法,我们构建了一个全球音频网络质量地图,用户可以实时监控发生在世界各个角落的通话质量,下图是地图一角,该图中横轴、纵轴分别表示在不同地区的用户,表格中的 MoS 分则体现了他们当前通话的 QoE:

这套应用于全球范围的声网音频互动 MoS 方法已经在 Agora 音频/视频 SDK 3.3.1 及更新的版本中对外开放接口,大家可通过 AgoraRtcRemoteAudioStats 中的 mosValue 实时获取每条通话的质量评分,目前仅提供了下行(编解码-传输-播放)链路的分数,后续会开放提供上行质量打分接口。欢迎大家下载集成最新版本的 Agora SDK 体验该功能。
:link: 点击这里了解更多

声网推出首个完整实时合唱解决方案

4月20日,声网Agora宣布对实时合唱技术方案全面升级,帮助国内知名迷你KTV品牌“咪哒”实现国内首个支持多终端、多人合唱、高音质的完整实时合唱解决方案的落地,结束了国内K歌行业长期探索“实时合唱”场景,却一直未能上线的现状。

早在2018年,声网就曾提出实时合唱的技术设想,但由于整体网络基础设施不够成熟等原因一直未能真正集成上线,此后声网针对实时合唱场景进行了长期的技术打磨,并与“咪哒”以及国内多个在线K歌平台、智能电视厂商反复集成测试,最终推出了高成熟度、超低延时、可落地的、完整的实时合唱解决方案。

声网实时合唱方案架构大致如下:

  • 主唱端与各个合唱端同时从本地获取BGM,随着伴奏同时开启演唱;

  • 通过SD-RTN™传输和调度,主唱与合唱们可以实时听到其他人的歌声,达成合唱。同时观众可以享受到演唱者们“0延时”的合唱效果。

图:声网实时合唱技术方案架构

在声网的实时合唱方案中,围绕超低延时处理、高音质体验、伴奏精准同步、合唱人数灵活等形成了六个维度的核心优势。
:link: 点击这里了解方案详情。

声网Agora发布教育信息化解决方案

4月23日-25日,由中国教育装备行业协会主办的第79届教育装备展在厦门国际会展中心举办。作为赋能教育信息化的实时互动PaaS服务商,声网Agora应邀参会。展会现场,声网展示了基于实时音视频互动能力打造的“三个课堂”线上教学场景解决方案、承载“三个课堂”应用的互动录播解决方案,以及实时音视频在智能台灯、人脸闸机、电子班牌等教育硬件设备的应用,通过全套的教育信息化解决方案吸引了多家信息化服务商的关注。

声网发布“三个课堂”解决方案,助力教育公平提效

去年3月,教育部印发《关于加强“三个课堂”应用的指导意见》,要求在2022年全面实现“三个课堂”在广大中小学校的常态化按需应用。而在“三个课堂”的建设中,实时音视频互动技术是在线课堂的地基。

声网Agora SVP&合伙人李华在开场致辞时表示:“在过去一年里,我们与在座各位一起探索性的推出‘三个课堂’解决方案,取得了一些初步成效。在国家教育公平大战略下,如何快速地从适应新形势到引领新未来,需要我们大家一起来寻求改变。用互联网、新技术的思维来打破传统的硬件、政策模式,我们希望与大家一起,顺应时代的要求,加大投入、快速迭代,未来更好的推出服务社会的新产品,为国家新时代教育事业做贡献!”

“教育信息化服务商通过声网提供的RTC、RTM、互动白板、实时录制、水晶球等各个产品组合及预设的功能接口,配以业务端的开发,可以快速搭建起‘三个课堂’。”声网Agora教育信息化产品负责人郑昌辉表示。
:link:更多详细报道,以及方案详情,请点击这里阅读。

RTC 社区动态


RTE 2021 编程挑战赛开始报名

第三届 RTE 2021 创新编程挑战赛开始报名啦!

RTE(Real Time Engagement)2021 创新编程挑战赛,是由声网Agora 主办,面向全球开发者、编程爱好者与极客的一场在线黑客马拉松。参赛者可以基于声网Agora 产品实现社交泛娱乐、在线教学、互动游戏、互动直播、IoT 等任何实时互动场景应用,竞争最终大奖。

今年的大赛有两个赛道,「应用创新挑战赛道」和「技术创新挑战赛道」,都是面向应用编程爱好者及团队的。本届大赛将继续以“线上编程+线上提交+线上决赛的方式进行。不论你是高校学生、创业者、极客企业,还是个人开发者,只要你爱 Coding,都可以在这里挥洒创意,尽情创造。 快来扫码报名参赛吧

image
:point_up_2:扫码加入大赛交流群

image
:point_up_2:扫码报名大赛

实时场景下的回声消除、降噪算法优化实践

随着语音通信技术的普及,逐渐诞生了越来越多的应用场景需求以及对通话质量越来越高的要求。而这里面的场景既包括不同的声学环境,也包括不同的设备以及运行于其上的系统。在各种不同环境下都能得到优秀的音频通话体验也对音频前端算法提出了更高的要求,特别是鲁棒性以及普适性上的提升。

在 4 月 7 日声网Agora 音频体验高级工程师姚斯强,介绍了声网SDK在回声消除以及信号降噪上的一些优化实践,以及取得的改进成果,特别是如何通过大规模的数据测试来验证算法的改进效果。
:link:点击查看视频回放

如何解决网络损伤对音质与互动实时性的挑战

在实际的用户场景下,网络环境会受到各种因素影响而发生变化。当网络状态不好时,我们可以通过算法来优化传输,但同时也会给音质带来一定的损伤。在 4 月 21 日的 Agora Talk 直播中,声网Agora 音频体验高级工程师李凡将着重分享网络损伤对弱网控制算法的核心挑战,以及声网在大规模实践中取得优化改进成果。
:link:点击查看视频回放

「编码人声」播客栏目上线

编码人声是一档聚焦程序员成长的播客节目,由资深程序员和年轻开发者共同担任主播。邀请不同背景的程序员担任节目嘉宾,分享程序员职业成长、个人成长经验,为程序员听友答疑解惑。本播客节目由津津乐道播客网络与声网联合制作。扫码了解更多详情。

声网动态


声网 X 远程超声:解决基层“看病难”

“名医下基层”一直被视为解决医疗资源不平衡的良方之一,但是名医来一次远不能一劳永逸,名医一直来又不现实。但是实时音视频就可以让名医高频率下基层,远程解决医疗资源不平衡。

近年来,伴随国家大力发展数字化医疗,一些需要借助医疗设备才能完成的视频问诊场景,如“远程超声”、“手术示教”、“远程操作培训”等也在走进基层医院,推动优质医疗资源的下沉。 【捕“光”之旅】第七期文章,我们来聊聊在医疗行业,借助实时音视频技术如何实现远程超声检查,解决基层“看病难”的难题。

广州铱度是一家专注于医联体建设及为各医疗机构提供远程医疗信息化服务解决方案的公司,在远程超声的场景中,县医院的超声科医生通过“铱度”的远程会诊系统连线百公里外的基层卫生院的医师,对多名患者进行一场线上“面对面”的超声会诊,整个会诊过程,借助声网的实时音视频技术,远程会诊系统可以实现高清医疗超声影像的实时传输,医生再根据实时的超声图像对患者进行实时诊断,诊断过程可以做到超低延时、高流畅。
:link: 点击这里,了解更多。

声网 X Yalla:中东年轻人最偏爱的语聊房

日均在线4小时以上,在有钱又有时间的中东人眼里,“聊最久的天,打最豪的赏”不过是常态。“面对面不如线上见”的在线语音互动社交 app 近几年异军突起,深受中东地区用户喜爱,其中以 Yalla 为代表的语音社交平台逐渐成为这届中东年轻人的 “party house”,讨论热门事件、分享生活点滴、交友、送礼…在这里都可以轻松实现。

Yalla Group 成立于2016年,仅仅用了4年多时间就成功在纽交所挂牌上市。凭借对当地风俗文化的深刻洞察及独具匠心的产品设计,其产品长期霸榜 App Store 和 Google Play,如今,Yalla 已成为中东及北非地区最大的语音社交与娱乐平台。根据财报显示,2020年第四季度,其语音社交产品 Yalla 的月活跃用户数达到640.1万,同比增长94.8%,付费用户数达到110.3万, 较去年同期增长100.9%。

从 Yalla Group 成立的那一年起,声网Agora 就开始为 Yalla 提供稳定、可靠、高并发的实时互动解决方案,见证、陪伴了 Yalla Group 一步步成长直至2020年赴美上市的历程。
:link: 点击这里,了解声网与 Yalla 一路以来共同成长的故事。

实时互动赋能创新场景,泛娱乐出海正当时

4月2日,由志象网主办,声网Agora、华为云、金山办公软件、Vonage 联合举办的“中国出海峰会(CGGS2021)·春季论坛——双循环时代的新机遇”在北京开幕。声网Agora 社交泛娱乐产品负责人王奇受邀参会,并发表了题为《声网Agora 实时互动赋能娱乐出海》的主题演讲,受到与会嘉宾的广泛关注。


声网Agora 社交泛娱乐产品负责人 王奇

CGGS 是国内最具影响力的出海峰会,旨在推动中国互联网企业和新经济企业走向全球。本次峰会大咖云集,来自企业及学术研究机构的专家学者从企业、投资机构和学术研究机构等不同视角,围绕“双循环时代的新机遇”,就企业出海展开了讨论和分享。

:link: 点击这里,阅读详细报道。

上海发布第二批特色产业园,声网接受报道采访

4月7日,在2021年上海全球投资促进大会上,上海正式发布第二批14个特色产业园区,并重点推介了“张江在线”、“长阳秀带”等4个特色产业园区。其中“长阳秀带”杨浦在线新经济生态园,以“一带两区”为布局重点,规划总用地面积11190亩,主要吸引在线新经济企业在此落户,例如B站、美团点评、声网等在线新经济头部企业,其中声网作为园区的在线新经济企业代表接受了东方卫视的采访。

2020年4月,上海发布了《上海市促进在线新经济发展行动方案(2020-2022年)》,提出到2022年末,将上海打造成具有国际影响力、国内领先的在线新经济发展高地。此次“长阳秀带”杨浦在线新经济生态园正是上海促进在线新经济发展的重要一环,而声网作为从杨浦区起步成长的实时互动云服务商,几乎与上海在线新经济产业同步发展。

声网公共事务副总裁崔博在接受采访时表示,上海大力发展在线新经济一年来,在教育、医疗、金融、电商、零售等各个领域催生了大量在线新经济企业,他们通过线上+线下的新业态,实现产业的转型升级。对于声网而言,在线新经济的发展也推动声网不断赋能更多的企业与开发者,帮助他们通过实时互动技术快速构建线上的业务场景。

:link: 点击这里,阅读详细报道。

声网入选“最具吸引力雇主品牌”

近日,由InfoQ发起并组织的2021中国技术力量之“最具吸引力雇主品牌”系列榜单结果正式揭晓。声网Agora成功斩获“最受技术高管喜爱的企业 TOP 10”、“学习型组织 TOP 10”两项大奖。与声网一同获奖的还有贝壳找房、字节跳动、得物APP、快手、PingCAP、腾讯等头部科技企业。

本次榜单评选活动共吸引40余家头部科技企业参与,这些企业在垂直技术领域发展、数字化转型等方面各具特色,业务范围涉及大众生活的方方面面。同时,本次活动也吸引了大量开发者的关注,同期进行的网络票选异常火爆,共吸引66316人参与。

本次榜单由近20000名开发者公开票选,20+专家评审,耗时近两个月打磨产生。在综合开发者投票结果、专家评审团评分和 InfoQ 主编团评分后,评选出最终获奖名单。

作者信息
相关专栏
技术月报
33 文章
本专栏仅用于分享音视频相关的技术文章,与其他开发者和声网 研发团队交流、分享行业前沿技术、资讯。发帖前,请参考「社区发帖指南」,方便您更好的展示所发表的文章和内容。