RTC 月度小报（2022二月期）｜视频图像色彩增强、Agora Lipsync、MetaLive…… - 专栏

本月亮点速览

开发者社区：

视频图像色彩增强的主要方法与落地实践

网络损伤工具大乱斗

实践中的摸爬滚打，AI OPS 落地之路

声网AI降噪测评系统初探

被冰封的 Bug：Fishhook Crash 修复纪实

播客丨什么？程序员都是「时间管理大师」

声网产品与技术：

声网 Native SDK 3.6.2 更新

声网 Flutter SDK 5.0 更新

声网 MetaLive 元直播解决方案发布

声网 MILE 互动游戏解决方案发布

揭秘声网Agora Lipsync：通过实时语音驱动人像模拟真人说话

声网生态动态：

声网携手亚马逊云科技、微软、Google Cloud 、Oracle 助力创业企业

声网公布 2021 年 Q4 及全年财报

生态案例丨这盏 AR“神灯”，能让任意平面秒变互动课堂

开发者社区

视频图像色彩增强的主要方法与落地实践

色彩增强作为视频后处理中画质增强技术的一部分，指的是通过调整图片和视频画面的饱和度特性，使得画面色彩更加丰富和逼真，提升人的视觉主观感受。由于设备摄像头的多样性，部分摄像头在视频采集时存在饱和度不足，画面发灰，色彩寡淡等问题，这些情况在拍摄室外景物和颜色丰富的场景时尤其容易出现。这些问题可以通过算法的后处理调整进行改善。色彩增强配合视频降噪，暗光增强，对比度调整，边缘增强等技术，可以对视频画质起到较大的提升作用。

点击上方小标题，来看看声网技术团队咋视频图像色彩增强方面的实践经验。

image1116×632 45.1 KB

网络损伤工具大乱斗

实时网络产品依靠准确的带宽估计、高效的丢包对抗、合理的前向纠错等能力提高端到端通信质量、降低端到端通信延迟。而拥有可靠且高效的评价产品对于提升弱网对抗能力就变的至关重要。在 2 月的 DevforDev 专栏中，声网技术团队对比主流网络损伤工具的功能。点击上方小标题，即可阅读。

实践中的摸爬滚打，AI OPS 落地之路

AI Ops 是将机器学习应用于运维领域，进一步解决自动化运维无法解决的复杂问题。目前传统的 OPS 主要存在三大痛点：7 D × 24 H 无间断运维保障、运维执行的质量以及执行效率问题。声网Agora SD - RTN 网络传输质量负责人于涛针对传统 OPS 痛点、AI OPS 的优势以及 AI OPS 工程化的难点进行了全面的分析，并分享了声网研发团队关于 AI OPS 落地实践过程中的经验。

声网AI降噪测评系统初探

音频质量的优化是一个复杂的系统工程，而降噪是这个系统工程中的一个重要环节，传统的降噪技术经过几十年的发展已经陷入了瓶颈期，尤其是对非平稳噪声的抑制越来越不能满足新场景的需求。而近几年以机器学习/深度学习为代表的AI技术的崛起，为特殊场景下的音频降噪带来了新的解决方案。声网Agora 伴随着在线音视频直播服务的发展逐渐形成了自己的积淀，声网Agora 音频技术团队分享了特殊场景下的音频测评系列文章──AI降噪评测系统初探。由于业界对于音频的评价标准尚存在不同的意见，因此声网Agora 的实践更偏重从有参到无参的工程化落地，在此抛砖引玉，希望与业界同仁多多交流。

被冰封的 Bug：Fishhook Crash 修复纪实

Fishhook 是一个由 Meta 公司开源的第三方框架，它能够在模拟器和设备上动态地重新绑定运行在 iOS/macOS 上的 Mach-O 二进制文件的符号，从而实现动态修改 C 语言函数，常用于应用的调试/追踪。这个框架只包含两个核心文件：fishhook.c以及 fishhook.h 所以非常轻量，在许多企业级应用中颇受青睐。然而这个以精练著称的开源项目中，却埋藏着一个不易察觉的问题……

随着 iOS 15 Beta 版的发布，许多开发者发现了普遍的应用程序崩溃──这通常由系统兼容性问题引发，而随着排查过程的不断深入，我们发现问题并没有那么简单。起初，开发者把问题反馈到 Fishhook 之后，有不同的团体和个人贡献了好几个修复的PR，但都未能从根本上解决这个问题。在仔细分析了 iOS 和 macOS 的操作系统内核 XNU 源码后，我们最终定位到了问题的 RootCause。我们复盘了这次修复 Bug 的过程。

播客丨什么？程序员都是「时间管理大师」

提起程序员，我们总会把总加班、996、熬夜这些标签贴在他们身上，而程序员群体真的都是这个样子么？程序员是怎样做时间管理的，优秀的程序员在工作之余都在思考哪些事情，而他们是如何平衡生活、工作、个人成长之间的关系的呢？

新一期的「编码人声」播客栏目，我们请来几位比较资深的开发者，请他们聊一聊他们的经验，希望能够帮助到刚刚入行的程序员朋友们，让他们尽快摆脱996“魔咒”。欢迎扫码收听。

image1236×1986 118 KB

产品与技术

声网 Native SDK 3.6.2 更新

声网 Native SDK 3.6.2 版本于 2 月 22 号已更新并发布至官网，同时分别上传了 jitpack/mavencentral/cocoapods 等三方发布渠道，此版本有诸多新特性，例如：

WIFI 音视频加速

该版本新增支持并默认开启 Wi-Fi 加速功能。当 SDK 发现集成加速插件的 Wi-Fi 路由器后，该功能会正式生效，使路由器合理分配 Wi-Fi 频谱资源，以降低丢包率和时延，从而减少音视频卡顿。

当路由器提供加速服务后，SDK 会周期性触发 onWlAccStats 回调，报告 Wi-Fi 加速效果，并在 Wi-Fi 连接质量不佳时触发 onWlAccMessage 回调，报告 Wi-Fi 连接质量不佳的原因和改善 Wi-Fi 连接的操作建议。

如果你不需要使用 Wi-Fi 加速功能，可以在加入频道前调用 enableWirelessAccelerate(false) 关闭该功能。

视频增强

继基础美颜后，Agora 新增支持更多视频增强功能（我们在此之前分享过相关技术干货）：

视频降噪：该功能可以降低视频噪声，提升视频画质。你可以通过 setVideoDenoiserOptions 方法设置开/关视频降噪和视频降噪效果选项。
暗光增强：该功能可在光线亮度偏低（如背光、阴天、暗场景）和亮度不均匀的环境下自适应调整视频画面的亮度值，恢复或凸显图像的细节信息，提升视频图像的整体视觉效果。你可以通过 setLowLightEnhanceOptions 方法设置开/关暗光增强和暗光增强效果选项。
色彩增强：该功能可智能调节饱和度和对比度等视频特性，提升视频色彩丰富度和色彩还原度，使视频画面更生动。你可以通过 setColorEnhanceOptions 方法设置开/关色彩增强和色彩增强效果选项。

更多详细信息，请访问声网文档中心查看：文档中心 - 声网Agora

声网 Flutter SDK 5.0 更新

声网 Flutter v5.0.0 SDK 于 2022 年 2 月 22 日同时发布至国内和海外官网，Flutter v5.0.0 基于 Native v3.5.2 封装，该版本亮点如下：

支持 Flutter2
新增支持 Windows 和 macOS 平台
全平台架构升级，基于 IRIS 框架开发
Windows、macOS 支持双流，可以同时推摄像头流和屏幕共享流

更多详细信息，请访问声网文档中心查看：文档中心 - 声网Agora

声网 MetaLive 元直播解决方案发布

声网 MetaLive 元直播解决方案，大家想要的这里都有：捏脸换装自定义专属 Avatar，多种形象模式丝滑切换，虚拟直播也可以实现“千人千面”；沉浸式 3D 场景，化身游戏中的 Avatar 与主播一同探险，更有精彩剧情、专属道具等待解锁…诸多花式互动玩法助力开发者与企业拓展更为广阔的业务增长空间。

我们发布了声网 MetaLive 元直播解决方案，支持 AR 模式、虚拟形象、真实面貌 3 种形象模式，用户可以根据自身需要在相应直播场景中一键切换出镜形象，还支持通过道具打赏的方式改变主播出镜形象。同时，声网 MetaLive 元直播解决方案提供了一种创新的直播形式：3D 超级直播秀，边玩边直播，观众甚至可以加入主播一起探索新剧情。

声网 MILE 互动游戏解决方案发布

做直播，烧钱买流量，用户留存却是个问题。做社交，用户留存有了，却不知道如何变现。做游戏，单独开发成本高，发行费用也高…是否能有一个解决方案将直播、社交、游戏等这些热门场景串联起来，既解决企业与开发者关心的活跃、留存与变现等问题，还能为用户带来强参与感，降低社交门槛？

声网 MILE 互动游戏解决方案，将当下爆款互动小游戏与语聊房、秀场直播、视频群聊、1V1 视频聊天等当下火热的社交场景进行深度融合， 助力企业和开发者打造百变多样玩法，更有流水暴增秘籍——直播间游戏PK。主播之间游戏PK，观众向心仪主播送礼物以影响游戏进程，为主播助力。引入“竞争性”，既能为观众带来更强的参与感，又能激发观众更高频的刷礼互动，为平台带来可观的流水和收入，可谓一箭双雕。

更多详情，请点击： 刷火箭不如一起玩，这直播间能处！

揭秘声网Agora Lipsync

声网自研了一套 Agora Lipsync（唇音同步）技术，通过它，你无需打开摄像头，无需面部捕捉技术，只需上传一张/多张人脸头像，就可以仅凭说话人的语音音频信号，让人脸头像的嘴部根据发音动起来。这套技术通过深度学习算法中的生成对抗网络，将中英文（或其他语种）发音的嘴型、面部表情智能关联起来，驱动人像模拟真人说话嘴型，支持 2D 人像图片和 3D 人像模型。

声网动态

声网携手亚马逊云科技、微软、Google Cloud 、Oracle 助力创业企业

受疫情影响，以及 5G、AI、VR 等技术高速发展的推动，近两年来涌现了越来越多聚焦于实时互动领域的创新创业企业，为帮助这类企业快速成长以及创新场景探索落地，声网携手全球知名企业亚马逊云科技、微软、Google Cloud、Oracle 为“超音速计划”成员企业提供不同程度的云技术服务优惠权益，助力实时互动领域的创业者以更低成本挖掘创新场景解决方案，为实现产品和技术创新提供更多可能。

声网公布 2021 年 Q4 及全年财报

2 月 23 日，全球实时互动云服务商声网Agora（NASDAQ：API）公布了 2021 年第四季度及全年财报。财报显示，第四季度声网实现营收 4039 万美元，同比增长 21.5%。2021 年全年，总营收 1.68 亿美元，同比增长 25.8%。

客户规模方面， 截至 2021 年 12 月 31 日，声网全球注册应用超 40.5万，同比增长 48.9%；全球活跃客户数量达 2670 家，同比增长 27.4%。同时，2021 年全年声网提供的 RTE 服务分钟数已超 6000 亿分钟。

“第四季度，我们以强劲的业绩增长结束了 2021 年。这一年，声网的实时互动用量持续增长，我们的 SDK 在全球应用的安装覆盖率也已远远超越竞争对手。”声网Agora 创始人兼 CEO 赵斌表示，“我们持续为元宇宙场景打造创新解决方案和技术，如 MetaKTV 、 MetaChat 和 3D 空间音频，通过它们赋能开发者在虚拟世界中创建无边界的实时互动体验，并加强我们作为元宇宙首要基础设施服务商的地位。”

生态案例丨这盏 AR“神灯”，能让任意平面秒变互动课堂

在今年年初，深光科技参与了声网生态的“超音速计划”和“声选计划”，在 AR 台灯产品的打磨优化过程中，声网除了提供「超音速大礼包」的免费百万音视频通话分钟等多种技术和产品赋能外，更是通过自己的生态技术合作兼渠道合作伙伴科大讯飞在智能语音、交互解决方案上提供了技术加持。