场景化 AI 降噪

实时自动识别不同的场景，智能调整 AI 降噪策略，提供最佳的降噪及音质效果。目前支持两种常见降噪场景：

• 通话场景下，将除人声外的所有声音识别为噪音并进行消除。 在消除稳态噪声（详情请参考 音频 3A 处理）的基础上，有效消除非稳态噪声且实现人声高保真，主要噪声包括鼠标、键盘、敲击、空调、厨房碗碟、嘈杂餐厅、环境风声、咳嗽、吹气等非人声的噪声，以及小房间的人声混响。
• 音乐场景下，自动调整降噪效果，还原音乐音质。 实时对 mic 输入进行音乐检测，在声卡、弹唱或近场音乐场景下，自动调整降噪等级，保证音乐的高保真音质。

功能优势

• 能消除 80% 的噪声。
• 延迟低。
• 占用内存少，和传统降噪基本一致。
• CPU 使用率低。
• 音乐场景识别准确率达 99%。

使用场景

本功能适用于语音房、会议、语音开黑等 1v1 或多人音视频通话场景，以及声卡、弹唱、近场音乐的直播或者在线 KTV 场景。

可消除的噪声

开发者可以使用本功能，消除以下噪音：

效果展示

办公室

原始音频包含：鼠标点击声、键盘声、鼓掌声、摩擦声、办公室嘈杂声、空调声等。

AI 降噪后：

公共场所

原始音频包含：雨声、电车声、炒菜声、汽车呼啸声等。

AI 降噪后：

音乐场景

原始音频：

常规 AI 降噪：消除噪音，但音乐损伤大。

场景化 AI 降噪后：消除噪音，音乐品质保真。

前提条件

在实现 AI 降噪功能之前，请确保：

• 已在项目中集成 ZEGO Express SDK，实现基本的实时音视频功能，详情请参考 快速开始 - 集成 和 快速开始 - 实现流程。
• 已在 ZEGO 控制台 创建项目，并申请有效的 AppID 和 AppSign，详情请参考 控制台 - 项目信息。

使用步骤

开发者可以按照以下步骤完成 AI 降噪的相关设置：

1. 请联系 ZEGO 技术支持配置开启音乐检测功能。如果已开启，请忽略该步骤。

2. 初始化和登录房间的具体流程，请参考实现视频通话文档中的 “3.1 创建引擎” 及 “3.2 登录房间”。

   enableANS 和 setANSMode 都需要在 startPublishingStream、startPlayingStream、startPreview、createMediaPlayer 和 createAudioEffectPlayer 这些接口之前调用才有效。

3. 调用 enableANS 接口，开启噪声抑制，该功能开启后可以使人声更加清晰。

4. 开启噪声抑制后，开发者可通过调用 setANSMode 接口，设置 ANS 模式，开启 AI 降噪功能。以下展示了部分 AI 降噪模式，更多模式请参考 ZegoANSMode。

// 开启 ANS
engine.enableANS(true);
// 注意：设置 ANS 模式 ZegoANSMode 后，ZEGO Express SDK 会强制关闭瞬态噪声抑制 [enableTransientANS]
engine.setANSMode(ZegoANSMode.AI);
// 可选，设置为 AI_BALANCED 模式
engine.setANSMode(ZegoANSMode.AI_BALANCED);