实时音视频
  • iOS
  • Android : Java
  • macOS
  • Windows
  • HarmonyOS
  • Linux
  • Web
  • 小程序
  • Flutter
  • Electron
  • Unreal Engine
  • Unity3D
  • uni-app
  • React Native
  • Cocos Creator
  • 产品简介
  • 下载
  • 体验 App
  • 快速开始
    • 跑通示例源码
    • 集成 SDK
    • 实现视频通话
    • 实时音视频 SDK 与实时语音 SDK 差异
    • 场景化音视频配置
  • 通信能力
  • 房间能力
  • 音频能力
  • 视频能力
  • 直播能力
  • 其他能力
  • 最佳实践
  • 客户端 API
  • 服务端 API
  • 常见错误码
  • 常见问题
  • 文档中心
  • 实时音视频
  • 音频能力
  • 音量变化与音频频谱

音量变化与音频频谱

更新时间:2024-01-31 17:18

功能简介

概念 描述 应用场景 场景图
音量变化
指某条流的音量大小,下文简称为“声浪”。
在推拉流过程中,判断麦上的用户谁在说话,并做 UI 展示。
 
音频频谱
指数字音频信号在各频点的能量值。
在主播 K 歌场景中,已经推流或拉流的前提下,让主播或观众看到音调与音量变化的动画。
   

示例源码下载

请参考 下载示例源码 获取源码。

相关源码请查看 “/ZegoExpressExample/AdvancedAudioProcessing/src/main/java/im/zego/advancedaudioprocessing/soundlevelandspectrum” 目录下的文件。

前提条件

在实现声浪与音频频谱功能之前,请确保:

非混流场景使用步骤

1 监听声浪与音频频谱的回调接口

  • 接口原型

    • 本地采集的声浪回调接口 onCapturedSoundLevelUpdate

      /**
       * 本地采集音频声浪回调
       *
       * 回调通知周期为 100 ms。
       * @param soundLevel 本地采集的声浪值,取值范围为 0.0 ~ 100.0
       */
      public void onCapturedSoundLevelUpdate(double soundLevel){
      
      }
    • 远端音频声浪回调接口 onRemoteSoundLevelUpdate

      /**
       * 远端拉流音频声浪回调
       *
       * 回调通知周期为 100 ms。
       * @param soundLevels 远端的声浪键值对,key 为流 ID,value 为对应的流的声浪值,value 取值范围为 0.0 ~ 100.0
       */
      public void onRemoteSoundLevelUpdate(HashMap<String, Double> soundLevels){
      
      }
    • 本地采集的音频频谱回调接口 onCapturedAudioSpectrumUpdate

      /**
       * 本地采集音频频谱回调
       *
       * 回调通知周期为 100 ms。
       * @param audioSpectrum 本地采集的音频频谱值数组,频谱值范围为 [0-2^30]
       */
      public void onCapturedAudioSpectrumUpdate(float[] audioSpectrum){
      
      }
    • 远端拉流音频频谱回调接口 onRemoteAudioSpectrumUpdate

      /**
       * 远端拉流音频频谱回调
       *
       * 回调通知周期为 100 ms。
       * @param audioSpectrums 远端音频频谱键值对,key 是流 ID,value 为对应的流的音频频谱值数组,频谱值范围为 [0-2^30]
       */
      public void onRemoteAudioSpectrumUpdate(HashMap<String, float[]> audioSpectrums){
      
      }
  • 调用示例

    远端拉流声浪和远端音频频谱的回调给的是 HashMapkey 是当前房间内正在推流的其他用户的流 ID,value 是对应这条流的声浪/音频频谱数据。

    可先通过 onRoomStreamUpdate 回调方法获取到当前房间内存在的流列表,并保存起来,然后通过保存的流列表来索引 HashMap 取得每条流对应的声浪/音频频谱数据。

    以下示例将演示如何从回调方法中获取到声浪/音频频谱的数据并传递给 UI,具体渲染到 UI 上的逻辑请参考 声浪和频谱 模块相关的代码。

    class MyEventHandler extends IZegoEventHandler
    {
        @override
        public void onCapturedSoundLevelUpdate(double soundLevel) {
            // 开发者可以在这里进行获取本地声浪数据之后渲染到具体的 UI 控件上
        }    
        @override
        public void onRemoteSoundLevelUpdate(HashMap<String, Double> soundLevels) {
            // 开发者可以在这里进行获取远端声浪数据之后渲染到具体的 UI 控件上
        }
        @override
        public void onCapturedAudioSpectrumUpdate(double[] audioSpectrum) {
            // 开发者可以在这里进行获取本地音频频谱数据之后渲染到具体的 UI 控件上
        }
        @override
        public void onRemoteAudioSpectrumUpdate(HashMap<String, double[]> audioSpectrums) {
            // 开发者可以在这里进行获取远端音频频谱数据之后渲染到具体的 UI 控件上
        }
    }

2 启动监听声浪与音频频谱的回调的开关

可分别针对声浪或音频频谱,启动调用监听对应回调的开关。

3 停止监听声浪与音频频谱的回调的开关

可分别针对声浪或音频频谱,调用停止监听对应回调的开关。

混流场景使用步骤

  • 混流,是将多路流混合成一路流的功能。当客户需要展示混流前各条流的声浪信息时,即可使用混流声浪的功能。由于混流的输出是单流,使用混流输出流的声浪信息是无法满足展示各条输入流声浪的需求。此时需要在混流时,在流信息里携带输入流的声浪信息,然后在拉取混流输出流时,从流信息里解析出各条输入流的声浪信息。
  • 当从流信息里解析出各条输入流的声浪信息时,我们获得的是各条输入流对应声浪的值,就是一个字典。字典里面的 key 是流的标识符,value 是声浪值。但是由于流信息的大小限制,key 不能使用流 ID,只能用一个数字 ID(soundLevelID)来标识流。
  • 在手动混流配置中,需要开发者维护数字 ID(soundLevelID)和流 ID 的关联关系。在回调中,开发者会得到数字 ID(soundLevelID)和对应声浪信息。
  • 在房间自动混流中,混流服务端和 SDK 会自动处理数字 ID 和流 ID 的关联。在回调中,开发者得到的是流 ID 对应声浪信息。

1 监听混流声浪的回调接口

  • 接口原型

    • 手动混流中每条单流的声浪更新回调接口 onMixerSoundLevelUpdate

      /**
       * 混流中每条单流的声浪更新回调
       *
       * 回调通知周期为 100 ms。
       * @param soundLevel 混流中每条单流的声浪键值对,key 为每条单流的 soundLevelID,value 为对应的单流的声浪值。取值范围:value 的取值范围为 0.0 ~ 100.0。
       */
      public void onMixerSoundLevelUpdate(HashMap<Integer, Float> soundLevels){
      
      }
    • 自动混流中每条单流的声浪更新回调接口 onAutoMixerSoundLevelUpdate

      /**
       * 自动混流中每条单流的声浪更新回调
       *
       * 回调通知周期为 100 ms。
       * @param soundLevels 混流中每条单流的声浪键值对,key 为每条单流的 streamID,value 为对应的单流的声浪值,value 的取值范围为 0.0 ~ 100.0
       */
      public void onAutoMixerSoundLevelUpdate(HashMap<String, Float> soundLevels){
      
      }

2 启动监听声浪回调的开关

在开始/更新混流时,可启动监听声浪回调的开关。

  • 手动混流场景

    调用 startMixerTask 接口发起一个手动混流任务时,设置 soundLevel 参数为 True 可启动声浪的监听,并为每条输入流指定设置唯一的 soundLevelID

    ZegoMixerTask task = new ZegoMixerTask();
    task.taskID = "task123";
    // 开启混流声浪
    task.soundLevel = true;
    
    ZegoMixerInput input = new ZegoMixerInput();
    // 给输入流分配一个 soundLevelID
    input.soundLevelID = 123;
    
    // 其他配置
    
    mSDKEnging.startMixerTask(task, null);
  • 自动混流场景

    调用 startAutoMixerTask 接口发起一个自动混流任务时,设置 enableSoundLevel 参数为 True 可启动声浪的监听:

    ZegoAutoMixerTask task = new ZegoAutoMixerTask();
    task.taskID = "autotask123";
    // 开启混流声浪
    task.enableSoundLevel = true;
    // 其他配置
    
    mSDKEnging.startAutoMixerTask(task, null);

3 停止监听声浪回调的开关

在更新混流任务时,可设置停止监听声浪回调的开关。

  • 手动混流场景

    在调用 startMixerTask 的客户端接口更新一个混流任务时,设置 soundLevel 参数为 False 可停止声浪的监听:

    ZegoMixerTask task = new ZegoMixerTask();
    // taskID 要和之前的保持一致
    task.taskID = "task123";
    // 停止监听混流声浪
    task.soundLevel = false;
    
    mSDKEnging.startMixerTask(task, null);
  • 自动混流场景

    调用 startAutoMixerTask 的客户端接口更新一个自动混流任务时,设置 enableSoundLevel 参数为 False 可停止声浪的监听:

    ZegoAutoMixerTask task = new ZegoAutoMixerTask();
    // taskID 要和之前的保持一致
    task.taskID = "autotask123";
    // 停止监听混流声浪
    task.enableSoundLevel = false;
    
    mSDKEnging.startAutoMixerTask(task, null);

相关文档

本篇目录