混流

功能简介

概述

混流是把多路音视频流从云端合并成一路流的技术，也称合流。开发者只需要拉取合并后的流就能看到房间内所有成员的画面，听到房间内所有成员的声音，无需分别管理房间内的每一条流。

本篇文档主要介绍通过客户端发起混流的操作说明，如果你需要通过自己的服务端发起混流，请参考 服务端 API - 开始混流。

混流方式分类

ZEGO 支持手动混流、自动混流和全自动混流三种方式，三种混流方式的区别如下：

优点

• 降低了开发实现上的复杂性。比如当有 N 个主播进行连麦，如果采用混流，观众端不必同时拉 N 路视频流，开发实现上省去了拉 N 路流并布局的步骤。
• 降低了对设备的性能要求，减少设备的性能开销和网络带宽的负担。比如当连麦方过多时，观众端需要拉 N 路视频流，需要设备硬件上能支持同时拉 N 路流。
• 转推多路 CDN 实现简单，只需要在混流配置时按需增加输出流。
• 观众端需要回放多主播连麦视频时，仅需要在 CDN 上开启录制的配置。
• 鉴黄时只需要观察一个画面，不必再同时查看多个画面。

示例源码下载

请参考 下载示例源码 获取源码。

相关源码请查看 “/ZegoExpressExample/Examples/Others/Mixer” 目录下的文件。

前提条件

在实现混流功能之前，请确保：

• 已在 ZEGO 控制台 创建项目，并申请有效的 AppID 和 AppSign，详情请参考 控制台 - 项目信息。
• 已在项目中集成 ZEGO Express SDK，并实现了基本的音视频推拉流功能，详情请参考 快速开始 - 集成 和 快速开始 - 实现流程。

实现流程

混流的主要流程如下：

1. 房间内的用户推 A 流和 B 流到 ZEGO 实时音视频云服务器上。
2. ZEGO 实时音视频云服务器可以根据需要配置推混流或者推单独的 A 流和 B 流到 CDN 服务器。（采用 RTMP 协议）
3. 拉流端根据需要从 CDN 服务器上拉混流，也可以拉单独的 A 流和 B 流（支持 RTMP、FLV、HLS 等协议）。

手动混流使用步骤

手动混流可自定义控制混流任务和混流内容，包括输入流、混流布局等，常用于多人互动直播和跨房间连麦场景。支持手动混视频流和音频流。

开发者可通过 SDK 或 ZEGO 服务端 API 实现手动混流功能，服务端相关接口请参考 开始混流 和 停止混流。

以下介绍如何使用 SDK 实现手动混流。

1 初始化并登录房间.

请参考 快速开始 - 实现流程 的 “创建引擎” 和 “登录房间” 完成房间登录。

2 设置混流配置

ZegoMixerTask 是 SDK 中定义的混流任务配置对象，其中包含输入流布局、输出流等信息。

// 混流任务对象
@interface ZegoMixerTask : NSObject

- (instancetype)init NS_UNAVAILABLE;

// 通过 TaskID 构造一个混流任务对象
- (instancetype)initWithTaskID:(NSString *)taskID;

// 混流任务 ID
@property (nonatomic, copy, readonly) NSString *taskID;

// 设置混流任务对象的音频配置
- (void)setAudioConfig:(ZegoMixerAudioConfig *)audioConfig;

// 设置混流任务对象的视频配置
- (void)setVideoConfig:(ZegoMixerVideoConfig *)videoConfig;

// 设置混流任务对象的输入流列表
- (void)setInputList:(NSArray<ZegoMixerInput *> *)inputList;

// 设置混流任务对象的输出列表
- (void)setOutputList:(NSArray<ZegoMixerOutput *> *)outputList;

// 设置混流任务对象的水印
- (void)setWatermark:(ZegoWatermark *)watermark;

// 设置混流任务对象的背景图片
- (void)setBackgroundImageURL:(NSString *)backgroundImageURL;

@end

2.1 创建混流任务对象

通过构造函数 initWithTaskID 新建一个混流任务对象，然后调用实例方法分别设置输入、输出等参数。

ZegoMixerTask *task = [[ZegoMixerTask alloc] initWithTaskID:@"task-1"];

// 保存该混流任务对象
self.mixerTask = task;

2.2 （可选）设置混流视频配置

ZegoMixerVideoConfig *videoConfig = [[ZegoMixerVideoConfig alloc] init];
[task setVideoConfig:videoConfig];

2.3 （可选）设置混流音频配置

[task setAudioConfig:[ZegoMixerAudioConfig defaultConfig]];

2.4 设置混流输入流

根据实际业务场景，定义输入的视频流 ZegoMixerInput 列表，设置其中每条视频流的 “layout” 参数来对每条输入流的画面进行布局，由 ZEGO 实时音视频云服务器将输入流进行混合，输出在一个画面中的混流。

输入流的布局以输出混流画面的左上角为坐标系原点，参考原点设置输入流的布局，即将 CGRect(left, top, width, height) 传入输入流的 “layout” 参数。此外，输入流的图层层次由输入流在输入流列表中的位置决定，在列表中的位置越后，表示图层层次越高。

Rect 参数说明如下：

假设启动一个输出画面为 375×667 分辨率的混流任务，输入流为一条大小为 150×150，位于距左侧 50，距顶部 300 的混流，则需将 CGRect(50, 300, 150, 150) 传入输入流的 “layout” 参数。

那么这条输入流在最终的输出混流中的位置如下所示：

开发者可参考以下示例代码实现常见的混流布局：两个画面水平平铺、四个画面水平垂直平铺、一个大画面铺满和两个小画面悬浮。

以下布局示例皆以 360×640 分辨率进行说明。

混流布局示例 1：两个画面水平平铺

// 填写第一条输入流配置，每条输入流需要设置 Stream ID (该参数中的值必须是输入流的实际 ID），输入流类型，布局等等
CGRect firstRect = CGRectMake(0, 0, 180, 640);
ZegoMixerInput *firstInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_1" contentType:ZegoMixerInputContentTypeVideo layout:firstRect];
firstInput.renderMode = ZegoMixRenderModeFill;

// 输入流的文字水印 
firstInput.label.text = @"text watermark";
firstInput.label.left = 0;
firstInput.label.font.type = ZegoFontTypeSourceHanSans;
firstInput.label.top = 0;
firstInput.label.font.color = 123456;
firstInput.label.font.size = 24;
firstInput.label.font.transparency = 50;

// 填写第二条输入流配置 
CGRect secondRect = CGRectMake(180, 0, 180, 640);
ZegoMixerInput *secondInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_2" contentType:ZegoMixerInputContentTypeVideo layout:secondRect];
secondInput.renderMode = ZegoMixRenderModeFill;

// 输入流的文字水印 
secondInput.label.text = @"text watermark";
secondInput.label.left = 0;
secondInput.label.font.type = ZegoFontTypeSourceHanSans;
secondInput.label.top = 0;
secondInput.label.font.color = 123456;
secondInput.label.font.size = 24;
secondInput.label.font.transparency = 50;

// 设置混流输入 

NSArray<ZegoMixerInput *> *inputArray = @[firstInput, secondInput];

[task setInputList:inputArray];

混流布局示例 2：四个画面水平垂直平铺

ZegoMixerInput *firstInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_1" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(0, 0, 180, 320)];
firstInput.renderMode = ZegoMixRenderModeFill;

// 输入流的文字水印 
firstInput.label.text = @"text watermark";
firstInput.label.left = 0;
firstInput.label.font.type = ZegoFontTypeSourceHanSans;
firstInput.label.top = 0;
firstInput.label.font.color = 123456;
firstInput.label.font.size = 24;
firstInput.label.font.transparency = 50;

ZegoMixerInput *secondInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_2" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(180, 0, 180, 320)];
secondInput.renderMode = ZegoMixRenderModeFill;

// 输入流的文字水印 
secondInput.label.text = @"text watermark";
secondInput.label.left = 0;
secondInput.label.font.type = ZegoFontTypeSourceHanSans;
secondInput.label.top = 0;
secondInput.label.font.color = 123456;
secondInput.label.font.size = 24;
secondInput.label.font.transparency = 50;

ZegoMixerInput *thirdInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_3" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(0, 320, 180, 320)];
thirdInput.renderMode = ZegoMixRenderModeFill;

// 输入流的文字水印 
thirdInput.label.text = @"text watermark";
thirdInput.label.left = 0;
thirdInput.label.font.type = ZegoFontTypeSourceHanSans;
thirdInput.label.top = 0;
thirdInput.label.font.color = 123456;
thirdInput.label.font.size = 24;
thirdInput.label.font.transparency = 50;

ZegoMixerInput *forthInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_4" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(180, 320, 180, 320)];
forthInput.renderMode = ZegoMixRenderModeFill;
forthInput.label.text = @"text watermark";
forthInput.label.left = 0;
forthInput.label.font.type = ZegoFontTypeSourceHanSans;
forthInput.label.top = 0;
forthInput.label.font.color = 123456;
forthInput.label.font.size = 24;
forthInput.label.font.transparency = 50;

// 设置混流输入 
NSArray<ZegoMixerInput *> *inputArray = @[firstInput, secondInput, thirdInput, forthInput];
[task setInputList:inputArray];

混流布局示例 3：一个大画面铺满和两个小画面悬浮

输入流的图层层次由输入流在输入流列表中的位置决定，在列表中的位置越后，表示图层层次越高。如以下示例代码所示，第 2 条输入流的图层层次和第 3 条输入流的图层层次则比第 1 条输入流的层次要高，则第 2 条和第 3 条流悬浮第 1 条流的画面上。

ZegoMixerInput *firstInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_1" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(0, 0, 360, 640)];


ZegoMixerInput *secondInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_2" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(230, 200, 110, 200)];

ZegoMixerInput *thirdInput = [[ZegoMixerInput alloc] initWithStreamID:@"streamID_3" contentType:ZegoMixerInputContentTypeVideo layout:CGRectMake(230, 420, 110, 200)];

// 设置混流输入 
NSArray<ZegoMixerInput *> *inputArray = @[firstInput, secondInput, thirdInput];
[task setInputList:inputArray];

2.5 设置混流输出

混流输出最多可设置 3 个。当输出目标为 URL 格式时，目前只支持 RTMP URL 格式：rtmp://xxxxxxxx，且不能传入两个相同的混流输出的地址。

以下代码演示输出到 ZEGO 服务器（流 ID 为 “output-stream”）：

NSArray<ZegoMixerOutput *> *outputArray = @[[[ZegoMixerOutput alloc] initWithTarget:@"output-stream"]];
[task setOutputList:outputArray];

2.6 （可选）设置混流图片水印

ZegoWatermark *watermark = [[ZegoWatermark alloc] initWithImageURL:@"preset-id://zegowp.png" layout:CGRectMake(0, 0, videoConfig.resolution.width/2, videoConfig.resolution.height/20)];
[task setWatermark:watermark];

2.7 （可选）设置混流背景图片

[task setBackgroundImageURL:@"preset-id://zegobg.png"];

2.8 （可选）设置混流声浪回调

[task enableSoundLevel:YES];

2.9 （可选）设置高级配置

// 指定混流输出视频格式为 vp8 ，使用特定的推流协议才能生效。
NSDictionary *config = @{@"video_encode": @"vp8"};
[task setAdvancedConfig: config];

// 如果混流输出视频格式设为 vp8，请同步设置音频编码格式为 LOW3，设置方可生效。
ZegoMixerAudioConfig *audioConfig = [ZegoMixerAudioConfig defaultConfig];
audioConfig.codecID = ZegoAudioCodecIDLow3;
[task setAudioConfig:audioConfig];

3 开始混流任务

完成了 ZegoMixerTask 混流任务对象的配置后，调用开始混流的接口以启动这个混流任务，并在回调 Block 中处理启动混流任务失败的逻辑。

[self.engine startMixerTask:task callback:^(ZegoMixerStartResult * _Nonnull result) {
    if (result.errorCode == 0) {
        NSLog(@"Start mixer task success");
    } else {
        NSLog(@"Start mixer task fail");
    }
}];

4 更新混流任务的配置

当混流信息发生变更时，例如混流的输入流列表发生增减、调整混流视频输出码率等，修改该混流任务对象的参数，然后再调用一次 startMixerTask 接口即可更新配置。

以下代码演示进行混流任务途中添加一条输入流，上中下布局：

CGRect firstRect = CGRectMake(0, 0, videoConfig.resolution.width, videoConfig.resolution.height/3);
ZegoMixerInput *firstInput = [[ZegoMixerInput alloc] initWithContentType:ZegoMixerInputContentTypeVideo streamID:@"stream-1" layout:firstRect];

CGRect secondRect = CGRectMake(0, videoConfig.resolution.height/3, videoConfig.resolution.width, videoConfig.resolution.height*(2/3));
ZegoMixerInput *secondInput = [[ZegoMixerInput alloc] initWithContentType:ZegoMixerInputContentTypeVideo streamID:@"stream-2" layout:secondRect];

CGRect thirdRect =CGRectMake(0, videoConfig.resolution.height*(2/3), videoConfig.resolution.width, videoConfig.resolution.height);
ZegoMixerInput *thirdInput = [[ZegoMixerInput alloc] initWithContentType:ZegoMixerInputContentTypeVideo streamID:@"stream-3" layout:thirdRect];

NSArray<ZegoMixerInput *> *inputArray = @[firstInput, secondInput, thirdInput];

// 重新设置之前保存的混流对象的输入流列表
[self.mixerTask setInputList:inputArray];

// 再调用一次启动混流任务接口，即可更新混流配置
[self.engine startMixerTask:self.mixerTask callback:^(ZegoMixerStartResult * _Nonnull result) {
    if (result.errorCode == 0) {
        NSLog(@"Start mixer task success");
    } else {
        NSLog(@"Start mixer task fail");
    }
}];

5 停止混流

// 传入正在混流中的 taskID 以停止该混流任务
[self.engine stopMixerTask:self.mixerTask.taskID];

自动混流使用步骤

1 初始化并登录房间

请参考 快速开始 - 实现流程 中的的 “创建引擎” 和 “登录房间” 完成初始化和房间登录。

2 设置混流配置

ZegoAutoMixerTask 是 SDK 中定义的自动混流任务配置对象，通过配置该对象可定制化自动混流任务。

2.1 创建自动混流任务对象

新建一个自动混流任务对象，然后分别设置输入、输出等参数。

• 一个房间内只能存在一个自动混流任务 ID，即保证自动混流任务 ID 的唯一性，建议自动混流任务 ID 与房间 ID 关联，可直接使用房间 ID 作为自动混流任务 ID。
• 需要自动混流的房间 ID，如果房间不存在则无法自动混流。

ZegoAutoMixerTask *task = [[ZegoAutoMixerTask alloc] init];

task.taskID = @"taskID1";
task.roomID = @"roomID1";

2.2 （可选）设置自动混流音频配置

ZegoMixerAudioConfig *audioConfig = [ZegoMixerAudioConfig init];

// 音频码率，单位为 kbps，默认为 48 kbps，开始混流任务后不能修改
audioConfig.bitrate = 48;

// 音频声道，默认为 ZegoAudioChannelMono 单声道
audioConfig.channel = ZegoAudioChannelMono;

// 编码 ID，默认为 ZEGO_AUDIO_CODEC_ID_DEFAULT
audioConfig.codecID = ZegoAudioCodecIDNormal;

// 多路音频流混音模式，默认为 ZegoAudioMixModeRaw
audioConfig.mixMode = ZegoAudioMixModeRaw;

[task setAudioConfig:audioConfig];

2.3 设置自动混流输出列表

通过 ZegoMixerOutput 设置自动混流输出列表，用户可以从列表中的输出目标拉取混流。

// 混流输出目标，URL 或者流 ID
NSArray<ZegoMixerOutput *> *outputArray = @[[[ZegoMixerOutput alloc] initWithTarget:@"output-stream"]];
[task setOutputList:outputArray];

2.4 （可选）设置自动混流声浪回调

task.enableSoundLevel = YES;

3 开始自动混流任务

完成了 ZegoAutoMixerTask 自动混流任务对象的配置后，调用 startAutoMixerTask 接口开始该自动混流任务，并在 ZegoMixerStartCallback 回调中接收开始自动混流任务结果。

[[ZegoExpressEngine sharedEngine] startAutoMixerTask:task callback:^(int errorCode, NSDictionary * _Nullable extendedData) {
    if (errorCode == 0) {
     // 开始自动混流任务成功
    }
}];

4 停止自动混流

调用 stopAutoMixerTask 接口停止自动混流。

// 传入之前创建的混流任务对象
[[ZegoExpressEngine sharedEngine] stopAutoMixerTask:self.autoMixerTask callback:^(int errorCode) {
    if(errorCode == 0) {
     //停止自动混流任务成功
    }
}];

全自动混流使用步骤

通过 ZEGO 服务端的配置实现每个房间都自动混音频流，详情请联系 ZEGO 技术支持。

常见问题

1. 能将混流推到第三方 CDN 吗？如何转推多路 CDN？

   若需要将混流推到第三方 CDN，可在 ZegoMixerOutput 的 “target” 参数填写 CDN 的 URL。

   填写的 URL 格式需要为 RTMP 格式：“rtmp://xxxxxxxx”。

   推多路 CDN 就创建 N 个输出流对象 ZegoMixerOutput 放入 ZegoMixerTask 中的 “outputList” 输出列表中。

2. 如何设置混流中每条流的布局？

   ZegoMixerInput 的 “layout” 参数使用示例：

   • 假设指定某条流的左上角坐标为 (50，300)，右下角坐标为 (200，450)，即 “layout” 参数为 “CGRectMake(50，300，200，450)；”。
   • 假设 ZegoMixerTask 的 “videoConfig” 参数中的分辨率 “resolution” 为 “CGSizeMake(375, 667)”。

   那么这条流在最终的输出混流中的位置如下所示：

   

3. 混流输入对象 “ZegoMixerInput” 的 “CGRect” 布局的比例与这条流本身的分辨率不相符时，画面将如何裁剪？

   SDK 会做等比缩放。假设一条输入流的分辨率为 “720 × 1280”，即比例为 “9：16”，同时这条流的 ZegoMixerInput 的 “layout” 参数为 “CGRectMake(0, 0, 100, 100);”，即比例为 “1：1” 时，画面将会显示这条流的中间部分，即上下部分被裁剪掉。

4. 参与连麦的主播们想让各自的观众看到自己的视频在混流后的画面布局中位于大窗口，如何混流？

   主播们各自布局再各自发起混流。

   例如：主播 A 设置自己推的流 A 画面布局的宽高大于拉主播 B 的流 B 的布局宽高，然后发起一个混流任务输出一个流 “A_Mix”；主播 B 设置自己推的流 B 画面布局的宽高大于拉主播 A 的流 A 的布局宽高，然后发起混流输出一个流 “B_Mix”。

   即总共需要发起两个混流任务。

5. 混流的两种方式：“单主播开始直播后就马上开始混流”和“当第二主播加入连麦的时候才开始混流”，这两种方式有什么区别？优劣势是什么？

   从单主播直播开始就启动混流的优点是实现简单，缺点是会多一些额外的混单流时间的 CDN 成本开销。

   从单主播直播开始仅推流，等第二路主播加入连麦时才启动混流。优点是节约成本；缺点是开发实现上会复杂一些，观众端需要先拉取单主播流，主播们连麦开启混流后需要停止拉单主播流，然后改为拉取混流。而上述从头开始混流的方式，观众端不需要做从拉单主播流再到拉混流的一个切换。

6. 混流是否支持圆形或者方形的画面？

   不支持圆形，方形可通过布局实现。

7. 在推纯音频混流并设置了背景图时，遇到背景图无法正常进行展示，如何处理？

   在这种情况下，客户需要根据自身业务需求，正确设置输出布局的宽和高，并联系 ZEGO 技术支持配置开启补黑帧。