提交工单
咨询集成、功能及报价等问题
文档中心
体验 App
SDK 中心
API 中心
常见问题
代码市场
进入控制台
立即注册
登录
实时音视频 中文站 English
- 文档中心
- 实时音视频
- 视频能力
- 主体分割
主体分割
更新时间：2024-09-06 18:22
功能简介
主体分割是 Express SDK 提供的增值能力，通过 AI 算法识别视频画面中的内容，对每一个像素点设置透明度信息。其中，主体部分的像素点会被设置为“不透明”，主体部分之外的像素点会被设置为“透明”。开发者可以利用这些像素点的透明度信息，对画面中的主体和非主体部分做不同的处理，从而实现不同的功能。
- 当前官网 SDK 不包含“主体分割”相关功能，如有需要，请联系 ZEGO 技术支持特殊编包，并提供您的 AppID，开通相关权限。
- “主体分割”功能为付费功能，如需申请体验或咨询正式收费标准，请联系 ZEGO 商务人员。
主体分割对象
对身处不同环境的用户，ZEGO 提供“绿幕背景分割”和“任意背景分割”两种分割能力。
| 分割类型 | 绿幕背景分割 | 任意背景分割 |
|---|---|---|
| 能力描述 | 在用户自行架设了绿幕的情况下，可以将非绿幕区域的主体保留。 适用于电商直播、在线考试等场景。 |
多数用户不具备架设绿幕的条件，可以通过 ZEGO 提供的任意背景分割能力，在没有绿幕的情况下，识别画面中的主体。 适用于在线教育、视频会议等场景。 |
| 图示 | ) |
) |
功能场景
基于主体分割能力，开发者可以实现背景虚化、虚拟背景、演讲模式、多人实时同台互动等业务场景，打造更多样的互动体验。
| 功能点 | 背景虚化 | 虚拟背景 | 背景透明 | 主体分割与传输 |
|---|---|---|---|---|
| 功能描述 | 将主体外的画面做模糊处理。 |
将主体外的画面替换为自定义的图片、视频、颜色。 |
将主体的画面渲染在本端的其他视频内容上。 例如在屏幕共享或正在播放的视频等内容上，实现演讲模式等功能。 |
结合 Express SDK 提供的 Alpha 通道数据传输能力，将画面中分割出的主体传输到拉流端，在拉流端做主体渲染，实现多人异地实时同处于一个场景中的视觉效果 |
| 图示 | ) |
) |
) |
) |
硬件兼容性
| 平台 | 硬件要求 |
|---|---|
Android |
|
iOS |
A 系列芯片：Apple A9 及以上，例如 iPhone 6s |
macOS |
M 系列芯片：Apple M1 及以上 |
Windows |
Intel Core i5 及以上 |
请注意，Flutter SDK 在以上平台中使用时，硬件兼容性同上。
示例源码
请参考 下载示例源码 获取源码。
相关源码请查看 “lib/topics/OtherFunctions/screen_sharing” 目录下的文件。
前提条件
在使用主体分割功能前，请确保：
已联系 ZEGO 技术支持进行特殊编包。
已在 ZEGO 控制台 创建项目，并申请有效的 AppID 和 AppSign，详情请参考 控制台 - 项目信息。
已在项目中集成 ZEGO Express SDK，并实现了基本的音视频推拉流功能，详情请参考 快速开始 - 集成 和 快速开始 - 实现流程。
实现流程
- 开启主体分割功能会额外消耗系统资源，为了保证用户体验，目前仅支持对一路通道推流画面开启主体分割。
- 如果有经过自定义前处理第三方滤镜，需要确保第三方滤镜支持 Alpha 通道透传功能。
)
请注意，开发者可根据自己的业务场景需要，选择是否实现上图中的 （可选） 步骤。如需实现，请参考下文中的具体说明。
1 初始化和登录房间
初始化和登录房间的具体流程，请参考实现视频通话文档中的 “3.1 创建引擎”及“3.2 登录房间”。
2 监听主体分割状态回调
调用 onVideoObjectSegmentationStateChanged 接口，监听主体分割状态回调。
主体分割的状态回调依赖于开启预览或者推流，即如需监听 onVideoObjectSegmentationStateChanged 回调，需要调用预览 startPreview 或推流 startPublishingStream。
ZegoExpressEngine.onVideoObjectSegmentationStateChanged = (state, channel, errorCode) {
ZegoLog().addLog(
'Video object segmentation state changed. state: $state, errorCode: $errorCode, channel: $channel');
};3 使用主体分割实现不同的业务功能
开发者如需更新主体分割类型、背景处理类型，需要修改 ZegoObjectSegmentationConfig 的配置，并再次调用 enableVideoObjectSegmentation 接口开启主体分割，即可更新主体分割效果；更新结果将通过 onVideoObjectSegmentationStateChanged 回调通知给开发者。
背景虚化
使用主体分割实现背景虚化
调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“虚化”。
ZegoObjectSegmentationConfig config = ZegoObjectSegmentationConfig.defaultConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.AnyBackground;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessType.Blur;//设置背景处理方式为虚化
config.backgroundConfig.blurLevel = ZegoBackgroundBlurLevel.Medium;//设置背景虚化级别为中
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.Main);//开启主体分割虚拟背景
使用主体分割实现虚拟背景
虚拟背景支持两种类型素材：
- 图片。 当前支持 “PNG” 与 “JPEG” 两种图片格式，即 “.png”、“.jpg”、“.jpeg” 三种后缀的图片文件。
- 视频，限制如下：
- 视频格式：MP4、FLV、MKV、AVI。
- 视频源：本地视频。
- 视频播放方式：循环播放。
- 分辨率：最大不超过 4096 px，推荐 1920 px 以内。
- 视频时长：最大不超过 30 秒，推荐 15 秒以内。
- 视频大小：最大不超过 50 MB，推荐 10 MB 以内。
开发者在使用本功能时，请注意自定义图片、视频素材的宽高比，否则超出视图的部分会被裁减。
调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“图片”或“视频”。
ZegoObjectSegmentationConfig config = ZegoObjectSegmentationConfig.defaultConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.AnyBackground;//根据实际情况选择需要开启的主体分割类型
//设置背景处理方式为 图片
config.backgroundConfig.processType = ZegoBackgroundProcessType.Image;
config.backgroundConfig.imageURL = "<image_path>";//设置背景图片路径
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.Main);//开启主体分割
//设置背景处理方式为 视频
config.backgroundConfig.processType = ZegoBackgroundProcessType.Video;
config.backgroundConfig.videoURL = "<video_path>";//设置背景视频路径
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.Main);//开启主体分割透明背景
使用主体分割实现透明背景
如果开发者需要实现类似“演讲模式”的业务功能，需要在业务侧将“主体画面”与“要混合的视频源内容”混为一条视频流。
调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“透明”。
ZegoObjectSegmentationConfig config = ZegoObjectSegmentationConfig.defaultConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.AnyBackground;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessType.Transparent;//设置背景处理方式为透明
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.Main);//开启主体分割4 （可选）使用 Alpha 通道传输分割出的主体
使用 Alpha 通道传输分割出的主体
如果推流端需要把分割后的主体画面通过 Alpha 通道传输到拉流端，在拉流端做主体渲染，需要先调用 enableAlphaChannelVideoEncoder 接口，设置编码器支持透明通道，然后调用 startPublishingStream 接口推流，使其顺利传输至拉流端。
目前仅支持透明通道数据排列在 RGB 或 YUV 数据下方。
开启 Alpha 通道数据传输：
ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutType.Bottom; // 透明通道数据排列在 RGB 或 YUV 数据下方 engine.enableAlphaChannelVideoEncoder(true, layoutType, ZegoPublishChannel.Main); // 开启编码器支持透明通道关闭 Alpha 通道数据传输：
ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutType.Bottom; // 透明通道数据排列在 RGB 或 YUV 数据下方 engine.enableAlphaChannelVideoEncoder(false, layoutType, ZegoPublishChannel.Main); // 关闭编码器支持透明通道
5 开始预览和推流
通过 enableVideoObjectSegmentation 接口开启主体分割功能后，可以进行预览。
开发者也可以先开启预览，再开启主体分割。本文以先开启主体分割，再进行预览为例进行介绍。
ZegoCanvas canvas = ZegoCanvas(previewView);
canvas.alphaBlend = true;//开启内部渲染 Alpha 混合，开启后支持分割后的主体与背景图层进行 Alpha 混合
engine.startPreview(canvas);
engine.startPublishingStream(streamID);6（可选）在拉流端设置 Alpha 通道渲染并拉流
在拉流端设置 Alpha 通道渲染，并开启拉流
推流端开启了 Alpha 通道传输的情况下，才需要在拉流端开启 Alpha 通道渲染。
ZegoCanvas canvas = ZegoCanvas(playView);
canvas.alphaBlend = true;//开启内部渲染 Alpha 混合，开启后支持分割后的主体与背景图层进行 Alpha 混合
engine.startPlayingStream(streamID, canvas);7 关闭主体分割
调用 enableVideoObjectSegmentation 接口，关闭主体分割。
ZegoObjectSegmentationType objectType = ZegoObjectSegmentationType.AnyBackground;//根据实际情况选择需要关闭的主体分割类型
engine.enableVideoObjectSegmentation(false, objectType, ZegoPublishChannel.Main);//关闭主体分割8 销毁引擎
调用 destroyEngine 接口，销毁引擎。
ZegoExpressEngine.destroyEngine();本篇目录
- 免费试用
- 电话咨询400 1006 604咨询客服微信扫码，24h在线
联系我们
文档反馈
