主体分割

开发者可根据实际情况进行自定义渲染，需要注意视频原始数据中包含 Alpha 通道，且原始数据没有经过 Alpha 预乘处理。以渲染拉流数据为例：

1. 监听自定义渲染数据回调，缓存渲染帧数据。

   不能在回调中直接渲染，因为会阻塞回调线程，导致渲染异常。

   @Override
   void VideoObjectSegmentation::onRemoteVideoFrameRawData(unsigned char** data, unsigned int* dataLength, ZegoVideoFrameParam param, const std::string& streamID)
   {
       Q_UNUSED(dataLength)
   
       if(param.format == ZEGO_VIDEO_FRAME_FORMAT_BGRA32){
           QImage image(data[0], param.width, param.height, param.strides[0], QImage::Format_ARGB32);
           if(image.isNull())
           {
               // 图片为空，返回
               return;
           }
           // 在UI线程渲染
           if (streamID == m_playStreamId1) {
               sigRenderPlayFrames1(image);
           }
           if (streamID == m_playStreamId2) {
               sigRenderPlayFrames2(image);
           }
       }
   }

2. 将位图绘制到渲染视图上。

   auto pix = QPixmap::fromImage(image);
   auto pixmap = pix.scaled(ui->label_playing_stream_1->width(), ui->label_playing_stream_1->height(),Qt::KeepAspectRatio);
   ui->label_playing_stream_1->setPixmap(pixmap);

调用 enableCustomVideoRender 接口，设置引擎进阶配置并开启自定义渲染，同时调用 setCustomVideoRenderHandler 接口设置自定义视频渲染回调，详情请参考 自定义视频渲染。

ZegoCustomVideoRenderConfig customVideoRenderConfig;
customVideoRenderConfig.bufferType = ZegoVideoBufferType::ZEGO_VIDEO_BUFFER_TYPE_RAW_DATA;// 选择 RAW_DATA 类型视频帧数据
customVideoRenderConfig.frameFormatSeries = ZEGO_VIDEO_FRAME_FORMAT_SERIES_RGB;// 选择 RGB 色系数据格式
engine->enableCustomVideoRender(true, &customVideoRenderConfig);//开始自定义视频渲染
engine->setCustomVideoRenderHandler(std::make_shared<CustomVideoRenderer>(this));//设置自定义视频渲染回调

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“虚化”。

ZegoObjectSegmentationConfig config;
config.objectSegmentationType = ZEGO_OBJECT_SEGMENTATION_TYPE_ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZEGO_BACKGROUND_PROCESS_TYPE_BLUR;//设置背景处理方式为虚化
config.backgroundConfig.blurLevel = ZEGO_BACKGROUND_BLUR_LEVEL_MEDIUM;//设置背景虚化级别为中
engine->enableVideoObjectSegmentation(true, config, ZEGO_PUBLISH_CHANNEL_MAIN); //开启主体分割

虚拟背景支持两种类型素材：

• 图片。 当前支持 “PNG” 与 “JPEG” 两种图片格式，即 “.png”、“.jpg”、“.jpeg” 三种后缀的图片文件。
• 视频，限制如下：
  • 视频格式：MP4、FLV、MKV、AVI。
  • 视频源：本地视频。
  • 视频播放方式：循环播放。
  • 分辨率：最大不超过 4096 px，推荐 1920 px 以内。
  • 视频时长：最大不超过 30 秒，推荐 15 秒以内。
  • 视频大小：最大不超过 50 MB，推荐 10 MB 以内。

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“图片”或“视频”。

ZegoObjectSegmentationConfig config;
config.objectSegmentationType = ZEGO_OBJECT_SEGMENTATION_TYPE_ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型

//设置背景处理方式为 图片
config.backgroundConfig.processType = ZEGO_BACKGROUND_PROCESS_TYPE_IMAGE;
config.backgroundConfig.imageURL = "<image_path>";//设置背景图片路径
engine->enableVideoObjectSegmentation(true, config, ZEGO_PUBLISH_CHANNEL_MAIN); //开启主体分割

//设置背景处理方式为 视频
config.backgroundConfig.processType = ZEGO_BACKGROUND_PROCESS_TYPE_VIDEO;
config.backgroundConfig.videoURL = "<video_path>";//设置背景视频路径
engine->enableVideoObjectSegmentation(true, config, ZEGO_PUBLISH_CHANNEL_MAIN); //开启主体分割

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“透明”。

ZegoObjectSegmentationConfig config;
config.objectSegmentationType = ZEGO_OBJECT_SEGMENTATION_TYPE_ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZEGO_BACKGROUND_PROCESS_TYPE_TRANSPARENT;//设置背景处理方式为透明
engine->enableVideoObjectSegmentation(true, config, ZEGO_PUBLISH_CHANNEL_MAIN); //开启主体分割

如果推流端需要把分割后的主体画面通过 Alpha 通道传输到拉流端，在拉流端做主体渲染，需要先调用 enableAlphaChannelVideoEncoder 接口，设置编码器支持透明通道，然后调用 startPublishingStream 接口推流，使其顺利传输至拉流端。

• 开启 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZEGO_ALPHA_LAYOUT_TYPE_BOTTOM; // 透明通道数据排列在 RGB 或 YUV 数据下方
  engine->enableAlphaChannelVideoEncoder(true,layoutType, ZEGO_PUBLISH_CHANNEL_MAIN); // 设置编码器支持透明通道

• 关闭 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZEGO_ALPHA_LAYOUT_TYPE_BOTTOM; // 透明通道数据排列在 RGB 或 YUV 数据下方
  engine->enableAlphaChannelVideoEncoder(false,layoutType, ZEGO_PUBLISH_CHANNEL_MAIN); // 设置编码器支持透明通道

• 方式 1：使用内部渲染

  如果使用内部渲染，拉流端在调用 startPlayingStream 接口开启拉流前，需要将 ZegoCanvas 的 alphaBlend 属性设置为 true。

  ZegoCanvas canvas;
  canvas.view = ZegoUtilHelper::GetView(ui->label_playing_stream_1);
  canvas.alphaBlend = true;//开启内部渲染 Alpha 混合，开启后支持分割后的主体与背景图层进行 Alpha 混合
  engine->startPlayingStream(streamID, &canvas);

• 方式 2：使用自定义渲染

  若使用自定义渲染，可直接进行拉流。

  engine->startPlayingStream(streamID, nullptr);