主体分割

1. 监听自定义渲染数据回调。

   不能在回调中直接渲染，因为会阻塞回调线程，导致渲染异常。

   - (void)onRemoteVideoFrameRawData:(unsigned char * _Nonnull *)data dataLength:(unsigned int *)dataLength param:(ZegoVideoFrameParam *)param streamID:(NSString *)streamID
   {
   
   }

2. 对原始视频帧数据进行缓存。

   auto video_frame = std::make_shared<ZegoVideoFrameBuffer>();
   video_frame->data = std::make_unique<uint8_t[]>(dataLength[0]);
   video_frame->data_length =dataLength[0];
   video_frame->format = param.format;
   video_frame->width = (int)param.size.width;
   video_frame->height = (int)param.size.height;
   video_frame->bitsPerPixel = param.strides[0];
   
   memcpy(video_frame->data.get(), data[0], dataLength[0]);
   {
       // 缓存一帧
       std::lock_guard<std::mutex> lock(play_video_frame_mutex_);
       play_video_frames_[[streamID UTF8String]] = video_frame;
   }

3. 定时将位图绘制到渲染视图上。

   dispatch_async(dispatch_get_main_queue(), ^{
       std::shared_ptr<ZegoVideoFrameBuffer> frame;
       {
          std::lock_guard<std::mutex> lock(self->play_video_frame_mutex_);
           frame = self->play_video_frames_[[streamID UTF8String]];
           if (!frame) {
               return; 
           }
           self->play_video_frames_[[streamID UTF8String]].reset();
       }
   
       CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
       CGDataProviderRef dataProvider = CGDataProviderCreateWithData(NULL, frame->data.get(), frame->data_length, NULL);
       CGImageRef cgImageFromBytes = CGImageCreate(frame->width, frame->height, 8, 32, frame->bitsPerPixel, colorSpace, kCGImageByteOrder32Little|kCGImageAlphaFirst, dataProvider, NULL, NO, kCGRenderingIntentDefault);
   
       NSImage *finalImage = [[NSImage alloc]initWithCGImage:cgImageFromBytes size:NSMakeSize(frame->width, frame->height)];
       CGDataProviderRelease(dataProvider);
       CGImageRelease(cgImageFromBytes);
   
       self.playView1.layer.contentsGravity = kCAGravityResizeAspect;
       self.playView1.layer.contents = finalImage;
   });

调用 enableCustomVideoRender 接口，设置引擎进阶配置并开启自定义渲染，同时调用 setCustomVideoRenderHandler 接口设置自定义视频渲染回调，详情请参考 自定义视频渲染。

ZegoCustomVideoRenderConfig *renderConfig = [[ZegoCustomVideoRenderConfig alloc] init];
renderConfig.bufferType = ZegoVideoBufferTypeRawData;// 选择 RAW_DATA 类型视频帧数据
renderConfig.frameFormatSeries = ZegoVideoFrameFormatSeriesRGB;// 选择 RGB 色系数据格式
[[ZegoExpressEngine sharedEngine] enableCustomVideoRender:YES config:renderConfig];//开始自定义视频渲染
[[ZegoExpressEngine sharedEngine] setCustomVideoRenderHandler:self];//设置自定义视频渲染回调

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“虚化”。

ZegoObjectSegmentationConfig *config = [[ZegoObjectSegmentationConfig alloc]init];
config.objectSegmentationType = ZegoObjectSegmentationTypeAnyBackground;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessTypeBlur;//设置背景处理方式为虚化
config.backgroundConfig.blurLevel = ZegoBackgroundBlurLevelMedium;//设置背景虚化级别为中
[[ZegoExpressEngine sharedEngine]enableVideoObjectSegmentation:YES config:config channel:ZegoPublishChannelMain];//开启主体分割

虚拟背景支持两种类型素材：

• 图片。 当前支持 “PNG” 与 “JPEG” 两种图片格式，即 “.png”、“.jpg”、“.jpeg” 三种后缀的图片文件。
• 视频，限制如下：
  • 视频格式：MP4、FLV、MKV、AVI。
  • 视频源：本地视频。
  • 视频播放方式：循环播放。
  • 分辨率：最大不超过 4096 px，推荐 1920 px 以内。
  • 视频时长：最大不超过 30 秒，推荐 15 秒以内。
  • 视频大小：最大不超过 50 MB，推荐 10 MB 以内。

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“图片”或“视频”。

ZegoObjectSegmentationConfig *config = [[ZegoObjectSegmentationConfig alloc]init];
config.objectSegmentationType = ZegoObjectSegmentationTypeAnyBackground;//根据实际情况选择需要开启的主体分割类型

//设置背景处理方式为 图片
config.backgroundConfig.processType = ZegoBackgroundProcessTypeImage;
config.backgroundConfig.imageUrl= @"<image_path>";//设置背景图片路径
[[ZegoExpressEngine sharedEngine]enableVideoObjectSegmentation:YES config:config channel:ZegoPublishChannelMain];//开启主体分割

//设置背景处理方式为 视频
config.backgroundConfig.processType = ZegoBackgroundProcessTypeVideo;
config.backgroundConfig.videoURL= @"<video_path>";//设置背景视频路径
[[ZegoExpressEngine sharedEngine]enableVideoObjectSegmentation:YES config:config channel:ZegoPublishChannelMain];//开启主体分割

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“透明”。

ZegoObjectSegmentationConfig *config = [[ZegoObjectSegmentationConfig alloc]init];
config.objectSegmentationType = ZegoObjectSegmentationTypeAnyBackground;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessTypeTransparent;//设置背景处理方式为透明
[[ZegoExpressEngine sharedEngine]enableVideoObjectSegmentation:YES config:config channel:ZegoPublishChannelMain];//开启主体分割

如果推流端需要把分割后的主体画面通过 Alpha 通道传输到拉流端，在拉流端做主体渲染，需要先调用 enableAlphaChannelVideoEncoder 接口，设置编码器支持透明通道，然后调用 startPublishingStream 接口推流，使其顺利传输至拉流端。

• 开启 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutTypeBottom; // 透明通道数据排列在 RGB 或 YUV 数据下方
  [[ZegoExpressEngine sharedEngine]enableAlphaChannelVideoEncoder:YES alphaLayout:layoutType channel:ZegoPublishChannelMain]; // 设置编码器支持透明通道

• 关闭 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutTypeBottom; // 透明通道数据排列在 RGB 或 YUV 数据下方
  [[ZegoExpressEngine sharedEngine]enableAlphaChannelVideoEncoder:NO alphaLayout:layoutType channel:ZegoPublishChannelMain]; // 设置编码器支持透明通道

• 方式 1：使用内部渲染

  如果使用内部渲染，拉流端在调用 startPlayingStream 接口开启拉流前，需要将 ZegoCanvas 的 alphaBlend 属性设置为 YES。

  ZegoCanvas *playCanvas = [ZegoCanvas canvasWithView:self.playView1];
  playCanvas.alphaBlend = YES;//开启内部渲染 Alpha 混合，开启后支持分割后的主体与背景图层进行 Alpha 混合
  [[ZegoExpressEngine sharedEngine]startPlayingStream:streamID  canvas:playCanvas];

• 方式 2：使用自定义渲染

  若使用自定义渲染，可直接进行拉流。

  [[ZegoExpressEngine sharedEngine]startPlayingStream:streamID canvas:nil];