主体分割

开发者可根据实际情况进行自定义渲染，需要注意视频原始数据中包含 Alpha 通道，且原始数据没有经过 Alpha 预乘处理。以绘制 Bitmap 方式渲染拉流数据为例：

1. 监听自定义渲染数据回调，缓存渲染帧数据。

   不能在回调中直接渲染，因为会阻塞回调线程，导致渲染异常。

   @Override
   public void onRemoteVideoFrameRawData(ByteBuffer[] data, int[] dataLength, ZegoVideoFrameParam param, String streamID) {
       super.onRemoteVideoFrameRawData(data, dataLength, param, streamID);
   
       if(param.format == ZegoVideoFrameFormat.RGBA32)
       {
           RenderConfig renderConfig = new RenderConfig();
           renderConfig.frameParam = param;
           renderConfig.buffer = new byte[data[0].capacity()];
           data[0].get(renderConfig.buffer,0,data[0].capacity());
           // 缓存 playStream1 拉流数据
           if(streamID.equals(playStream1)){
               dataQueuePlay1.offer(renderConfig);
           }
           // 缓存 playStream2 拉流数据
           if(streamID.equals(playStream2)){
               dataQueuePlay2.offer(renderConfig);
           }
       }
   }

2. 对原始视频帧数据进行逐字节处理，转化为 4 字节为单位的 ARGB_8888 类型数据。

   int[] array = new int[renderFrame.buffer.length/4];
   
   for(int i=0;i<renderFrame.buffer.length/4;i++){
       b =  renderFrame.buffer[i*4];
       g =  renderFrame.buffer[i*4+1];
       r =  renderFrame.buffer[i*4+2];
       a =  renderFrame.buffer[i*4+3];
   
       int dd = (a&0xff)<<24 | (b&0xff)<<16 | (g&0xff)<<8 | (r&0xff);
       array[i] = (dd);
   }
   
   Bitmap bmp = Bitmap.createBitmap(array, renderFrame.frameParam.width, renderFrame.frameParam.height, Bitmap.Config.ARGB_8888);

3. 定时将位图绘制到渲染视图上。

   Canvas canvas = playView1.lockCanvas();
   if(canvas != null){
       // 清屏
       paintPlayView1.setXfermode(new PorterDuffXfermode(PorterDuff.Mode.CLEAR));
       canvas.drawPaint(paintPlayView1);
   
       //离屏绘制
       int layerID = canvas.saveLayer(0,0,canvas.getWidth(),canvas.getHeight(), null,Canvas.ALL_SAVE_FLAG);
       //选择 SRC 模式
       paintPlayView1.setXfermode(new PorterDuffXfermode(PorterDuff.Mode.SRC));
       canvas.drawBitmap(bmpFinal, 0,0, paintPlayView1);
       paintPlayView1.setXfermode(null);
       canvas.restoreToCount(layerID);
   }
   playView1.unlockCanvasAndPost(canvas);

调用 enableCustomVideoRender 接口，设置引擎进阶配置并开启自定义渲染，同时调用 setCustomVideoRenderHandler 接口设置自定义视频渲染回调，详情请参考 自定义视频渲染。

videoRenderer = new CustomVideoRender();//自定义视频渲染类
videoRenderer.setPreviewView(previewView);//预览 view
videoRenderer.setPlayView1(playView1);//拉流 view1
videoRenderer.setPlayView2(playView2);//拉流 view2
ZegoCustomVideoRenderConfig config = new ZegoCustomVideoRenderConfig();//自定义渲染配置
config.bufferType = ZegoVideoBufferType.RAW_DATA;// 选择 RAW_DATA 类型视频帧数据
config.frameFormatSeries = ZegoVideoFrameFormatSeries.RGB;// 选择 RGB 色系数据格式
engine.enableCustomVideoRender(true, config);//开始自定义视频渲染
engine.setCustomVideoRenderHandler(videoRenderer);//设置自定义视频渲染回调

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“虚化”。

ZegoObjectSegmentationConfig config = new ZegoObjectSegmentationConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessType.BLUR;//设置背景处理方式为虚化
config.backgroundConfig.blurLevel = ZegoBackgroundBlurLevel.MEDIUM;//设置背景虚化级别为中
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.MAIN);//开启主体分割

虚拟背景支持两种类型素材：

• 图片。 当前支持 “PNG” 与 “JPEG” 两种图片格式，即 “.png”、“.jpg”、“.jpeg” 三种后缀的图片文件。
• 视频，限制如下：
  • 视频格式：MP4、FLV、MKV、AVI。
  • 视频源：本地视频。
  • 视频播放方式：循环播放。
  • 分辨率：最大不超过 4096 px，推荐 1920 px 以内。
  • 视频时长：最大不超过 30 秒，推荐 15 秒以内。
  • 视频大小：最大不超过 50 MB，推荐 10 MB 以内。

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“图片”或“视频”。

ZegoObjectSegmentationConfig config = new ZegoObjectSegmentationConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型

//设置背景处理方式为 图片
config.backgroundConfig.processType = ZegoBackgroundProcessType.IMAGE;
config.backgroundConfig.imageURL = "<image_path>";//设置背景图片路径
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.MAIN);//开启主体分割

//设置背景处理方式为 视频
config.backgroundConfig.processType = ZegoBackgroundProcessType.VIDEO;
config.backgroundConfig.videoURL = "<video_path>";//设置背景视频路径
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.MAIN);//开启主体分割

调用 enableVideoObjectSegmentation 接口，开启主体分割，并设置背景处理类型为“透明”。

ZegoObjectSegmentationConfig config = new ZegoObjectSegmentationConfig();
config.objectSegmentationType = ZegoObjectSegmentationType.ANY_BACKGROUND;//根据实际情况选择需要开启的主体分割类型
config.backgroundConfig.processType = ZegoBackgroundProcessType.TRANSPARENT;//设置背景处理方式为透明
engine.enableVideoObjectSegmentation(enable, config, ZegoPublishChannel.MAIN);//开启主体分割

如果推流端需要把分割后的主体画面通过 Alpha 通道传输到拉流端，在拉流端做主体渲染，需要先调用 enableAlphaChannelVideoEncoder 接口，设置编码器支持透明通道，然后调用 startPublishingStream 接口推流，使其顺利传输至拉流端。

• 开启 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutType.BOTTOM; // 透明通道数据排列在 RGB 或 YUV 数据下方
  engine.enableAlphaChannelVideoEncoder(true, layoutType, ZegoPublishChannel.MAIN); // 开启编码器支持透明通道

• 关闭 Alpha 通道数据传输：

  ZegoAlphaLayoutType layoutType = ZegoAlphaLayoutType.BOTTOM; // 透明通道数据排列在 RGB 或 YUV 数据下方
  engine.enableAlphaChannelVideoEncoder(false, layoutType, ZegoPublishChannel.MAIN); // 关闭编码器支持透明通道

• 方式 1：使用内部渲染

  如果使用内部渲染，拉流端在调用 startPlayingStream 接口开启拉流前，需要将 ZegoCanvas 的 alphaBlend 属性设置为 true。

  ZegoCanvas canvas = new ZegoCanvas(playView);
  canvas.alphaBlend = true;//开启内部渲染 Alpha 混合，开启后支持分割后的主体与背景图层进行 Alpha 混合
  engine.startPlayingStream(streamID, canvas);

• 方式 2：使用自定义渲染

  如果使用自定义渲染，可直接进行拉流。

  engine.startPlayingStream(streamID, null);