实时音视频
  • iOS : Objective-C
  • Android
  • macOS
  • Windows
  • HarmonyOS
  • Linux
  • Web
  • 小程序
  • Flutter
  • Electron
  • Unreal Engine
  • Unity3D
  • uni-app
  • React Native
  • Cocos Creator
  • 产品简介
  • 下载
  • 体验 App
  • 快速开始
    • 跑通示例源码
    • 集成 SDK
    • 实现视频通话
    • 实时音视频 SDK 与实时语音 SDK 差异
    • 场景化音视频配置
  • 通信能力
  • 房间能力
  • 音频能力
  • 视频能力
  • 直播能力
  • 其他能力
  • 最佳实践
  • 客户端 API
  • 服务端 API
  • 常见错误码
  • 常见问题
  • 文档中心
  • 实时音视频
  • 最佳实践
  • 实时音视频和AI视觉的搭配使用

和 AI 美颜的搭配使用

更新时间:2024-01-12 15:33

使用导读

简介

实时音视频是 ZEGO 的一款实时音视频互动服务产品,开发者可通过其灵活易用的 API,构建音视频应用。同时,ZEGO 的另一款产品——AI 美颜,基于领先的 AI 算法,提供美颜、美体、美妆、贴纸等功能。将二者进行搭配使用,能够轻松实现音视频互动和美颜的结合,打造实时美颜应用。

两者搭配使用,可广泛应用于娱乐直播、游戏直播、视频会议等直播场景中。

概念解释

  • ZEGO Express SDK:ZEGO 实时音视频 SDK,提供基础的实时音视频功能,包括直播推拉流、直播连麦等,以下使用 ZEGO Express SDK 简写表示。
  • ZEGO Effects SDK:ZEGO AI 美颜 SDK,提供多项智能图像渲染和算法能力,包括智能美颜、AR 特效、图像分割等,以下使用 ZEGO Effects SDK 简写表示。

示例源码

为方便开发者实现二者的搭配使用,ZEGO 提供了示例代码,请联系 ZEGO 商务人员获取。

前提条件

使用原理和步骤

ZEGO Effects SDK 和 ZEGO Express SDK 搭配使用,对视频数据进行实时 AI 美颜处理的原理,如下图:

/Pics/Common/ZegoExpressEngine/video_pre_processing.png

通过以上流程,具体的实现步骤,如下图:

/Pics/ZegoEffects/Apple/RTC_AI_bestPractise3.png

  1. 初始化 ZEGO Effects SDK 和 ZEGO Express SDK,初始化在时序上没有限制。
  2. 获取视频原始数据,可通过 ZEGO Express SDK 的 自定义视频采集自定义视频前处理 两种方式获取。
  3. 将采集到的视频原始数据,传递给 ZEGO Effects SDK,进行 AI 美颜处理。
  4. 将处理完的数据传递给 ZEGO Express SDK,进行推流。如果在推拉流过程中需要调整 AI 美颜效果,可使用 ZEGO Effects SDK 的相关功能进行实时更改。
  5. 远端用户通过 ZEGO Express SDK 拉取处理后的数据进行播放。

1 初始化 ZEGO Effects/Express SDK

对于两个 SDK 的初始化,不做时序上的限制,以下步骤中以“先初始化 ZEGO Effects SDK,再初始化 ZEGO Express SDK”为例。

1.1 初始化 ZEGO Effects SDK

  1. 导入 Effects 模型和资源。

    在使用 ZEGO Effects SDK 的 AI 相关功能时,必须先导入 AI 模型和资源。

    // 传入人脸识别模型的绝对路径。人脸检测、大眼、瘦脸功能均须导入
    NSString *faceDetectionModelPath = [[NSBundle mainBundle] pathForResource:@"FaceDetectionModel" ofType:@"model"];
    // 传入人像分割模型的绝对路径。AI 人像分割功能须导入
    NSString *segmentationModelPath = [[NSBundle mainBundle] pathForResource:@"SegmentationModel" ofType:@"model"];
    
    //传入美颜,美型通用资源的绝对路径
    NSString *commonBundlePath = [[NSBundle mainBundle] pathForResource:@"CommonResources" ofType:@"bundle"];
    // 传入挂件资源的绝对路径。
    NSString *pendantBundlePath = [[NSBundle mainBundle] pathForResource:@"PendantResources" ofType:@"bundle"];
    // 传入美白资源的绝对路径。
    NSString *whitenBundlePath = [[NSBundle mainBundle] pathForResource:@"FaceWhiteningResources" ofType:@"bundle"];
    
    // 传入资源或模型的路径列表,必须在 create 之前调用
    [ZegoEffects setResources:@[faceDetectionModelPath, SegmentationModel, commonBundlePath, pendantBundlePath, whitenBundlePath]];

    ZEGO Effects SDK 支持的所有资源和模型请参考“AI 美颜”的 快速开始 - 导入资源和模型

  2. 创建 Effects 对象。传入在 前提条件 中获取到的鉴权文件,创建 Effects 对象。

    // 鉴权内容请以实际获取的文件为准
    ZegoEffects *effects = [ZegoEffects create:@"ABCDEFG"];
    // 保存 effects 实例
    self.effects = effects;
  3. 初始化 Effects 对象。

    调用 initEnv 接口初始化 Effects 对象,需要传入待处理视频图像数据的宽高。

    以处理 1280 × 720 的视频图像为例:

    // 初始化 Effects 对象,传入当前待处理的原始图像宽高。 自行管理生命周期,在停止图像采集的时候调用 [self.effects uninitEnv]; 接口反初始化,否则会造成内存泄露。
    [self.effects initEnv:CGSizeMake(1280, 720)];

1.2 初始化 ZEGO Express SDK

调用 createEngineWithProfile 接口,初始化 ZEGO Express SDK。

ZegoEngineProfile *profile = [[ZegoEngineProfile alloc] init];
profile.appID = [KeyCenter appID];
profile.appSign = [KeyCenter appSign];
profile.scenario = ZegoScenarioDefault;
[ZegoExpressEngine createEngineWithProfile:profile eventHandler:self];

2 获取视频原始数据

ZEGO Express SDK 可通过 自定义视频前处理自定义视频采集 两种方式获取视频原始数据。

两种获取方式的区别如下,开发者可根据实际情况按需选择。

获取数据方式 视频数据采集方式 优势
自定义视频前处理
是由 ZEGO Express SDK 内部采集视频数据,原始视频数据通过回调获取。
极简搭配使用 ZEGO Express SDK 和 ZEGO Effects SDK,开发者无需管理设备输入源,仅需对 ZEGO Express SDK 抛出来的原始数据进行操作,然后传回 ZEGO Express SDK 即可。
自定义视频采集
是由开发者自行采集视频数据,并提供给 ZEGO Express SDK。
在进行多厂家对接时,业务实现更加灵活,同时性能优化的空间更大。

  • 方式一:自定义视频前处理

    以获取 CVPixelBufferRef 类型的原始视频数据为例。

    开发者通过调用 enableCustomVideoProcessing 接口,开启自定义视频前处理;开启后,ZEGO Express SDK 内部会采集视频数据;采集完成后,可以通过 onCapturedUnprocessedCVPixelBuffer 回调接口,获取采集到的视频原始数据。

    ZegoCustomVideoProcessConfig *processConfig = [[ZegoCustomVideoProcessConfig alloc] init];
    // 选择 CVPixelBuffer 类型视频帧数据
    processConfig.bufferType = ZegoVideoBufferTypeCVPixelBuffer;
    
    // 开启自定义前处理
    [[ZegoExpressEngine sharedEngine] enableCustomVideoProcessing:YES config:processConfig channel:ZegoPublishChannelMain];
    
    // 将自身作为自定义视频前处理回调对象
    [[ZegoExpressEngine sharedEngine] setCustomVideoProcessHandler:self];

    具体的原理可参考“实时音视频”的 自定义视频前处理

  • 方式二:自定义视频采集

    自定义视频采集,主要依赖开发者自行采集视频数据,具体方式请参考“实时音视频”的 自定义视频采集

3 进行 AI 美颜处理

获取到视频原始数据后,把数据传递给 ZEGO Effects SDK,开始对视频进行 AI 美颜(例如:美颜、美妆、背景分割等)处理。

  • 方式一:自定义视频前处理

    onCapturedUnprocessedCVPixelBuffer 回调中,获取到视频原始数据后,调用 ZEGO Effects SDK 的相关接口,进行 AI 美颜处理(请参考 美颜美型背景分割人脸检测挂件滤镜),并将处理后的数据,返回给 ZEGO Express SDK。

    // 自定义前处理为示例
    // 回调方法获取原始数据
    - (void)onCapturedUnprocessedCVPixelBuffer:(CVPixelBufferRef)buffer timestamp:(CMTime)timestamp channel:(ZegoPublishChannel)channel {
        ...
        // 自定义前处理:此处使用 ZEGO Effects SDK 
        [self.effects processImageBuffer:buffer];
    
        // 将处理后的 buffer 发回 ZEGO Express SDK 里
        [[ZegoExpressEngine sharedEngine] sendCustomVideoProcessedCVPixelBuffer:output timestamp:timestamp channel:channel];
        ...
    }
  • 方式二:自定义视频采集

    在接收到自定义采集的 onStart 回调后,开发者通过自定义采集获取视频数据,再调用 ZEGO Effects SDK 的相关接口,进行 AI 美颜处理(请参考 美颜美型背景分割人脸检测挂件滤镜),并将处理后的数据,返回给 ZEGO Express SDK(可参考 自定义视频采集 中的 “3 向 SDK 发送视频帧数据”)。

4 推流处理后的数据

经由 ZEGO Effects SDK 处理完成后,将处理后的数据,返回给 ZEGO Express SDK。

ZEGO Express SDK 调用 startPublishingStream 接口,传入处理后的数据流 streamID,开始推流,发送给云服务器。

// 开始推流
[[ZegoExpressEngine sharedEngine] startPublishingStream:@"streamID"];

5 拉取处理后的数据播放

ZEGO Express SDK 开始推流后,远端用户可以调用 startPlayingStream 接口,传入处理后的数据流 streamID,拉取视频数据,进行播放。

// 拉取实时流
[[ZegoExpressEngine sharedEngine] startPlayingStream:@"streamID" canvas:[ZegoCanvas canvasWithView:self.view]];

至此,开发者就可以完整地实现在推拉流音视频的同时,实时调整 AI 美颜效果。

本篇目录