文档中心
aigc_server 数字人 PaaS 服务
文档中心
体验 App
SDK 中心
API 中心
常见问题
代码市场
进入控制台
立即注册
登录
中文站 English
  • 文档中心
  • 数字人 PaaS 服务
  • 快速开始
  • 合成实时流式视频

视频数字人实时流式

更新时间:2024-07-09 15:25

简介

本文介绍如何基于服务端 API 快速实现合成实时流式视频。

流式数字人视频生成与推流需要与 实时音视频 搭配使用。

前提条件

在合成实时流式视频前,请确保:

  • 在 ZEGO 控制台 创建项目,并申请有效的 AppID,详情请参考 控制台 - 项目管理 - 项目信息。
  • 已联系 ZEGO 技术支持开通数字人 PaaS 服务和相关接口的权限。
  • 已获取数字人形象 ID 和音色 ID,详情请参考 查看数字人资产。
  • 您的项目已 集成实时音视频 SDK。

实现流程

1 生成签名

根据 调用方式 的签名机制生成签名,签名需设置在下文请求的公共参数中,ZEGO 服务端在收到请求后将对签名进行验证,以校验请求方的合法性。

2 创建数字人视频任务

调用 CreateMetaHumanLive 接口创建数字人视频流任务,部分参数如下所示:

参数 说明
RoomId
房间 ID。
StreamId
音视频流 ID,App 维度下全局唯一。
MetaHuman
数字人形象配置,包含数字人形象 ID、数字人形象布局和起始帧。其中数字人形象 ID 可通过 查询数字人模特详情 获取。
VideoOption
视频的输出参数,包含输出视频的分辨率。
MaxLiveTime
数字人视频流任务最大时长。

创建成功后,ZEGO 服务端会返回数字人视频流任务的 TaskId(唯一标识)。若已配置回调地址,当视频流的状态发生改变时将收到相应的事件通知。

3 查询视频流任务状态

开发者可以通过调用 DescribeMetaHumanLive 接口,指定 TaskId,查询该视频流任务的状态。

4 驱动数字人

调用 DriveMetaHumanLive 接口驱动数字人说话,需设置如下参数:

视频流任务创建后需要进行初始化,该过程可能耗时较长。当初始化完成后,视频流任务的状态切换为推流中后,才可驱动数字人。

参数 说明
TaskId
数字人视频流任务 ID,由 创建数字人视频流任务 返回。
Driver
驱动数字人说话的方式,分为文本驱动与音频驱动。
  • 文本驱动:需设置音色 ID 与文本,其中音色 ID 可通过 查询音色列表 获取。
  • 音频驱动:需设置音频文件链接。

驱动数字人成功后,ZEGO 服务端会返回驱动任务的 DriverTaskId(唯一标识)。如配置了回调地址,当驱动任务的状态发生改变时将收到相应的事件通知。

5 查询驱动任务状态

开发者可以通过调用 DescribeMetaHumanLiveDriver 接口,指定 DriverTaskId 查询该驱动任务的状态。

6 停止数字人视频流任务

开发者可以通过调用 StopMetaHumanLive 接口,指定 TaskId 停止该视频流任务。数字人视频流停止后,ZEGO RTC 内的推流将终止。

本篇目录
  • 免费试用
  • 提交工单
    咨询集成、功能及报价等问题
    电话咨询
    400 1006 604
    咨询客服
    微信扫码,24h在线

    联系我们

  • 文档反馈