畅直播
  • iOS
  • Android : Java
  • macOS
  • Windows
  • Web
  • Flutter
  • 产品简介
    • 概述
    • 发布日志
    • 基本概念
    • 产品优势
    • 应用场景
    • 限制说明
    • 升级指南
  • 计费说明
  • 下载
  • 快速开始
  • 直播推流
  • 直播拉流
  • 基础功能
  • 进阶功能
  • 最佳实践
  • 常用错误码
  • 服务端 API
  • 客户端 API
  • 常见问题

主体分割与传输

更新时间:2022-10-28 16:14

功能简介

主体分割与传输即在推流端将矩形视频内的主体(多数情况下是人)通过AI算法分离出来并在RTC网络中传输、在拉流端渲染的技术。

主体分割与传输功能目前为内测功能,如需接入,请联系 ZEGO 商务人员或 ZEGO 技术支持。

  • 用户实际视频画面

用户可能身处环境比较复杂的室内或室外,也有可能身处有绿幕背景的直播间。

复杂场景 绿幕背景
  • ZEGO 主体分割与传输的视频画面

ZEGO 通过自研 AI 主体分割算法,准确识别并分离画面中的主体,将分割出的主体信息编码后在 RTC 网络中传输。无论是复杂的实景,还是简单的绿幕背景,都能获得清晰的边缘效果。

  • 在业务场景中的应用

根据不同的业务需求,将拉取到的主体在对应的场景中渲染出来。让身处不同空间的用户,在同一个“空间”中互动。

应用场景

场景 1:MR(Mixed Reality,混合现实)多人异地同台 通过ZEGO主体传输能力,将3D虚拟空间与真实世界的人像融为一体。为企业发布会、年会、在线研讨会等,提供异地同台互动的沉浸式体验。

  • 极致沉浸 打造虚实相生的极致沉浸感,还原真实现场体验,提升活动的参与度和效果。
  • 极致灵活 主体传输兼容ZEGO RTC网络和CDN网络,无论是嘉宾还是观众,都能根据业务需求选择成本和效果均衡的传输方式。

场景 2:同场互动 ZEGO 提供的主体传输服务,给业务侧处理带来极高的灵活性和可拓展性。通过在拉流端将多个用户的主体渲染到一张统一的背景图上,可以实现:

  • 多人在线健身
  • 多人在线自习
  • 多人在线广场舞
  • 多人在线一起看电影

场景 3:秀场直播同台 PK 传统直播主播连麦 PK 时,两个或者多个主播间,始终会被矩形的视频框分隔开,难以实现真正的同台 PK。 ZEGO 主体分割和传输能力,消除主播间的矩形分割,让主播同处一个场景,提升用户体验感。

功能详情

ZEGO 自研实景抠图和绿幕抠图算法,

能力类别 实景分割 绿幕分割
能力描述
将主体从实际场景中分割出来。
将主体从绿幕场景中分割出来。
优点
对主体所处环境没有过多要求,用户可以随时随地使用。
  • 分割的主体不限于人体,可以是商品、人和手里的物体比如杯子、乐器等。
  • 边缘处理比实景分割更精细。
  • 性能消耗相较于实景分割较少。
缺点
  • 边缘处理精细程度略差于绿幕分割。
  • 只能分离人像,如果有其他主体,如用户手中的杯子、乐器等,可能会出现异常。
用户需要先部署一套绿幕,使用门槛较高。
分割前
分割后