设置视频编码方式

---

1 功能简介

在开发者推拉视频流时，可对编解码进行详细设置，包括开启分层视频编码、开启视频大小流编码、使用硬件编解码和设置编码方式。

1.1 分层视频编码

分层视频编码，将码流分为基本层和扩展层，此编码方式可以为不同网络状态的用户提供更好的体验。基本层保证了最基本的视频质量，而扩展层则是对基本层的补充。对于网络较好的用户，可只拉取扩展层获得更好的体验，对于网络状态较差的用户，只拉取基本层可以保证基本的视频质量。

当开发者在连麦或混流业务中出现以下情况时，推荐使用分层视频编码功能：

• 需要不同终端显示不同质量的视频流。
• 需要在较差的网络环境中保持连麦的流畅。
• 需要根据网络状态自适应拉取视频流的质量。

1.2 视频大小流编码

视频大小流编码与分层视频编码的共同作用是将码流分为大分辨率类型和小分辨率类型。

最显著的差异是分层视频编码使用一个编码器编出基本层和扩展层的码流，视频大小流编码使用两个编码器编出基本层和扩展层的码流。

二者的具体差异、优缺点请查看本文第6部分的“常见问题”，开发者可以结合二者差异和业务具体诉求，选择分层视频编码还是视频大小流编码。

1.3 硬件编解码

开发者可选择开启硬件编码和硬件解码。开启硬件编解码后会使用 GPU 进行编解码，降低 CPU 使用率。若某些机型在推或拉大分辨率音视频流时设备发热严重，可开启硬件编解码。

1.4 视频编码方式

开发者可进行视频编码配置，使不同端之间进行编码对齐，进而实现多端互通。

使用场景：

• 一般情况下使用默认编码即可。
• 在同等分辨率帧率的情况下，需要降低码率，可以采用 H.265。
• 在需要与小程序互通时，需要使用 H.264。

2 示例源码下载

请参考 下载示例源码 获取源码。

相关源码请查看 “/ZegoExpressExample/Examples/AdvancedVideoProcessing/Encoding&Decoding” 目录下的文件。

3 前提条件

在实现视频编解码功能之前，请确保：

• 已在项目中集成 ZEGO Express SDK，实现基本的实时音视频功能，详情请参考 快速开始 - 集成 和 快速开始 - 实现视频通话。
• 已在 ZEGO 控制台 创建项目，并申请有效的 AppID 和 AppSign，详情请参考 控制台 - 项目管理 中的“项目信息”。

4 实现步骤

4.1 分层视频编码

使用分层视频编码需要以下两个步骤：

• 推流前通过指定特定的编码器来开启分层视频编码。
• 拉流时指定要拉取的分层视频。

4.1.1 开启分层视频编码（H.264 SVC）

在调用 startPublishingStream 之前调用 setVideoConfig 接口设置 ZegoVideoConfig 类中的参数 “codecID”，即可开启/关闭分层视频编码功能。

• “codecID” 设置为 “ZegoVideoCodecIDSVC”，可以开启该功能。
• “codecID” 设置为 “ZegoVideoCodecIDDefault”、“ZegoVideoCodecIDVP8” 或 “ZegoVideoCodecIDH265” 可关闭该功能。

ZegoVideoConfig *videoConfig = [[ZegoVideoConfig alloc] init];
videoConfig.codecID = ZegoVideoCodecIDSVC;
[[ZegoExpressEngine sharedEngine] setVideoConfig:videoConfig];

self.streamID = @"0012";
[[ZegoExpressEngine sharedEngine] startPublishingStream:self.streamID];

4.1.2 指定要拉取的分层视频

在推流端开启了分层视频编码后，拉流端在拉流前后均可调用 setPlayStreamVideoType 接口，此时拉流端默认会根据网络情况拉取合适的视频分层，例如弱网只拉取基本层。开发者也可以传入具体的拉流参数以拉取特定的视频分层，目前支持的视频分层如下：

以拉取扩展层为例：

[[ZegoExpressEngine sharedEngine] setPlayStreamVideoType:ZegoVideoStreamTypeBig streamID:self.streamID];
[[ZegoExpressEngine sharedEngine] startPlayingStream:self.streamID canvas:playCanvas];

4.2 视频大小流编码（H.264 DualStream）

视频大小流编码（H.264 DualStream）的实现方式与分层视频编码（H.264 SVC）类似，需要以下两个步骤：

1. 推流前，通过指定特定的编码器来开启视频大小流编码。
2. 拉流时，指定要拉取的大小流视频。

4.2.1 开启视频大小流编码

在推流（startPublishingStream）前，调用 setVideoConfig 接口设置 ZegoVideoConfig 类中的参数 codecID 为 ZegoVideoCodecID.H264DualStream，即可开启视频大小流编码功能。

ZegoVideoConfig *videoConfig = [[ZegoVideoConfig alloc] init];
videoConfig.codecID = ZegoVideoCodecIDH264DualStream;
[[ZegoExpressEngine sharedEngine] setVideoConfig:videoConfig];

self.streamID = @"0012";
[[ZegoExpressEngine sharedEngine] startPublishingStream:self.streamID];

4.2.2 指定要拉取的视频码流

在推流端开启了视频大小流编码后，拉流端在拉流前后均可调用 setPlayStreamVideoType 接口，此时拉流端默认会根据网络情况拉取合适的视频流分层，例如，弱网只拉取基本层。开发者也可以传入具体的拉流参数以拉取特定的视频分层，目前支持的视频分层如下：

以拉取扩展层为例：

[[ZegoExpressEngine sharedEngine] setPlayStreamVideoType:ZegoVideoStreamTypeBig streamID:self.streamID];
[[ZegoExpressEngine sharedEngine] startPlayingStream:self.streamID canvas:playCanvas];

4.3 硬件编解码

由于少部分机型设备对硬件编码/解码的支持不佳，SDK 默认使用软件编码与软件解码的方式，若开发者有使用硬件编码的需求，可参照本节自行设置。

4.3.1 开启硬件编码

若开发者需要开启硬件编码，可调用 enableHardwareEncoder 接口。

// 开启硬件编码
[[ZegoExpressEngine sharedEngine] enableHardwareEncoder:YES];

4.3.2 开启硬件解码

若开发者需要开启硬件解码，可调用 enableHardwareDecoder 接口。

// 开启硬件解码
[[ZegoExpressEngine sharedEngine] enableHardwareDecoder:YES];

4.4 设置视频编码方式

在推流（startPublishingStream）前调用 setVideoConfig 接口设置 “ZegoVideoConfig” 类下的参数 “codecID”，即可设置视频编码方式。目前支持的视频编码方式如下：

以设置编码方式为 H.265 为例：

ZegoVideoConfig *videoConfig = [[ZegoVideoConfig alloc] init];
videoConfig.codecID = ZegoVideoCodecIDH265;
[[ZegoExpressEngine sharedEngine] setVideoConfig:videoConfig];

5 API 参考列表

6 常见问题

1. 什么是分层视频编码（H.264 SVC）和视频大小流编码（H.264 DualStream），有什么联系和区别？

• 分层视频编码（H.264 SVC，H.264 Scalable Video Coding） H.264 SVC 是 H.264 AVC 的扩展，支持具有分层特性的码流，在 2007 年成为 ITU 的正式编码标准。由于 H.264 SVC 的标准较为复杂，不同的编码器的实现方式和实现程度不一样，互通性较差，绝大多数硬件编码器都不支持 H.264 SVC。

• 视频大小流编码 视频大小流编码参考了 H.264 SVC 的理念，通过对视频码流分层，保障不同网络和设备性能的终端流畅的体验。

与 H.264 SVC 不同，视频大小流编码通过启动两个编码器分别编出不同的参数的码流，作为码流的基本层和扩展层。基本层和扩展层的编码过程相互独立，与 H.264 AVC 一致，绝大多数软件和硬件编码器都可以使用，且规避了 H.264 SVC 无法使用硬件编码以及软件编码器支持不够丰富的问题。

分层视频编码和视频大小流编码的目的都是为了将视频码流分为基本层和扩展层，对于开发者来说，拉流端的调用流程没有差异，推流端在选择编码方式时设置的枚举值有一定差异。

用户在接收端拉流前，根据自己的网络状况，可以调用 setPlayStreamVideoType 设置为 ZegoVideoStreamTypeSMALL（基本层）或者 ZegoVideoStreamTypeBIG（扩展层），也可以设置为 ZegoVideoStreamTypeDEFAULT，让 ZEGO 帮您自动选择。

2. 分层视频编码和视频大小流编码，拉流端拉取的基本层和扩展层码率、分辨率等参数有区别吗？

分层视频编码和视频大小流编码，基本层的分辨率宽高分别都是扩展层的 50% ，基本层的码率大约为拉取扩展层码率的 25% ，帧率保持一致。

例如，用户设置编码分辨率为 “800 × 600”，则扩展层分辨率为 “800 × 600”，基本层分辨率为 “400 × 300”。

3. 转推或直推 CDN，观众从 CDN 上拉流，分层视频编码和大小流是否有效？从 CDN 拉取的流码率、分辨率是多少？

• 分层视频编码和视频大小流编码使用的是 ZEGO 的私有协议，拉流端只有从 ZEGO 服务器上才能拉取到不同分层的视频流。

• 转推 CDN 场景下，推流端推送到 ZEGO 服务器的流可以使用分层视频编码或视频大小流编码，从 ZEGO 服务器也可以拉取到分层的码流。但是 ZEGO 服务器转推到 CDN 服务器的流无法使用分层视频编码/视频大小流编码，而会是高质量的流。从 CDN 拉取的流与扩展层的码率、分辨率一致。

• 直推 CDN 场景下，由于不经过 ZEGO 服务器，所以码流的分层无效。从 CDN 拉取的流的分辨率和码率与推流用户设置的分辨率和码率一致。

4. 分层视频编码和视频大小流编码的优缺点?

相关文档

如何解决 Web 平台和 Native 平台互通时出现的画面异常问题（如黑屏、绿屏、花屏等）？