畅直播
  • iOS
  • Android : Java
  • macOS
  • Windows
  • Web
  • Flutter
  • 产品简介
    • 概述
    • 发布日志
    • 基本概念
    • 产品优势
    • 应用场景
    • 限制说明
    • 升级指南
  • 计费说明
  • 下载
  • 快速开始
  • 直播推流
  • 直播拉流
  • 基础功能
  • 进阶功能
  • 最佳实践
  • 常用错误码
  • 服务端 API
  • 客户端 API
  • 常见问题

发布日志

更新时间:2023-01-13 16:54

3.2.0 版本

发布日期: 2023-01-13

新增功能

1. 范围场景支持设置推拉流模式

范围场景支持设置推拉流模式,推拉流模式包括:是否允许拉取范围内的流、是否允许推流到世界。

相关 API 请参考 enablePlayInRange, enablePublishToWorld

2. 主体分割与传输支持实景分割与绿幕分割,内部渲染支持 Alpha 通道

注意:本功能为内测功能,如需接入体验,请联系 ZEGO 商务人员。

  • Android、iOS、Windows、macOS(暂只支持 Apple 芯片)四端支持实景分割与绿幕分割。
  • 内部渲染支持 Alpha 通道,开发者不需要使用自定义渲染,即可实现主体与背景的混合。

改进优化

1. 自定义信令配置支持扩展到 4KB

注意:自定义信令配置默认大小为 1KB,如需扩展到 4KB,请联系 ZEGO 技术支持进行处理。



3.1.1 版本

发布日期: 2022-12-12

问题修复

1. 修复低延迟模式下设备重启的问题



3.1.0 版本

发布日期: 2022-12-09

新增功能

1. 支持多源采集能力

面向在线 KTV、一起看电影、看比赛等、视频会议、在线教育等音视频源丰富多样的互动场景,多源采集提供了灵活易用的音视频采集源与通道管理能力,大量减少开发者的开发及维护成本。

多源采集能力对屏幕共享、混音等常见能力的实现路径,进行缩短优化及归一化设计,从 3.1.0 版本后,您可以不用再通过自定义采集实现上述复杂的能力,详情请参考 多源采集文档 。 主要能力特性如下:

  • 推流通道支持设置或切换多种音视频源。
  • 支持屏幕共享、混音等常见能力。

改进优化

1. 大幅度提升极端弱网地区的音视频连通率,并降低连通耗时

ZEGO 自研调度系统针对网络质量极差地区进行了深度优化。

问题修复

1. 修复发送房间 Logout 信令可能失败的问题

2. 修复因摄像头权限占用问题导致的偶现黑屏的问题

3. 修复音效播放器偶现崩溃的问题

4. 修复视频外部采集在内存模式下,偶现的访问野指针崩溃的问题



3.0.2 版本

发布日期: 2022-11-14

问题修复

1. 修复多房间模式下,停止推流时,房间内其他人收不到流删除通知的问题

2. 修复 Android 系统下,硬件解码切换分辨率后,可能会崩溃的问题



3.0.1 版本

发布日期: 2022-11-03

问题修复

1. 修复 onNetworkQuality 接口不回调的问题



3.0.0 版本

发布日期:2022.10.28

新增功能

1. 新增视频超分辨率能力

注意:如需使用该功能,请联系 ZEGO 技术支持。

新增 enableVideoSuperResolution 接口支持对某一条视频流进行超分辨率处理,从而得到更好的画质。超分辨率,简称超分,是客户端对拉取的视频流的宽和高进行实时倍增处理的技术,例如,从 640x360 超分为 1280x720,详情请参考 超分辨率 文档。

相关 API 请参考 enableVideoSuperResolutiononPlayerVideoSuperResolutionUpdate

2. 场景化 AI 降噪新增在音乐场景下降噪的能力

注意:如需使用该功能,请联系 ZEGO 技术支持。

场景化 AI 降噪功能,在之前针对所有非人声进行降噪的基础上,新增支持在音乐场景下的降噪能力,通过识别音乐,智能调整降噪效果还原音乐音质。SDK 会实时对麦克风输入内容进行音乐检测,在声卡、弹唱或近场音乐场景下,自动调整降噪等级,保证音乐的高保真音质,详情请参考 场景化 AI 降噪 文档。

3. 新增多人状态实时同步功能

注意:如需使用该功能,请联系 ZEGO 技术支持。

SDK 面向虚拟场景提供有序、高频、低延时、大规模的状态同步云服务,帮助客户快速实现玩家位置、动作、形象等实时信息同步能力,同时单场景中支持 1 万个用户同时在线。

大型虚拟世界中,用户一般不需要感知较远的场景或远端用户,ZEGO 提供 AOI(Area Of Interest)能力,减免用户可见范围外的信息,极大减少客户流量成本以及用户端流量及性能消耗。

相关 API 请参考 ZegoRangeScene

4. 新增万人范围音视频

注意:如需使用该功能,请联系 ZEGO 技术支持进行特殊编包。

万人范围音视频功能支持超大规模的范围音视频互动,云端服务基于用户位置动态选路,在大型虚拟场景中保持沉浸式互动体验的同时大量减少客户音视频成本。

依赖多人状态实时同步服务,根据云端用户位置自动拉取收听范用内的远端音视频并提供空间音效。单场景内最大支持 1 万用户同时开启麦克风及摄像头,用户默认拉取距离最近的 12 路(可配置)音视频。

相关 API 请参考 ZegoRangeScene

5. 新增房间维度的场景 Scenario

为方便开发者快速接入,降低开发者接入门槛,SDK 提供多种预设场景。开发者可根据所需场景,选择对应的房间模式 ZegoScenario,SDK 将自动应用适合该场景的音视频编解码器、音视频参数、流控策略等配置,从而快速实现该场景下的最佳效果。

当前支持场景包括秀场直播、KTV、标准 1v1 音视频通话、高画质 1v1 音视频通话、标准语聊房、高音质语聊房,详情请参考 场景化音视频配置 文档。

相关 API 请参考 setRoomScenario

6. 支持获取当前设备指定视频编解码器的编解码能力的支持情况

SDK 支持获取当前设备指定视频编解码器的编解码模式的支持情况,从而更好的帮助开发者选择使用的编码器及编码模式并获得更好的效果。

以上两个接口均包含三个枚举值:支持硬件或软件,支持硬件,支持软件。以 Android 端为例,isVideoEncoderSupported(ZegoVideoCodecID.H265, ZegoVideoCodecBackend.HARDWARE),即表示检查当前设备是否支持 H265 的硬编,若支持,则返回 true。

相关 API 请参考 isVideoEncoderSupportedisVideoDecoderSupported

7. 支持在 SPEAKER 模式下进行双声道采集

注意:如需使用该功能,请联系 ZEGO 技术支持。

8. 新增获取 GPS 信息开关接口

注意:该功能默认开启,如需关闭该功能,请联系 ZEGO 技术支持。

在 App 有获取地理位置权限的情况下,开发者可以选择是否允许 ZEGO SDK 获取系统缓存的 GPS 信息,默认进行获取。当开发者希望关闭该功能时,需要联系 ZEGO 技术支持进行设置。

9. 新增基于摄像头打开后的视频首帧回调

支持每次开启远端摄像头后,SDK 拉流并渲染完第一帧远端摄像头视频数据后进行回调,开发者可利用该回调统计首帧耗时,或更新播放流的 UI 组件。

相关 API 请参考 onPlayerRenderCameraVideoFirstFrame

改进优化

1. 针对 1v1 纯 RTC 通话场景进行优化

注意:如需使用该功能,请联系 ZEGO 技术支持。

针对 1v1 通话场景进行了优化,适用在纯 RTC 场景下使用。

2. 优化空间音频功能

对空间音频能力进行了优化,用户可以区分前后音源,从而达到更好的沉浸感。

3. 优化采集音量过大会造成破音的情况

优化 AGC 自动增益控制算法,当采集音量过大时,不会造成破音情况。

4. 优化极端弱网下的音视频体验

SDK 优化了内部策略,在音视频的场景下,支持最小下行 50 kbps 拉流不卡顿,保障更好的极端弱网下的体验。

问题修复

1. 修复了 Mac M1 芯片电脑在部分系统版本下,Web 端开启硬件编码推流,并采用多 SPS(Sequence Paramater Set,又称序列参数集)、PPS(Picture Paramater Set,又称图像参数集)的输出形式,Native SDK 拉流会出现解码花屏的问题

2. 修复了网络状态从有网络切换到无网络时,当前正在上传的日志有可能出现崩溃的问题

3. 修复了 GetCallbackController 非线程安全问题​

4. 修复 Android 系统下,反复启停摄像头造成的 SDK 崩溃的问题

5. 修复了 SDK 在没有 View 的情况下,没有触发 onPlayerRenderVideoFirstFrame 的问题

废弃删除

1. 废弃了 ZegoScenario 的三种旧版本场景

废弃 ZegoScenario 场景枚举中的 [General],[Communication], [Live] 三种场景,详情请参考 场景化音视频配置 文档。

2. 删除了 [setDebugVerbose]、[setPlayStreamVideoLayer]、[enableAudioDataCallback] 等接口,详情请参考 3.0.0升级指南

2.23.0 版本

发布日期:2022.09.09

新增功能

1. 移动端视频采集旋转功能新增 3 种模式

​​ 由于移动端摄像头具备角度、分辨率、旋转等特性,开发者需要做许多复杂的适配。

当前 SDK 对各种配置进行封装,对外提供简单的模式选择,在原有自定义模式基础上,新增固定比例模式、自适应模式及对齐模式,可有效降低开发者接入成本,详情请参考 视频采集旋转

相关 API 请参考:​setAppOrientationMode

改进优化

1. Android 端超分性能优化(高通平台)

​​​​注意:如需使用该功能,请联系 ZEGO 技术支持。

优化超分功能表现,提高支持的最大分辨率、提升机型覆盖、优化资源占用和推理速度。

2. 提升 Express Android Java SDK 的开发体验

为了提升 Android 端开发体验,从 v2.23.0 版本开始将以 jar 包的形式交付 Java 源码,开发者可通过 Android Studio 导入源码 jar 包以获得 API 注释,详情请参考 Express Android SDK 如何查看 API 注释和文档?

3. Java SDK 现在同时附带 C++ 接口头文件

为了方便跨平台框架开发者,我们给 Java SDK 附带了 C++ 接口头文件。由于 C++ 接口是 Header Only 形式,仅使用 Java 接口时不会增大集成 SDK 后的包大小,另外请勿同时使用两套 API 以避免 SDK 生命周期错乱。

问题修复

1. 修复多房间模式下,在网络切换(Wi-Fi 或蜂窝网络)期间调用 loginRoom 可能无回调的问题

2. 修复 Android 5.1 及以下版本可能出现的崩溃问题



2.22.0 版本

发布日期:2022.08.09

新增功能

1. 支持 socks5 的客户端代理

若在内网或防火墙场景下,您可以通过代理服务器与公网交互,并通过 setEngineConfig 设置代理服务器地址,保证 ZEGO 音视频云服务正常,目前仅支持 socks5,详情请参考 客户端代理文档

相关 API 请参考 setEngineConfig

2. SDK 外部采集支持 H.265 码流

注意:

  • 推荐每 2s 一个 GOP,每个 I 帧必须携带 SPS 和 PPS,且放在最前面。调用 enableCustomVideoCapture 时,传递的参数类型必须为 ZegoVideoBufferTypeEncodedData。
  • 外部采集不支持输入 B 帧。

相关 API 请参考 enableCustomVideoCapture

3. 支持动态修改 AudioDeviceMode

新增 setAudioDeviceMode 接口进行动态修改设备的音频模式,该配置决定设备的音量模式、前处理模式以及 Mic 占用逻辑,您可以根据具体场景进行选择,详情请参考 如何设置音频设备模式 ZegoAudioDeviceMode?

相关 API 请参考 setAudioDeviceMode

4. 支持回调已对齐人声的媒体播放器的 PCM 数据

注意:

  • 在使用媒体播放器播放伴奏时,需要同时使用 enableAux 接口。
  • 启动 enableAlignedAudioAuxData 接口后,媒体播放器的数据不会被推出去。 如果在录唱场景下,您需要对伴奏进行调音并对齐人声时,可先通过 enableAux 接口将伴奏混入主路,再通过 enableAlignedAudioAuxData 接口开启开关,最后通过 onAlignedAudioAuxData 回调获取媒体播放器的 PCM 数据,此时媒体播放器及 Mic 采集数据已对齐,且数据帧一一对应。

相关 API 请参考 enableAlignedAudioAuxDataonAlignedAudioAuxDataenableAux

5. CDN PLUS 支持自动容灾

CDN Plus将 ZEGO 自研高质量 L3 拉流与多个优质第三方 CDN 进行无缝融合,实现直播内容分发,当发生 CDN 质量灾害时,可以通过云端质量结合的方式快速感知,并通过秒级切换 L3 及其他优质 CDN 的方式来保障直播的流畅稳定,从而防止因 CDN 云商故障导致的长时间、大面积的运营事故及造成的业务损失。

改进优化

1. 优化网络质量回调,感知远端用户异常状态

当远端用户异常时,onNetworkQuality 每 2s 回调一次质量未知状态(ZegoStreamQualityLevelUnknown 状态),当用户该状态持续 8s 后,则认为远端用户已异常断开,此时回调质量异常状态(ZegoStreamQualityLevelDie 状态)。

相关 API 请参考 onNetworkQuality

2. 优化网络质量回调,网络质量反馈更灵敏

推拉流质量回调会每隔 3s 回调一次质量最差的结果,当周期内出现严重的抖动或丢包时,能够立刻反馈出流质量差。

相关 API 请参考 onPlayerQualityUpdateonPublisherQualityUpdateonNetworkQuality

3. 优化日志上报策略

优化日志上报策略,提高日志上传效率。

4. 优化拉流调度策略

根据拉流质量动态调整拉流策略,提升整体拉流质量以及观众播放体验。

5. 优化 AGC 的谐波检测算法

AGC 新改进的谐波检测算法存在崩溃问题,现回退至老版本的谐波检测算法。

问题修复

1. 修复网络模块极低概率崩溃的问题



2.21.1 版本

发布日期:2022.07.14

问题修复

1. 修复纯音频场景发送 SEI 失败的问题



2.21.0 版本

发布日期:2022.07.08

新增功能

1. 支持设置低照度增强

注意:应在调用 createEngine 接口创建引擎后,再调用 setLowlightEnhancement 接口。

当推流端用户周围环境较暗、或摄像头设置的帧率较高,导致直播画面比较暗,无法正常显示或识别主体的情况下,可调用 setLowlightEnhancement 接口,设置低照度增强,提升视频画面亮度。低照度增强功能包含三种模式:1:不开启低照度增强(默认)、2:开启低照度增强 、3:自动开关低照度增强。

开发者可以根据业务场景选择不同的低照度增强模式:当希望自行判断是否需要进行低照度增强时,可以通过切模式 1 和 2 来控制;当希望 SDK 自动增强时,可以使用模式 3 ,SDK 将自动判断用户所处的光照环境,开启或关闭低照度增强。

相关 API 请参考 setLowlightEnhancement

2. 混流支持设置视频边框为圆角

在调用 startMixerTask 接口混流时,开发者可以通过 “ZegoMixerInput” 类型参数,设置 “cornerRadius”(视频画面圆角半径),将视频边框设置为圆角。“cornerRadius” 的单位为 px,取值不得超过视频画面宽高中较短者的一半。

相关 API 请参考 startMixerTask

3. 拉流接口增加 CDN Plus 拉流配置项

注意:若希望通过地区、用户等更多维度,从云端控制拉流方式,请联系 ZEGO 技术支持进行相关配置。

拉流接口新增 CDN_PLUS 的拉流资源模式(ZegoResourceType),开发者可按流维度自行开启使用CDN_PLUS 拉流。CDN Plus 拉流是比 CDN 拉流直播质量更高,但是价格接近 CDN 的一种性价比高的拉流方式,详情请参考 CDN Plus 拉流

相关 API 请参考 startPlayingStream

改进优化

1. 优化开启强制登录鉴权时,Token 异常的相关错误码

新增 1002074、1002075、1002076、1002077、1002078、1002079、1002080 等错误码。开启强制登陆鉴权后,如果 Token 错误时,会返回这些错误码,详情请参考 常见错误码 中的详细解释和处理建议。

问题修复

1. 修复在使用 CDN Plus 连通性探测时,累计失败 5 次后,继续探测一定会失败的问题

2. 修复关闭外部滤镜时,会触发多次 [onStop] 回调的问题

3. 修复一个 L3 拉流失败的问题

修复 2.20.0 ~ 2.20.2 版本 SDK 采用 L3 拉流时,如果拉到的流是 2.15.0 及之前版本 SDK 推送的流,可能会失败的问题。

2.20.2 版本

发布日期:2022.06.20

问题修复

1. 修复了在初始化 SDK 前设置音频设备模式不生效的问题



2.20.1 版本

发布日期:2022.06.18

问题修复

1. 修复了一个概率性拉流失败的问题



2.20.0 版本

发布日期:2022-06-09

新增功能

1. 媒体播放器支持设置声道

在调用 createEngine 接口初始化引擎以及 createMediaPlayer 接口创建媒体播放器后,可以调用 setActiveAudioChannel 接口设置左声道、右声道或立体声。初始化时,媒体播放器默认为全部声道。

相关 API 请参考 setActiveAudioChannel

2. 媒体播放器支持结束播放时清除最后一帧画面

注意:必须等待媒体播放器结束播放后,接口调用才能生效。

调用 createEngine 接口初始化引擎,调用 createMediaPlayer 接口创建媒体播放器,可以调用 clearView 清除遗留的最后一帧画面。

相关 API 请参考 clearView

3. 支持开启摄像头自适应帧率

注意:当通过 setVideoConfig 设置的帧率小于 enableCameraAdaptiveFPS 期望帧率最小值时,将使用 setVideoConfig 设置的帧率值。由于不同的手机厂商的硬件和算法策略不同,该接口在不同的机型或同一机型的前后摄像头上,效果存在一定差异。

当推流端用户设置的帧率较高,而所处环境光照较低无法正常显示或识别主体的情况下,可以调用 enableCameraAdaptiveFPS 接口,在一定范围内自动降低帧率来增加曝光时间,从而提升视频画面亮度。该功能常用于对曝光要求较高的直播场景。enableCameraAdaptiveFPS 接口需在调用 createEngine 接口初始化引擎之后,启动摄像头前调用。

相关 API 请参考 enableCameraAdaptiveFPS

4. 支持设置混流中单条输入流的图片信息

注意:图片地址长度不得超出1024 字节,否则出现错误码 1005034;图片格式应为 JPG 和 PNG 格式,否则出现错误码 1005035;图片不得超过 1M,否则出现错误码 1005036。

支持通过 startMixerTask 接口的 “ZegoMixerImageInfo” 类型参数,设置图片地址,将单条输入流的内容设置为图片,用于替代视频,即当使用图片时不显示视频。该功能的使用场景为连麦时,视频用户可能需要暂时关闭摄像头而显示其头像图片,或者当视频用户和音频用户连麦,需要显示音频用户的头像图片。

相关 API 请参考 startMixerTask

5. 支持设置调用 mutePlayStreamVideo 后是否清除最后一帧

注意:如需使用该功能,请联系 ZEGO 技术支持。

开发者发现推流用户违规时,调用 mutePlayStreamVideo 接口暂停拉流用户拉取违规用户的视频流,要求违规用户整改。使用本功能,可避免因拉流用户的视频界面依然保留最后一帧导致的违规风险。

6. 支持线性增长的音量增益

注意:如需使用该功能,请联系 ZEGO 技术支持。

提供新的音量增益方式,开发者可以根据实际需求选择合适的音量增益方式。

7. 支持设置流级别的音视频自动审核

注意:如需使用该功能,请联系 ZEGO 技术支持开通后台服务。

在调用 startPublishingStream 接口开始推流时,开发者可以设置 “ZegoStreamCensorshipMode” 参数,进行流级别的音视频自动审核,自动鉴别涉黄涉政内容,以此降低开发者的接入难度和业务维护成本。

相关 API 请参考 startPublishingStream

改进优化

1. Express v2.20.0 统一实时音视频和实时语音 SDK 的接口

从 v2.20.0 版本起,实时音视频和实时语音之间不再有 API 的差异,即可以随时从实时音视频 SDK 切换到实时语音 SDK,反之亦然。两种 SDK 之间唯一的区别是对于实时语音 SDK 来说,部分跟视频相关的 API (比如视频编码参数设置、预览和拉流的 ZegoCanvas 参数等)设置后没有效果,但不会报错。注意此次改动可能会产生极少数不兼容问题,具体请参考 FAQ 文档 升级 Express v2.20.0 或以上版本后编译报错?

2. 开发者传入不存在的 AppID 时报错的错误码从 1002099 优化为 1001004

3. 优化回声消除,解决 KTV 等场景的吞音现象

4. Android 平台加载 so 库失败时可以抛出 UnsatisfiedLinkError 异常通知

5.新增 1009013 错误码

表示消息输入长度超出限制。出现此错误码时,请检查输入内容长度或联系 ZEGO 技术支持扩展消息内容长度。

6.新增 1017009 错误码

在版权音乐初始化时,由于未设置 AppSign 或 Token,导致鉴权失败,会出现此错误码。此时,如果是使用 AppSign 鉴权,请在初始化 SDK 时传入 AppSign;如果是使用 Token 鉴权,在调用 initCopyrightedMusic 接口前,请调用 loginRoom 接口并传入 Token,以供鉴权。

相关 API 请参考 initCopyrightedMusicloginRoom

问题修复

1. 修复了自定义采集 AAC 音频格式的报错问题

2. 修复了媒体播放器在播放媒体文件时,使用 setPlayerCanvas 在两个 TextureView 之间多次切换后,高概率会出现切换无效的问题



2.19.0 版本

发布日期:2022-06-01

新增功能

畅直播首次发布,提供超低延迟直播、CDN Plus直播、CDN直播3种差异化服务,并提供多种直播推流、直播拉流等核心功能,更多功能和详情请参考 概述