文档中心
实时音视频
产品简介
产品功能

产品功能

更新时间：2024-02-05 17:41

通信能力

基础功能

基础功能	功能描述	业务场景
音视频通话	用户加入同一个房间，并进行音视频通话。	1v1 视频通话多人视频会议
音视频直播	同一个房间，包含主播及观众，主播可以进行音视频直播，该房间内的观众可以观看直播。	秀场直播游戏直播电商直播
用户权限控制	使用 Token 对用户进行权限控制，如：指定用户可以进房/退房；指定用户发言/静音；指定用户。	视频会议
通话前检测	在进行音视频通话或直播前，对摄像头、麦克风、显示器等进行设备检测，确保通话或直播的正常运行。	正常的通话功能检测
通话质量监测	对音视频的质量进行检测，如分辨率、帧率、码率、采样率等多指标检测，确保质量稳定。	银行开户、远程鉴定等对音视频质量较高要求和限定的场景
网络测速	可在用户进行推/拉流前，检测上行和下行网络速度，判断当前网络环境下适合推/拉多大码率的音视频流。	通话场景、教育场景、直播场景

进阶功能

进阶功能	功能描述	业务场景
直播连麦	一个房间内，可以出现多个主播，进行同屏连麦直播。	多主播不同地区连麦多人 KTV 合唱秀场直播
多源采集	提供灵活易用的音视频采集源与通道管理能力，减少开发者的开发及维护成本。	视频会议、在线教育
同时推送多路流	一个用户可以推送多路音视频流，如分享屏幕的同时，将摄像头的视频流进行发送。	视频会议中播放 PPT 的同时，看到主讲人的画面
媒体补充增强信息（SEI）	文本信息与音视频内容打包在一起通过流媒体通道进行传输，以此实现文本数据与音视频内容的精准同步的目的。	视频画面的精准布局远端歌词同步直播答题
流量控制	ZEGO 业内领先技术。SDK 根据自己以及对端当前网络环境状态来动态调整视频推流的码率、帧率、分辨率，以及音频码率，自动适应当前网络环境及网络波动，从而保证视频能流畅发布。	所有希望有高质量实时音视频服务的场景
云代理	通过设置 SDK 的云代理接口，将 SDK 对应的所有流量通过云端的代理服务器中转，实现与 RTC、L3（超低延迟直播）通信。	医院、政府、公司内部等有内网等限制性的网络环境中
地理围栏	将音视频及信令数据传输限定在某一区域，用以满足地区数据隐私安全相关法规，即限定访问某一特定区域的音视频服务。	通话场景
音视频流加密	推流时对流进行加密，拉流时必须有与加密密钥一致的解密密钥。	需要加密流信息以保护通信安全的场景
游戏语音	模仿真实世界，人根据声音的方位及距离等因素，从而有不同的听觉感受，例如距离越远，声音越小等。同时可以对能接收到音源的人进行分组限定，例如房间中，分组进行讨论，不同组听不到彼此声音等。	元宇宙同一房间，分组交流或对战
万人范围音视频	ZEGO 业内领先技术。根据云端用户位置自动拉取收听范围内的远端音视频并提供空间音效（默认拉取距离最近的 12 路），单场景内支持 1 万个用户同时开启麦克风及摄像头。	虚拟办公、虚拟会展、开放虚拟世界等虚拟场景
多人状态实时同步	ZEGO 业内领先技术。提供有序、高频、低延时、大规模的状态同步服务，帮助开发者快速实现虚拟玩法中玩家的位置、动作、形象等实时信息同步能力，同时单场景中支持 1 万个用户同时在线。	虚拟办公、虚拟会展、虚拟社交、虚拟 KTV 等元宇宙场景，及需要超高频、低延时、大规模同步信息或控制指令的通用场景

房间能力

基础功能

基础功能	功能描述	业务场景
房间连接状态说明	判断用户在房间内的连接状态，以及各个连接状态的转化过程。	-
实时消息与信令	实时消息主要提供纯文本消息的收发功能，可向同一房间内的其他用户发送广播消息和弹幕消息，或者对某些指定用户发送自定义消息，并可以根据需要自行实现点赞、送礼物、答题等互动功能。	秀场直播语聊房

进阶功能

进阶功能	功能描述	业务场景
登录多房间	一个用户可以同时进入多个房间进行音视频通话或观看直播。	老师多班在线教学

音频能力

基础功能

基础功能	功能描述	业务场景
音频频谱与音量变化	音频频谱：即数字音频信号在各频点的能量值。音量变化：即某条流音量的大小。	判断麦上的用户谁在说话、麦克风、扬声器等是否可用音频频谱动画展示等
耳返与声道设置	耳机采集监听，在设备上插入耳机（普通耳机或蓝牙耳机）后，能从本机耳机侧听到本设备麦克风采集的声音。双声道，指两个声音通道，听到声音时可以根据左耳和右耳对声音相位差来判断声源的具体位置。	秀场直播情感 FM 音乐教学等较为专业场景
音频 3A 处理	在实时音视频通话或直播时，可以对音频进行 3A 处理，以提高通话或直播质量和用户体验。 AEC（回声消除）：对采集到的音频数据进行过滤以减少音频中的回声。 AGC（自动增益控制）：开启该功能后，SDK 能够自动调节麦克风音量，适应远近拾音，保持音量稳定。 ANS（降噪）：识别声音中的背景噪声并进行消除，开启该功能后可以使人声更加清晰。	所有希望有高质量实时音视频服务的场景
变声/混响/立体声	为增加趣味性和互动性，用户可以通过变声来搞怪，通过混响烘托气氛，通过立体声使声音更具立体感。 ZEGO Express SDK 提供了多种预设的变声、混响、混响回声、立体声效果，开发者可以灵活设置自己想要的声音。	直播语聊房 K 歌房匿名社交游戏娱乐角色扮演

进阶功能

进阶功能	功能描述	业务场景
场景化 AI 降噪	实时自动识别不同场景，智能调整 AI 降噪策略提供最佳的降噪及音质效果。通话场景下将除人声外的所有声音识别为噪音并进行消除。音乐场景下自动调整降噪效果还原音乐音质。	语音房、会议、语音开黑等 1v1 或多人音视频通话场景，以及声卡、弹唱、近场音乐的直播或者在线 KTV 场景
自定义音频采集	开发者可以自行获取音频信息后，交给 SDK 进行传输。	在线或本地音频文件传输定制采集系统的音频文件进行传输
自定义音频渲染	音频的由开发者自行渲染后进行播放。	开发者有自己的特殊渲染需求
自定义音频处理	开发者可以自行进行音频特殊处理。	有 SDK 无法满足的特殊的声音处理需求时，如特殊变声
原始音频数据获取	获取原始音频录制的功能，获取的原始音频数据格式为 PCM。	音频数据留存或特殊处理
AI 变声	实时通话中的“柯南变声领结”，完美重现目标角色的音色与韵律，同时保留用户的语速、情感、语调，随心所欲切换音色，超低延迟。	社交语聊直播游戏语音

视频能力

基础功能

基础功能	功能描述	业务场景
常用视频配置	在视频通话或直播时，自定义设置采集及播放的视频的相关配置，如视频采集分辨率、视频编码输出分辨率、视频帧率、码率、视图模式和镜像模式等。	视频通话直播场景
视频采集旋转	针对移动端，提供 4 种采集旋转模式（固定比例模式、自适应模式、对齐模式及自定义模式），简化开发者实现多端旋转表现时面临的复杂适配问题，如摄像头角度、分辨率、自动旋转、statusbar（状态栏）位置适配等。	-
屏幕共享	视频通话或互动直播过程中将屏幕内容以视频的方式共享给房间内的其他用户。	视频会议游戏直播
水印和截图	可以在视频画面上添加版权 Logo 等水印。	有版权的视频分享等

进阶功能

进阶功能	功能描述	业务场景
设置视频编码方式	可对视频的编解码进行详细设置，包括启用分层视频编码、使用硬件编解码和设置编码方式等。	对编解码有特殊要求时
自定义视频采集	自定义向 ZEGO Express SDK 提供视频输入源输入视频数据，并由 ZEGO Express SDK 进行编码推流的功能。	使用了第三方美颜厂商的美颜 SDK 摄像头无法被 SDK 正常使用直播非摄像头采集的数据
自定义视频渲染	自定义视频渲染指的是 SDK 向外部提供本地预览及远端拉流的视频帧数据，供用户自行渲染。	App 使用了跨平台界面框架或游戏引擎 App 需要获取 SDK 采集或拉流的视频帧数据进行特殊处理
自定义视频前处理	开发者自行对视频数据进行自定义的前处理。	美颜、添加挂件等操作
超分辨率	在拉流端对拉取到的视频流画面的宽和高进行倍增。例如：拉流端拉取到的原始画面分辨率为 640p x 360p，对画面进行超分处理后分辨率将提升为 1280p x 720p。	1V1 视频通话场景、直播场景、在线教育
主体分割	ZEGO 业内领先技术。在推流端将矩形视频内的主体（多数情况下是人）通过 AI 算法分离出来并在 RTC 网络中传输、在拉流端渲染。	多人异地同台、秀场直播同台 PK、多人在线自习等多人同台场景
H.265	通过更加先进的 H.265 编码技术，在相同码率的情况下，提供更高的清晰度。	网络环境较差下需要较高的音视频通话、直播体验对带宽较为敏感
视频大小流和分层编码	将码流分为基本层和扩展层，可以为不同网络状态、不同设备性能的用户提供更好的体验。	视频通话
推流视频增强	ZEGO Express SDK 提供多种视频前处理增强能力，开发者可以根据业务需要，在推流端对画面的效果进行调整。基础美颜：美白、磨皮、锐化、红润，为用户呈现出良好的肌肤状态，打造独特自然的美颜效果。低照度增强：在环境光较暗的情况下，摄像头采集到的画面亮度不满足看清人脸、或无法进行人脸识别等业务需求时，对画面亮度进行增强。色彩增强：在保护人物肤色的情况下，增强欠饱和的色彩，让画面色彩更逼真，更符合人的视觉感受。	秀场直播音视频通话

直播能力

基础功能

基础功能	功能描述	业务场景
混流	把多人的多路视频流混流为一路流，从而只需要拉取一条流就能看到房间内所有成员的画面，听到房间内所有成员的声音。	多人通话主播连麦
使用 CDN 直播	统一接入多家 CDN 能力，该功能支持推流到 CDN，打通 RTC 产品和 CDN 直播产品，方便用户从网页或第三方播放器直接观看直播内容。	高并发的基础直播、对直播延迟无强要求的场景
CDN 推流鉴权	为防止攻击者盗取开发者的推流 URL 地址在别处推流使用、或伪造开发者的服务器生成推流 URL 地址，从而造成流量损失，可以通过 ZEGO 控制台自助配置 CDN 推流鉴权。当开启鉴权后，需要在推流 URL 地址中拼接相关的鉴权参数，否则无法推流。	-
通过 URL 拉流	当推流端使用第三方推流工具（例如 OBS 软件、网络摄像头 IP Camera 等）将流推到 CDN 时，或通过使用 ZEGO SDK 转推 CDN 功能将音视频画面推送到第三方 CDN 上时，可使用直接传入 URL 地址的方式进行拉流。	第三方直播画面获取

进阶功能

进阶功能	功能描述	业务场景
超低延迟直播	专注于提供稳定可靠的直播服务。相比于标准视频直播产品，音画延迟更低，同步性更强，弱网抗性更好，能为用户带来毫秒级的直播体验。	在线教育秀场直播电商直播一起看在线拍卖
单流转码	在云端把单条原始流转换为不同编码格式、不同分辨率的转码流。在直播等场景中，观众可以基于接入网络质量、终端设备等，自行选择不同分辨率的流进行观看，以保证播放的流畅性。	直播场景

其他能力

基础功能

基础功能	功能描述	业务场景
媒体播放器	提供播放音视频媒体文件的能力，并且支持将播放的媒体文件的音画数据推流出去。	播放测试音频播放背景音乐播放视频文件
音效文件播放器	提供音效播放器，并进行音效统一管理，实现增强真实感或者烘托场景氛围播放的简短效果音的播放控制等效果。	秀场直播游戏娱乐
音视频录制	在进行视频通话、直播、在线教学时，用户经常需要将视频录制保存下来，方便后续其他用户点播观看。ZEGO 提供了多种录制方案，满足不同场景下的录制需求。	会议录制直播录制通话录制在线课堂录制
摄像头变焦	通过 SDK 设置摄像头的变焦倍数，可实现拍摄时放大远方物体的效果。	户外直播

进阶功能

进阶功能	功能描述	业务场景
将白板推送到第三方平台	利用 ZEGO Express SDK 的混流功能，将音视频流和 ZegoSuperBoard 内容合并成一路流，输出到第三方平台，例如微信、视频号等，从而达到更好的传播和营销效果。	在线教育直播卖货
播放透明礼物特效	ZEGO Express SDK 媒体播放器提供 RGB 通道与 Alpha 通道分离播放 MP4 素材（RGB 与 Alpha 拼接后的 MP4 素材）的功能，实现播放透明礼物的动态效果，即播放礼物特效时，不会挡住直播间内容，大大提升用户体验。	语聊房直播

本篇目录