AI教育
  • 概述
  • SDK 集成指引
  • 实现流程教师端
  • 实现流程学生端
  • API 文档
  • 常见错误码
  • 文档中心
  • AI教育
  • 概述

概述

更新时间:2021-04-25 20:25

1 场景介绍

1.1 方案介绍

“AI 授课”也就是“AI 教师+直播授课”,指的是用 AI 教师进行在线个性化授课,将学生持续学习的情况进行数据积累,找到每个学生的薄弱项,通过智能分析后针对性地进行教学,让学生的知识难点更加具体,让 AI 技术与真人教师融合协同教学,促进知识传授方式、学习方式的改变。

在 AI 教学过程中,教师端根据课程设置,将知识点讲解、互动提问、应对反馈的视频录制成一个个片断,在服务器预加载全部教师端录制好的教学片断,在实际课堂中,根据学生的反应,实时无缝地切换播放录制的教学片段。

1.2 方案优势

AI 课堂解决方案需要攻克两大关键技术难点:

  1. 视频无延迟无卡顿实时切流播放。
  2. 多个视频同时推流对服务器造成的巨大压力。

即构科技 AI 智能课堂解决方案,采用独有的“切换推流视频无缝衔接”技术,完美解决了这两个难点;同时即构 AI 智能课堂还为教育场景提供个性化支持,让课堂上的师生互动更高效。

1.2.1 切换推流视频时无缝衔接

传统的视频推流会先对 mp4 文件进行解码、播放并且推流,若部署到服务端时每个进程都将会造成不小的开销,会对服务端的多进程并发工作造成很大的阻碍。

即构通过对 mp4 裸码流进行处理,使用云端码流合成方式,将多个视频合并成如同一个视频般播放,避免了传统视频播放时首帧卡顿的问题,实现教师视频片段无缝衔接,毫秒级合成,做到无限接近真人直播教学。

1.2.2 提升服务器并发量

由于采用了 mp4 裸码流处理方式,即构的 AI 智能课堂解决方案极大降低 AI 教师视频推流对服务器 CPU 和内存的消耗,能支持服务端的多进程并发工作,解决了多个视频同时推流对服务器造成的巨大压力;降低了总体延时,提升用户体验,更是成倍提升了服务器并发处理的能力,节省企业成本。

1.2.3 精确的控制课堂进度

媒体次要信息和媒体流一起到达客户端,能更精确地控制课堂进度。如需要在某一个时间节点向客户端发送题目消息或课件信息,使用媒体次要信息功能来实现自定义信息与视频播放达到同步的效果。

1.2.4 语音识别视频流

即构的外部音频渲染接口提供多种自定义设置,支持提取 PCM 音频数据并进行第三方语音识别解析,做到实时视频互动与语音识别同步进行,让 AI 教师及时反应。

1.2.5 信令服务

对于 AI 课堂上非语音作答部分,如屏幕点选、作答信息,即构的实时信令服务能将这些互动指令实现端到端的准确传递,保障学生与 AI 教师端的实时互动,实现 AI 智能互动。

1.2.6 更优音质

即构自研的音视频引擎,通过成熟的 3A 技术对声音进行回声消除、噪音抑制、音量增益,很大程度还原声音原本的样子,为提高语音识别的准确率提供技术支持,让 AI 教学更自然。

1.3 技术架构

1.3.1 系统架构图

1.3.2 系统流程图

本系统流程图展示一个基础的 AI 课堂系统流程,开发者可以参考本系统并以此作进一步扩展,如增加语音识别功能,搭建业务后台等。

2 功能列表

主要功能 功能描述
登录房间 使用主播或观众的身份登录房间,用来标识后续是进行直播还是只观看。教师端与学生端需进入同一个房间才能使用信令交互模块 。
直推mp4码流 通过码流推流器模块向SDK传入待播放的视频资源,并在上课过程中可无缝切换视频。
推流 推送自己的画面,主要是教师端推送AI教学视频。
拉流 播放流画面,主要是学生端播放AI教学视频。
媒体次要信息 当开发者需要在主播端和观众端传送音视频流数据的同时,同步一些其他信息,主要是教师端下发题目到学生端。
房间信令 当开发者需要在主播端和观众端之间进行信令交互,可使用房间信令。

3 性能数据

3.1 主机配置

测试AI教育推流性能消耗时使用的主机配置信息如下:

  • 操作系统:Ubuntu18.04
  • CPU:8核
  • 内存:16GB
  • 带宽:100 Mbps

3.2 推流性能数据

如下数据为服务器端只推流不拉流时,在不同分辨率下的推流性能消耗:

音视频输入源(MP4文件) 视频帧率(fps) 推流路数 CPU使用率 内存使用(MB) 网络带宽使用(Mb/s) 平均每路推流码率(kbps) 理论最大推流数
360P 15 120 4.8% 1320.38 76 633 155
480P 15 100 4.3% 1192 80.78 827.21 115
640P 15 100 4.4% 1219 83.625 856.32 110
720P 15 100 4.8% 1270.94 97.96 1003.04 100
本篇目录