(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211234395.2 (22)申请日 2022.10.10 (71)申请人 北京师范大学 地址 100875 北京市海淀区新 街口外大街 19号 (72)发明人 黄荣怀　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 王杰 (51)Int.Cl. G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 一种多模态的智慧教室边 缘计算控制系统 (57)摘要 本发明公开了一种多模态的智慧教室边缘 计算控制系统， 包括音频数据采集单元、 全景图 像采集及AI计算单元、 网络连接单元和设备控制 单元， 所述音频数据采集单元包括麦克风组件， 用于获取目标声音； 全景图像采集及AI计算单元 包括全景摄像机， 用于获取智慧教室内部全景图 像数据； 网络连接单元包括WIFI6无线网络 单元、 光纤接入单元和RJ45有线网络单元， 用于普通计 算设备、 IoT设备和其他无线设备的接入； 设备控 制单元通过RS2 32总线接口对IoT设备进行控制。 本发明采用上述的一种多模态的智慧教室边缘 计算控制系统， 通过增加语音控制 、 手势控制、 多 模态控制方法， 使各个设备之间互联互通， 比单 独使用手 工按钮节省时间， 方便 便捷。 权利要求书2页 说明书6页 附图4页 CN 115480923 A 2022.12.16 CN 115480923 A 1.一种多模态的智慧教室边缘计算控制系统， 其特征在于： 包括音频数据采集单元、 全 景图像采集及A I计算单元、 网络连接单元和设备控制单元， 音 频数据采集单元、 全 景图像采 集及AI计算单元、 网络连接单元和设备控制单元与控制器连接； 所述音频数据采集单元包 括麦克风组件， 麦克风组件包括麦克风、 音频处理芯片和用于焊接组装的印刷电路板， 用于 获取目标声音； 全景图像采集及AI计算单元包括全景摄像机， 所述全景摄像机包括多个无 死角拍摄的高清普通摄像机， 用于获取智慧教室内部全景图像数据； 网络连接单元包括 WIFI6无线网络单元、 光纤接入单元和RJ45有线网络单元， 用于普通计算设备、 IoT设备和其 他无线设备的接入； 设备控制单 元通过RS232总线接口对I oT设备进行控制。 2.根据权利要求1所述的一种 多模态的智慧教室边缘计算控制系统， 其特征在于： 所述 音频数据采集单元采集多个不同方向的声音并对其进 行降噪， 提供一种语音信号的降噪处 理方法， 该 方法包括以下步骤： S1、 通过麦克风组成的多麦克风阵列拾取声 音数据预存至系统的存 储器； S2、 对待处理的语音数据进行预处理， 得到第一特征的音频数据； 预处理调用深度 学习 算法对语音数据进行初步的处 理， 包括去除语音数据中的环境底噪， 留出较为清晰的人声； S3、 调用预设的二阶降噪算法对第一特征的音频数据进行二次处理， 过滤掉语音数据 中的平稳噪声， 得到第二特 征数据； S4、 将第一特征数据和第二特征数据输入至预设的降噪深度学习算法， 过滤待处理语 音数据中的瞬态噪声， 并得到第三特 征数据； S5、 根据第一特 征数据、 第二特 征数据和第三特 征数据， 确定降噪处 理后的语音数据。 3.根据权利要求1所述的一种 多模态的智慧教室边缘计算控制系统， 其特征在于： 所述 全景图像采集及AI计算单元根据宽度学习算法模型对全景摄像机采集的声音与图像进行 解算， 用于分析 学生的专 注度与情感、 学习环境氛围。 4.根据权利要求3所述的一种 多模态的智慧教室边缘计算控制系统， 其特征在于： 所述 宽度学习算法模型对 全景摄像机采集的声 音与图像进行解 算， 包括以下步骤： S1、 根据智慧教室的教师和学生的数据， 即用户数据进行宽度学习算法模型训练； S2、 将用户数据、 环境声音数据与图像数据同时传输至完成模型训练的宽度学习算法 模型和HMM情感计算模型内； S3、 通过宽度学习算法模型对教师和学生的授课与学习过程行为进行预测， 理解教师 和学生的语言和动作意图； S4、 将被理解的教师和学生的语言和动作意图数据传入至HMM情感计算模型中， 进行数 据预处理， 将用户数据、 智慧教室环境数据和预 处理的意图数据转换为能被HMM情感计算模 型理解的数据表达信息； S5、 提取与教师和学生相关的特 征数据， 进行教师和学生的情感识别； S6、 建立HMM情感计算模型， 将智慧教室环境数据和意图数据作 为敏感因素指标， 对HMM 情感计算模型进行矫 正； S7、 输出符合教师和学生需求的情感表达数据。 5.根据权利要求1所述的一种 多模态的智慧教室边缘计算控制系统， 其特征在于： 所述 设备控制单元通过RS232总线接口对IoT设备进行控制的控制方式包括对智慧教室内多个 红外接收遥控设备进行控制和通过深度学习算法加速， 利用多麦克风阵列和全景摄像机，权　利　要　求　书 1/2 页 2 CN 115480923 A 2生成控制指令进行语音或手势控制。 6.根据权利要求1 ‑5任一项所述的一种多模态的智慧教室边缘计算控制 终端， 其特征 在于： 包括设备外壳， 设备外壳内部设置有印刷电路板和控制器， 印刷电路板与控制器连 接， 印刷电路板上设置有麦克风和音频处理芯片， 设备外壳的一侧设置有外部设备接口和 按键板， 按键板相邻的设备外壳的侧 面设置有无线网络接口， 无线网络接口相对的设备外 壳的侧面设置有有线网络接口和电源输入接口， 外部设备接口与按键板相对的设备外壳的 侧面设置有全景摄像机， 麦克风、 音频处理芯片、 外部设备接口、 按键板、 无线网络接口、 有 线网络接口、 电源输入接口、 全景摄 像机均与控制器连接 。权　利　要　求　书 2/2 页 3 CN 115480923 A 3