8月31日至9月18日,信息工程学院计算机与网络工程系为2023级毕业生开设的《专业综合实训》顺利结束。本次实训面向计算机1231—12310班共10个教学班,以"基于Linux开发板的嵌入式语音交互对话终端开发"为主题,历时三周,共设置5个实训项目,由11名校内指导教师与3名企业教师协同授课。实训结束时,每位同学手上都跑通了一套完整的"语音采集—本地识别—网络转发—AI大模型问答—结果回显"嵌入式语音对话终端原型。
五个项目逐级推进,三周排课"天天有任务"
实训内容按模块拆解为五个项目:LVGL界面模块设计与实现、RKNN语音识别模块实现、TCP网络通信模块实现、WSL端智谱AI调用模块实现,以及模块整合与数据流打通。
教学进度安排得非常紧凑。8月31日起,学生分组进入机房441、444两个实训室,先完成Linux操作系统环境搭建、VSCode安装和开发板基础使用;9月1日至9月10日集中攻克LVGL图形库,从开发手册、基本类对象与label标签讲起,再到回调函数与event事件原理、中文字库的生成与移植、多界面跳转与按键交互;9月10日至9月11日转入RKNN语音识别模型的移植;9月14日 至9月18日则聚焦智谱AI的文本解析与回传、设备IP配置、进程与进程间通信,最终落到TCP通信与Socket套接字编程,完成多模块联合调试。

三周之内,两条教学线路在两个机房并行推进,企业教师杨宇翔、艾馨、张兴轮流承担主讲,陈远山、苏永红、文语奇、罗瑜、张玉蓉、肖星月、汤琳、许梦玥、田夏利、段学东等校内教师全程跟课,随时在学生身边解决"卡壳"问题。
调试中的坑,正是实训最有价值的部分
回看这三周,学生们收获最大的恰恰是那些"预期之外"的报错。界面开发阶段,中文显示成一片方框乱码,学生需要自己用LVGL字体转换工具生成包含常用汉字的字体文件,加入工程并修改配置文件开启自定义字体,才能把中文正常显示出来。语音识别模块调试时,音频采样率不匹配导致识别结果错乱,调整音频采集参数、使其与模型要求的输入对齐之后,识别才恢复正常。

跨设备通信是最容易"翻车"的环节:开发板与WSL不在同一网段导致ping不通、防火墙拦截端口导致连接失败、TCP粘包造成接收字符串错乱。对应的解决办法也一一在实践中形成——统一局域网、关闭WSL防火墙并设置端口放行、为报文设置结束标记由接收端按标记分包。调用大模型接口时则必须加上异常捕获,一旦网络超时或接口调用失败,界面上要能显示"AI请求出错,请重试",而不是让程序直接崩溃退出。
"每个模块只负责自己的功能,模块之间通过字符串完成数据交互。"参与实训的同学总结,降低耦合不仅方便单独调试某一个功能,也让最后的数据流打通变得可控:麦克风采集音频,RKNN识别转文字,TCP客户端发送到WSL服务端,WSL调用智谱AI取得回答,再经TCP传回开发板,LVGL界面刷新展示问答内容,一次完整的对话闭环就此完成。

双过半考核,过程与成果并重
本次实训成绩采用优、良、中、及格、不及格五级记分制,由过程考核与终结性考核各占50%构成。过程考核中课堂表现占30%、按阶段性功能模块完成情况打分的课堂作业占30%、最终演示与答辩占40%;终结性考核则以答辩情况和纸质报告为主,重点考察设计方案、系统调试与结果、报告撰写质量。课堂出勤、积极提问、团队协作和文档撰写能力,都被明确纳入了培养目标。
从环境搭建到原型跑通,三周时间不算长,但2023级的毕业生们第一次把嵌入式界面、本地AI推理、网络通信和大模型接口四件"分散在专业课里的事",组装成了一件能开口对话的完整作品。这也正是专业综合实训希望达到的效果——在毕业走向岗位之前,先完整地走一遍真实项目该走的路。