2025年4月7日,成都理工大学计算机与网络安全学院(示范性软件学院)在E1B102开展了线下学术讲座,本次讲座邀请到了新西兰工程院院士、博士生导师、成都理工大学柔性引进高层次专家——王睿俐教授,王教授长期致力于人工智能、机器学习与数据挖掘、计算机视觉与视频处理、语音与自然语言处理等研究。本次讲座的报告主题为《Progress in Action Recognition》。

讲座现场
讲座伊始,王教授重点阐述了团队当前在研项目的进展情况,并深入讲解了多模态数据处理技术在该领域的创新应用。其次,针对人工智能在智慧医疗和康复领域的应用前景,王教授还探讨了AI心理咨询师、语言障碍康复训练系统、盲人视觉辅助系统以及手语翻译系统等创新应用的发展潜力与实际挑战。

王教授重点阐述项目进展
接下来,王教授介绍了团队提出的一种新颖方法——“知识增强与解纠缠学习”(KEDL),旨在通过大型语言模型(LLM)增强视频描述生成的语义推理能力,并通过解纠缠学习优化视觉与文本模态的对齐,从而生成更准确、信息丰富的视频描述,提升视频描述的语义丰富性和准确性。该研究解决了知识图谱的局限性,提高了复杂关系的推理能力,改善了跨模态对齐的鲁棒性,并为视频描述生成提供了一种更灵活、高效的解决方案。