昆山杜克大学大数据研究中心副教授李明博士的团队与通力电梯有限公司进行的合作研究项目 “电梯场景下多模态异常事件检测系统及方法” 近日取得重要进展。双方共同申请三项合作技术专利，并在多模态人机交互旗舰学术会议上联合发表相关论文，论文的第一和第二作者均为昆山杜克大学本科生。
李明博士表示：“合作研究的目的是使‘事后查找故障原因’转变为‘提供实时预警，防患于未然’。该技术可以实时监测电梯内部的状态、提供实时预警，便于及时发现异常事件并进行提前干预和处理，从而减少故障或事故的发生。感谢昆山市政府与通力电梯有限公司的支持，前沿 AI 技术将促进制造业转型升级，并最终造福千家万户。”
据悉，以往电梯异常事件主要是事后通过人工查看录像来检测和判断。本次合作则是通过 AI 音视频分析技术，对电梯内的扒门、砸门、打斗或摔倒等异常事件提供实时预警。该项成果将有助于未来实时检测电梯场景里的多种异常事件，及时干预、处理，减少故障或事故的发生。
在研究过程中，通力电梯有限公司为研究提供了实地测试环境，此次合作研究的成果在通力电梯有限公司的轿厢中得到了实地测试，并通过了初步的可行性验证。
应用场景示意图与通力电梯合作研发结硕果 本科生再出一作！
昆山杜克的五名大三学生陈欣萌、龚绪晨、居然、储黄瑞和王烨宸作为主力成员，在李明博士、研究助理程铭和通力电梯有限公司科研人员的共同指导下参与了该项目。双方还在人机交互领域的ACM多模态交互国际会议（The 2021 International Conference on Multimodal Interaction，以下简称 ICMI）及其分会上投稿及联合发表三篇论文，第一和第二作者均为昆山杜克大学本科生。
经过为期一年的努力，研究团队近日提交了三项合作专利申请：基于视频监控的电梯异常行为检测方法及系统 (申请号202110621297.3) 、基于音视频智能判断呼救的方法 (申请号202110620172.9) 和一种无接触式电梯交互系统 (申请号202110621293.5)。
本项目通过结合昆山杜克大学在 AI 和数据科学方向的人才优势与通力电梯公司在制造行业的雄厚实力，在特定场景下融入 AI 技术展开前期探索与研究，将助力制造业转型升级，服务地方经济。
李明博士的研究团队长期致力于智能语音和多模态行为分析技术的探索与创新。2020年7月，李明博士团队与通力电梯有限公司开始此项合作，并得到了昆山市政府研究计划的资助。
数据科学专业的大三学生龚绪晨认为这次参与科研的经历弥足珍贵：“这次研究经历，要感谢李明教授及程铭助教的指导，让我体验到了学术研究从设计方案、解决问题直至论文投稿发表的全过程。这是一次弥足珍贵的经历，它不仅让我了解到专业的科研方法、拓展了我的专业视野、更是重塑了我对未来学业的规划。”
龚绪晨与她的数据科学专业同学陈欣萌在这次合作项目中共同主笔的论文成功被 ICMI 会议主会场接收。该论文提出了一种针对于深度神经网络模型的“多模态训练，单模态推理”的方法，在训练时将深度模型和 RGB 模型融合，而推理时用以 RGB 为输入的“伪深度模型”替换深度模型做推理。论文就多种融合模型在电梯异常事件数据集上进行对比实验，证明了该训练方法对于不同模型的普适性，且能在应用中提高异常事件检测的推理性能。
正在模拟测试的原型系统
李明博士解释道，“考虑到训练数据时使用的深度相机成本较高，我们提出了一种新的跨模态训练和推理的方法。训练时需要借助深度和彩色图像相机的双重数据，而在实际预测时，只需要彩色图像相机的数据，这样大大降低了实际使用时的硬件成本。”
陈欣萌表示：“从大一接触数据科学入门课之后，便对数据科学专业产生了兴趣，大二暑假有幸加入了李明教授的实验室，开始学习计算机视觉领域的相关知识，随后，教授提供给了我们这次深度参与通力项目的机会。经过和队友的一同努力，在 ICMI 发表了论文。十分感谢李明教授、程铭助教给予我们的指导，感谢学校与通力电梯有限公司给我们提供的这次宝贵的学习机会。”
昆山杜克大学研究生院院长、科研副院长李昕博士表示，“我校优秀的科研人员致力于与世界各地的一流大学、企业和组织合作，以解决实际问题、知识服务社会。此前，昆山杜克大学的发展写入了国家长三角发展规划纲要；感谢昆山市政府和通力电梯有限公司的大力支持，让我们得以在服务地方经济和社会发展的道路上，继续砥砺前行。”
这五名学生在昆山杜克大学的标志性成果项目亦由李明博士指导。昆山杜克“标志性成果”项目鼓励学生将课程、研究以及参与的体验式学习巧妙结合，创造出新知识和新产品。
