目标跟踪

               本项目以地铁站内检测乘客们的异常行为并对异常乘客轨迹进行实时追踪为主要研究内容，推动风险防控从事后报警向事前预防，从而保证地铁站乘客的人身安全。在人工智能和深度学习技术快速发展的今天，采用常规的人工来观测监控视频从而发现乘客的异常行为并进行轨迹追踪效率会非常的低，并且经常会出现漏检的情况。为提高异常行为的追踪效率，本项目拟提出一种基于监控视频的地铁乘客异常轨迹的追踪系统，能够自动识别出地铁大客流出行场景中地铁站内乘客的异常行为并进行异常乘客轨迹实时轨迹追踪。

本项目的主要研究内容分为三部分：

（1）乘客异常行为的检测与识别：首先采用Labelimg进行图像标注，并通过Yolov7算法进行检测、定位和去噪处理，最终实现对地铁站内乘客数量的准确识别。然后采用AlphaPose算法通过骨骼信息分析人体姿态评估，并采用图卷积神经网络来提取每一帧人体的特征并通过对比分析特征。最后选用半监督式学习策略针对异常行为识别，这一策略融合了监督学习与非监督学习的特性，充分利用了大规模的未标记数据，同时结合部分标记数据，以达到优化的模式识别效果。鉴于地铁站内人流量巨大，纯人工操作显然不现实，但完全依赖机器学习可能无法全面捕捉各类异常行为。因此，半监督学习方法正好适应了本项目的需求。

（2）基于Transformer结构的多目标追踪系统：多目标追踪（Multiple-Object Tracking，MOT）是指在视频序列中进行目标检测、特征提取以及跨帧数据关联和匹配，以获得多个目标的运动轨迹。随着深度学习的快速发展，基于深度学习的多目标追踪方法在多个领域如自动驾驶、自动监控、行人追踪、车辆追踪等得到了广泛应用。然而，目前基于经典算法DeepSort的多目标追踪模型仍然面临着一系列如复杂场景、遮挡、目标轨迹重叠、追踪目标密度高等挑战，然后导致准确度下降以及误检和漏检等问题的出现。近年来，Transformer网络结构成功地应用于多目标追踪任务，并与基于卷积神经网络CNN（Convolutional Neural Network）的方法相比，Transformer网络结构能更有效地学习长距离关系、网络结构更加灵活、更具可解释性且更适合处理多模态任务。通过对Transformer在MOT中的应用进行细致研究，本项目期望为解决复杂的多目标追踪问题提供更为高效和准确的方法，从而推动这一领域的进一步发展。

（3）轨迹显示和可视化：首先通过多目标追踪系统获取到发出异常行为乘客的ID及其位置边界框，然后以边界框中心坐标点信息作为乘客质心的坐标，再将每一帧视频对应ID的乘客质心时间序列整合成为目标轨迹。接着，将可视化的异常乘客移动轨迹可视化结果上传到实时监控手机终端，以方便移动端的实时监控以及工作人员的管理。