基于深度学习和毫米波雷达的跌倒监测方法

赖冠翰

华南师范大学附属中学国际部

随着人口老龄化和居家照护需求的增加，对老年人和残障人士的安全监测变得尤为重要。传统的视觉监测系统在隐私性要求较高的场所（如卫生间、卧室）中存在隐私泄露和侵入性强的问题，然而，毫米波雷达由于非接触式和高隐私保护性，特别适合隐私敏感的家居环境。因此，本文提出了一种基于深度学习的毫米波摔倒监测方法，实现居家环境中对跌倒等行为的实时监测。利用毫米波雷达信号处理算法和群组跟踪算法获取人体运动的点云信息。并通过Point Transformer神经网络模型对行为进行识别，为老年人和残障人士提供了更好的照护保障。

本文介绍了一种利用深度学习和毫米波雷达进行跌倒监测的方法。该方案通过调频连续波 (FMCW) 雷达捕获回波点云数据，并使用集群跟踪器算法[17]定位和跟踪人体点云。然后，将点云信息输入到 Point Transformer 模型中进行训练和识别跌倒实例。以下是本文的主要贡献。

1）提出一种跌倒监测系统，利用毫米波雷达和深度学习来捕捉和分析人体运动的点云数据。

2）采用群跟踪算法对人体点云进行定位和跟踪，可以分离和识别人体点云的运动，为深度学习模型提供高质量的数据输入。

3）将Point Transformer模型应用于跌倒识别任务，发挥Transformer模型在处理点云数据方面的优势。

2 跌倒监测系统构成

本文设计的毫米波摔倒探测系统属于不可穿戴检测设备，主要由毫米波雷达模块和PC端组成，本文使用的毫米波雷达为TI公司研发的IWR6843 ISK，IWR6843 ISK具有3个发射天线和4个接收天线，可以在60 ~ 64 GHz之间发射调频连续波(FMCW)，并且集成了Arm Cortex-R4F控制系统和C674x DSP信号处理器，通过毫米波雷达可以在保护检测对象的隐私的且不受昏暗环境影响的情况下采集有用信息并进行信号处理得到人体运动点云。PC端搭载经过训练后的Point transformer模型实时检测人体运动点云从而识别跌倒等运动行为。

2.1 毫米波雷达设备

毫米波雷达通常使用调频连续波(FMCW)来探测场景中的物体，其中发射(TX)信号是一个频率随时间线性变化的信号，这种扫频通常被称为chirp，chirp的信号表达式如下。

其中为发射信号幅度，为起始频率，为扫频带宽，T为信号调频周期，经过目标和环境发射后，通过接收天线得到回波信号表达式如下。

得到回波信号后底层信号处理如FFT等得到场景的点云信息再通过群组跟踪器算法定位并跟踪人体点云。

2.2神经网络与算法

在本文使用的Point Transformer模型中，使用的网络模块与算法主要为多层感知机神经网络（MLP）和self-attention。

多层感知机神经网络（MLP）： 多层感知器神经网络是一种前馈型神经网络。它使用反向传播技术进行学习。它有一个神经元输入层，充当接收器；一个或多个神经元隐藏层，用于计算数据并进行迭代；最后是输出层，用于预测输出。MLP加上不同的激活函数可以有不同类型的输出，在本文的Point transformer layer中使用的MLP采用RELU作为激活函数可以产生非线性输出，用于实现特征聚合。

self-attention：自注意力（self-attention）机制是一种用于处理序列数据的强大工具，尤其在自然语言处理任务中表现出色。它的核心思想是通过将输入序列中的每个元素与其他元素进行交互，以捕捉元素之间的关系和依赖关系，其中self-attention核心公式如下。

这种机制使得模型能够灵活地将注意力集中在输入序列中最相关的部分，从而更好地理解序列中的长距离依赖关系。点云信息是无序的，即点的顺序不应影响最终的处理结果，自注意力机制天然具有排列不变性，不依赖于任何特定的输入顺序，因此适合处理点云信息。点云数据通常覆盖了3D空间中的对象或场景，自注意力机制能够有效地捕捉这些关系并对点赋予一个注意力权重，反映了它们之间的相对重要性，从而捕捉点之间复杂的空间关系。目前一些利用点云注意力分析的工作大都是在点云上应用全局注意力，这会导致计算量十分庞大，不适合实时应用以及较大规模点云场景中。相比之下Point Transformer模型中应用了局部自注意力机制，并且使用了向量注意力，在满足较高准确率的同时有十分可观的实时性和大规模点云场景处理能力。

3 Point Transformer模型构建

Point Transformer是用于3D点云场景理解的深度学习模型，该模型主要由MLP block，transition down block，point transformer block组成，该模型网络采用Point Transformer Block, Transition down Block和池化组成。本章首先介绍Point Transformer Block，之后介绍Transition down Block，最后介绍骨干结构。

3.1 Point Transformer Block

由于点云在三维空间中的无序性，Point Transformer Layer采用基于向量的自注意力机制，相比于标量自注意力，向量自注意力机制在处理无序点云时具备更强的表达能力和适应性，表达式如下：

的输入为所有点的特征x和对应的位置编码p，

3.2 Transition down Block

Transition down Block的功能是根据需要减少点集的基数，由N减少到N/4。Point Transformer Block的输入P1首先通过FPS（Farthest Point Sampling）得到能较好覆盖点集特征的采样点集基数，将ratio设为0.25，该方法的主要优点是在密度增加的情况下仍能保持图像的均匀性。之后对采样点集使用 kNN找到k=16的邻域，通过以上步骤可以在保持点云整体结构的同时，有效地减少数据规模并构建每个点的局部邻域，从而便于后续的特征提取和处理，同时用包含Linear，批量归一化和RELU激活函数的MLP模块对点集的特征维度进行扩充。最后再用最大池化操作提取每个采样点集的邻域中特征最大值作为特征点集P2。

3.3 模型骨干结构

用于跌倒检测（动作分类）的Point Transformer模型有四个阶段对点集进行下采样并获取特征，每个阶段的下采样率为[1，0.25，0.25，0.25]，因此每个阶段产生的点集的基数为[N,N/4,N/16,N/64] ，其中 N 是输入点数。在输出模块对点集特征执行全局平均池化，以获得整个点集的全局特征向量，最后通过 MLP获得全局分类。

4 结论与展望

本论文研究了基于毫米波雷达和神经网络的跌倒监测系统。通过提取人体点云，利用Point Transformer模型进行高精度动作识别。实验表明，该模型在自建数据集上实现了97.2%的准确率，展现了强大的特征提取和分类能力。同时，在公开数据集上的测试也证明了其良好的鲁棒性和泛化能力，优于其他对比模型。本系统的研究不仅为跌倒检测提供了新的解决方案，也为点云处理领域的发展提供了新的思路。未来，我们将继续优化模型，拓展应用场景，为人体动作识别领域的发展做出更多贡献。

（免责声明：此文内容为本网站刊发或转载企业宣传资讯，仅代表作者个人观点，与本网无关。仅供读者参考，并请自行核实相关内容。）