机器视觉有超人的识别人类面部、识别物体的能力。它还可以识别很多种不同的动作，尽管目前的识别能力还比不上人类。但它也有一定的局限，当人脸或物体部分被遮挡时，机器就懵了；在光线严重不足的时候，它们也会“两眼一抹黑”。
但是，电磁波却不会因为遮挡或者光线问题而受限。不论是白天还是黑夜，无线电都充斥着我们的世界。它们很容易穿过墙壁，并通过人体传播和反射。研究人员根据这一特性已经开发出各种利用Wi-Fi无线信号来观察门后情况的方法。但是这些无线电有一个缺陷，其分辨率非常低，图像十分嘈杂，有各种干扰物的反射，这使得人们很难真的知道门背后发生了什么。
这种情况下，可见光图像和无线电图像就可以成为一对最佳伴侣，完全可以用一方的优势来克服另一方的缺点。
麻省理工学院的李天红和他的同事们找到了一种模型，可以通过可见光图像训练无线电视觉系统来识别人们的动作。新的无线电视觉系统可以在可视光成像失败的情况下，在大范围内看到人们在做什么。“我们引入了一个神经网络模型，在光线不好的情况下，它可以穿过墙壁和遮挡物来检测人类的行为。”李天红说。
图 | 图片显示了研究人员的两个测试用例。左边，两个人在握手，其中一个在墙后面。在右边，一个人躲在黑暗中，把一个物体扔向另一个正在打电话的人。下面一行显示了模型生成的骨骼标识和动作预测。（来源：论文）
他们使用了一个巧妙的技巧，即利用可见光和无线电波记录同一场景的视频图像。机器视觉系统可以从可见光图像中识别人类行为，然后将这些图像与同一场景的无线电图像融合起来。
但难点在于，要确保整个学习过程关注的是人体动作，而不是像背景这样的其他特征。因此，他们引入了一个中间步骤，在这个步骤中，机器生成三维简笔画模型，重现场景中人们的动作。
“通过将信号输入转换成这种基于骨架的简化表示，我们的模型可以从基于视觉和基于无线电频率的数据进行集中学习，并允许这两个任务互相帮助。”论文中显示。
图 | 定性的结果。图中显示了各种场景下 RF-Action 的输出。最上面的两行显示了模型在可见场景中的表现；最下面的两行显示了研究者的模型在部分/完全遮挡和糟糕的照明条件下的性能。所示骨架为模型生成的中间三维骨架的二维投影（来源：论文）
通过这种方式，系统学会在可见光下识别动作，在黑暗中或者有障碍物的情况下，利用无线电波识别同样的动作。研究人员称：“我们的研究表明，在可视场景下，我们模型的识别精度和基于视觉的动作识别系统的精度是一样的，但是在不可见的情况下，我们的系统依然可以达到精确的识别率。”
这是一项有很大应用潜力的技术。因为它超出了当下基于视觉的识别系统的性能。
最基础的应用是在弱光条件下或者门紧闭的情况下，在出现故障的场景中进行救援或者侦查工作。另外，因为在可见光识别系统下人们都是可识别的，这就带来了严重的隐私问题。但是无线电系统没有面部识别的分辨率，只识别行为而不识别人脸，这就不会带来隐私恐慌。
这套动作识别系统可以安装在人们家中，并将其整合到智能家居系统中。当然，它也可以安装在老人院，有老人摔倒时可以提醒相关服务部门，而且这样做不会有太大的隐私风险。它比传统的视频监控少了些许侵入性，老人也不必佩戴传感器或要记着给他们的设备充电。
