自问世至今，自动驾驶技术就因事故频发而饱受质疑。自动驾驶汽车之所以能够在路面上完成障碍识别、避让行人、转弯等“动作”，依靠的主要是大量的真实世界感官数据集，包括二维图像和三维物体检测、深度估算、实例分割（instancesegmentation）等，这些技术如同自动驾驶汽车的“眼睛”。
然而，这些数据集一般是在天气和环境良好的情况下采集的，很少包括雨、雪、夜间低光等特殊天气和环境。在几个具有代表性的自动驾驶数据集中，牛津大学机器人汽车数据集（TheOxfordRoboCardataset）仅包含一条雪天线路，ApoloScape开放数据集不包含雪天数据。这意味着，自动驾驶汽车在面对数据集不包含的特殊情况时，可能会“不知所措”。使用人工神经网络的汽车对过去没有“记忆”。同一条道路，无论它行驶过多少次，每一次都是“初遇”。
康奈尔大学的研究团队认为，要解决这一问题，不妨让自动驾驶汽车从自己的“记忆”中学习。
“一辆车在激光扫描仪第一次从远处感知到一颗形状奇特的树时，可能会将其误认为是行人，但一旦距离够近，物体类别就会变得清晰。所以，当你第二次开车经过同一棵树，即使是在雾中或雪中，你也会希望汽车已经学会正确识别它。”研究团队成员基里安温伯格（KilianWeinberger）说。
他们见证了一条路的24小时
为此，研究团队驾驶配有光探测和测距（LiDAR）传感器的汽车，在一条15公里的环路上重复行驶了40次，在1.5年的时间内编制了一个海量的数据集。在这个数据集中，有高速公路、城市、校园等各种环境，晴天、雨、雪等各种天气条件，以及一天中的24个小时，场景数量超过60万个。
注：LiDAR即激光雷达，是一种集激光，全球定位系统(GPS)和惯性导航系统(INS)三种技术于一身的系统。
不同天气和环境条件下的同一地点图源：参考文献[1]
“它故意让自动驾驶汽车接受其面临的关键挑战之一：恶劣的天气条件，”研究团队成员卡洛斯迪亚斯-鲁伊斯（CarlosDiaz-Ruiz）说。“如果街道被雪覆盖，人类可以依靠记忆，但没有记忆的人工神经网络就会处于严重不利的地位。”
鲁伊斯正在车上收集数据
HINDSIGHT是一种利用神经网络在汽车经过物体时计算物体描述符的方法，它将外部数据(现实世界的事件)和内部数据(神经网络)相结合，根据类似情况的历史行为来预测会发生什么，为每个经过的车辆产生独特的特征。这些特征被压缩为该团队所称的SQuaSH(Spatial-QuantizedSparseHistory,空间量化稀疏历史)特征，并被存储在虚拟地图上，就像记忆被存储在人脑中一样。
下次自动驾驶汽车穿越相同位置时，它可以查询沿途每个激光雷达(LiDAR)点的本地SQuaSH数据库，并“记住”上次学到的内容。此外，该数据库不断更新并在车辆之间共享，从而丰富了可用于识别环境的信息。
该研究团队正在研究的MODEST（一种能够进行自我训练的、瞬时侦测移动物体的AI工具）则是对HINDSIGHT的进一步升级。
HINDSIGHT假设人工神经网络已被训练用于侦测物体，并通过创建记忆的能力来增强它，而MODEST则假设人工神经网络根本没有接触过任何物体或街道，通过多次驶过同一条线路，自动驾驶车辆可以了解到环境中的哪些部分是静止的，哪些是移动的。最终，自动驾驶车辆将学会辨认哪些人或物体是需要避让的，哪些是可以忽略、不造成安全问题的。
研究团队表示，希望这些方法可以大大降低自动驾驶汽车的开发成本（目前仍然严重依赖费时费力的、昂贵的人工注释数据），并提高自动驾驶的效率。
参考文献：
[1]
