点击上方“3D视觉工坊”,选择“星标”
0 前言
1 背景知识
1.1 什么是点云中的时序融合
如下图所示,展示了再waymo中连续三帧的场景展示。
1.2 LSTM
1.3 点云时序融合现状
2 本文的工作
1. 主要贡献点
(1)设计了一个LSTM-based的多帧时序同和点云目标检测网络
(2)该3D-Sparse-Conv-LSTM网络采用稀疏U-Net代替全连接层,更高效和更小显存占用。
2. 主要思路
3. 网络结构设计
3.1 3D稀疏U-Net
3.2 3D稀疏LSTM
上图中的LSTM结构即是Vanilla LSTM的衍生,对于一般的LSTM有如下图的计算公式,这里的 表示当前特征, 表示隐含层的特征。这里的几个LSTM中的gate都是从根据这二者的特征融合,这里的 表示memroy中的特征。类比3D稀疏backbone而言,本文的的表示的是当前帧的点云特征,memory中和隐含层的特征则是上一帧的特征,
3.3 训练方法
4 实验
waymo数据集
5讨论
额外分享
文章: PV-RCNN: The Top-Performing LiDAR-only Solutions for 3D Detection / 3D Tracking / Domain Adaptation of Waymo Open Dataset Challenges
论文链接:https://arxiv.org/pdf/2008.12599.pdf
代码链接 :https://github.com/open-mmlab/OpenPCDet
1. PV-RCNN 时序信息合并
2. 追踪任务
参考文献
[2]nuscenes: A multimodal dataset for autonomous driving : https://arxiv.org/abs/1903.11027
[3]Scalability in perception for autonomous driving: Waymo open dataset https://waymo.com/open/
[4]Dops: Learning to detect 3d objects and predict their 3d shapes. :https://arxiv.org/pdf/2004.01170
[5] Long short-term memory. Neural computation.
[6] A baseline for 3d multiobject tracking. arXiv preprint arXiv:1907.03961, 2019.