SST: Single-Stream Temporal Action Proposals
2017-06-11 14:28:00
本文提出一种 时间维度上的 proposal 方法，进行行为的识别。本文方法具有如下的几个特点：
1. 可以处理 long video sequence，只需要一次前向传播就可以处理完毕整个video；可以处理任意长度的 video，而不需要处理重叠的时间窗口；
2. 在 proposal generation task 上取得了顶尖的效果；
3. SST proposals 提供了一个较强的基准，进行 temporal action localization，将该方法结合到现有的分类任务中，可以改善分类的性能。
所提出方法的流程图如下所示：
Technical Approach:
我们所要达到的目标是：在一个 long video 上产生 temporal action proposals。
网络的几个重要的部分：
1. Visual Encoder (C3D) 用于编码 video frame，感知输入 video ；
2. Seq.Encoder (GRU) 的输入是 降维后的 C3D feature，设计该模块的目的是： accumulate evidence across time as the video sequence progresses. 为了能够更好的产生 good proposals，该模块应该能够收集信息直到确定某个动作已经发生了，与此同时，扔掉不相关的背景信息。
Training:
由于行为识别本身就是一个多分类问题，所以这里用到了 交叉熵损失函数来作为最终 loss function。
而总的 loss 就是该 loss 的加和：
数据集提供了裁剪好的 video，所以就是给定 gt 的监督训练任务，完全可以用反向传播算法进行训练。
Reference:
1. Paper: http://vision.stanford.edu/pdf/buch2017cvpr.pdf
2. Github: https://github.com/ranjaykrishna/SST