对于有想法改良描述子却无从下手的同学还是比较有帮助的。
Abstract
在这个文章中我们提出了一种嵌入continues and selector(感觉就是analogue和digital的区别)线索到binary feature descriptor (比如ORB用的BRIEFF)
这种嵌入方式是通过一个二进制string来延长描述子，这个二进制string编码了这个cues，并且支持hamming distance metric. （厉害了，一直想学学看如果设计描述子，如果能把语义的信息编码近二进制描述子感觉会很高效。）
1. Introduction
Visual Place Recognition (VPR)
为了能够对视角和光照变化鲁邦，一般会用描述子。描述子一般是floating-point或者是binary的。然后用对应描述子来计算累计距离。
比较经典的方法是使用图像像素的方式来计算。一方面，这样的方法有VPR的能力；但是另一方面如果有额外的场景的信息(比如GPS信息)，这样的VPR系统也不能使用。
也有一种法子用pre-/post- filtering的方式来弄，
还有一种法子是把cues作为额外的维度加入到描述子的向量中，这样也不需要改变搜索的方式。（目前让我疑惑点是如何控制新参入的cues和原来的权重呢，如果是新加入的话只能是一样的权重）。
嵌入continuous cues是非常直接的，当描述子是floating-point的向量的时候。
这种情况下距离是用(L_2)-Norm来计算的。自然，binary descriptors是用汉明距离来计算的(L_H)。
－－－
这里我们提出了一种方法来从continuous cues来计算二值的特征，这样就可以用来支持汉明距离的计算。
我们也提出了怎么来编码selector cue (我理解是二值，或者是多个选择的线索). 典型的就是像素的语义的类别。
我们的东西是开源的: www.gitlab.com/srrg-software/srrg_bench
2. Related Work
我们这篇文章一般说的都是二进制描述子。
有人尝试过带权重的hamming distance和一个thresholded binary testing on ORB. 然后这个人发现了精度的提升。
但这些描述子的提升只能够被局限在一种特定的描述子类型.
一种搜索方式就是Bag-of-Features (类似BOW??)，来减少搜寻问题的高维度。The Euclidean descriptor posiitons are encoded into binary signatures (这个表述很棒，石锤BoW了。)，with a procedure introduced as Hamming Embedding.
还有一种叫LSH(Locality Sensitive Hashing)，用hashing减少了搜索问题的纬度。但是LSH比BOF需要更多的内存空间。
有一个叫HBST (Hamming Binary Search Tree)，有更胜人一筹的速度，同时也保持着不错的准确度和打的场景。
3. Our Approach
特征描述子是编码了图像一个点的局部外观的向量。
－ Floating-point描述子是continuous numbers的向量，并且一般用(L_2)-norm来计算。
－ Binary descriptors是用二值的向量，然后用hamming distance来计算(L_H)
二进制的描述子(128-512 bits)一般都会比浮点型(512-4096bits)的少用很多空间，计算的cost也少。
另外，state-of-the-art二进制描述子也比浮点型的描述子更容易获得（开源，专利方面的问题）。
二进制描述子是用局部的光度性质来计算的，目的也是为了image recognition。在VPR的应用中，有一些线索一直会被获得（e.g. 点的深度），这些都可以在后续的图像处理中被应用。
我们定义了一种方法来把这种continuous / interger的线索加入到二进制的描述子中。
A. Converting Continuous Cues into Binary Strings
假设(c)是一个([0, 1))的值，我们想要把它加入到一个二进制描述子(d)中。
如果(c)不是从目标范围中得到的(i.e. 上面讲的([0, 1)))的，我们就一个映射的方式:(overline{c}=alpha c+eta)来得到。
我们现在想要把数值(c)转换成(b=b(c))，然后把它加到原来的描述子(d)中，得到一个新的描述子:(mathbf{d}_{star}=langlemathbf{d}, mathbf{b} angle).
为了把两个值(c)和(c')两个值的差异成功的转换到对应的二进制string中，我们需要保证:
为了计算(b(c))，我们用等间距来量化([0, 1))，距离是(1/I). 这样的话，我们需要用一个((I-1))bit的二进制string来表示(b(c)).
这样的话(b_i(c))的值如果c在一个更高的interval的话就是1（PS.注意这里本质不是十进制和二进制的转化。因为是为了hamming distance的计算，处理的方式还更粗暴一些。如下图. PS2.其实也可以改成十进制和二进制的转化，这样空间上还更高效一些。只要计算distance的时候修改一下，然后跟原来计算的hamming distance结合一下就行。)。
这个图就很容易说明了。
上述的方法也可以在很多维线索的时候使用。
The Hamming Distance between the augmented descriptors $$mathbf{d}{star}, mathbf{d}{star}^{prime}$$ of multi-dimensional cues is proportional to the Manhattan distance in the continuous space.
这儿有一个案例: Converting Keypoint Coordinates (KC)。不过不重要。
B. Converting Selector Cues into Binary Strings.
这里我们想办法来嵌入离散的信息，the so called arbitrary selector value.
一个selector value (i)可以被映射到一个整数范围中:$$mathcal{I}={0,1, ldots, I-1}$$，比较常见的也是把离散的线索编码成label information。
如果他们是一样的值就是2，如果一样距离就是0.这种距离特性可以很容易用汉明距离得到。
一个线索(c)对应的label的值(iin I)可以用一个二进制string来表示，$$mathbf{b}=leftlangle b_{0}(c), b_{1}(c), ldots, b_{I-1}(c) ight angle$$。如果是第i类，那么(b_i(c))就是1，其他都是0.
这儿也有一个案例: Converting Semantic Labels (SL)。
PS：这个想法是不错的，但是怎么平衡权重得思考下的。这样只是产生了1的hamming distance。
因为分割的网络也不是一直是对的，我们也不是完全依赖于正确的label。
C. Augmentation Weighting
PS：哦？说曹操曹操到。
由于之前说的binary string是根据continuous range和quatization来决定的，辅助的二进制string可能很小，比起原来的描述子（PS：比如BRIEF是256bit的）。这样的话线索的贡献可能就很小了。可能前后的汉明距离没什么差别：$$L_{mathcal{H}}left(mathbf{d}{star}, mathbf{d}{star}^{prime} ight) approx L_{mathcal{H}}left(mathbf{d}, mathbf{d}^{prime} ight)$$
为了解决这个问题，我们引入了augmentation weight (lambda >= 0)，然后定义了一下有权重的hamming distance：
至于具体怎么搞，估计得调参了。这个文章也有一些推荐值。
4. Experimental Evaluation
我们的主要工作是就是提升了基于特征点相似搜寻的VPR的精度，通过用线索的方式。
A. Descriptors
- BRIEF
- ORB： 这儿只加了旋转和尺度不变形（就是oriented FAST的功劳）的BRIEF
- BRISK：一个提升版的BRIEF，用了gaussian pixel average for descriptor computation。
- A-KAZE：一个加速版本的KAZE。KAZE是用了非线性尺度空间，所以非常费算力。就对于建立非线性尺度空间加速了下。
- FREAK：是一个钟bio-inspired描述子。用了视网膜采样pattern来计算二进制的signature.
- LDAHash：用一种令人惊讶的二进制化scheme把SIFT压缩到二进制描述子.
- BinBoost：是一种极度压缩的二进制描述子（比如8bit）
B. Similarity Search Methods
-
BF： 直接的，最费事儿的搜索方法。
-
LSH：用multi-probe Locality-sensitive hasing来做最近邻查找。
-
BOF：词袋
-
BST：二叉树
HBST library: www.gitlab.com/srrg-software/srrg_hbst
C. Performance Metrices
-
Precision-Recall (PR)
-
Mean Average Precision (mAP)
-
Mean Image Processing time
...
E. Result
最明显的一个点就是。。A-KAZE最厉害。
上面这个图我没分析出啥，看下面那个。
很明显(lambda = 16)的都提升了。
5. Conclusion
我们牛逼