pointnet

无序性：虽然输入的点云是有顺序的，但是显然这个顺序不应当影响结果。
点之间的交互：每个点不是独立的，而是与其周围的一些点共同蕴含了一些信息，因而模型应当能够抓住局部的结构和局部之间的交互。
变换不变性：比如点云整体的旋转和平移不应该影响它的分类或者分割

图片中"mlp"代表"multi-layer perceptron"（多层感知机）。其中，mlp是通过共享权重的卷积实现的，第一层卷积核大小是1x3（因为每个点的维度是xyz），之后的每一层卷积核大小都是1x1。即特征提取层只是把每个点连接起来而已。经过两个空间变换网络和两个mlp之后，对每一个点提取1024维特征，经过maxpool变成1x1024的全局特征。再经过一个mlp（代码中运用全连接）得到k个score。分类网络最后接的loss是softmax。

 為了對各種幾何空間轉換有不變的特性，作者設計了一個T-Net的架構

 

Joint Alignment Network：為了對各種幾何空間轉換有不變的特性，作者設計了一個T-Net的架構，類似Image中的Spatial Transformer Network，這樣的T-Net可以在Input或是中間的Feature Layer中學習出有效的Affine Transformation Matrix，讓不同的Point Cloud Data的Feature可以對齊在一塊。微型网络（T-Net）学习一个获得 变换矩阵的函数，并对初始点云应用这个变换矩阵，这一部分被称为输入变换。随后通过一个mlp多层感知机后，再应用一次变换矩阵（特征变换）和多层感知机，最后进行一次最大池化。

作者：隅子酱
链接：https://zhuanlan.zhihu.com/p/75145963
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。