自监督表示学习Paper

1.A Simple Framework for Contrastive Learning of Visual Representations
url:https://arxiv.org/pdf/2002.05709.pdf
强Aug是做无监督的关键。Crop+Color jitter。搭配上Cotrastive loss+大Batch。一个对称的backbone+projection head，基于ConvNets的自监督学习算法就诞生了。
2.Emerging Properties in Self-Supervised Vision Transformers
url：https://arxiv.org/pdf/2104.14294.pdf
一个自监督预训练ViT的算法。区别于ConvNet预训练，ViT预训练有显式的语义分割信息。使用了Mometum Teacher，但是没用非对称的projector。使用了交叉熵损失来进行训练。用了centering和sharpening来防止trivial解。