SimCLR 做单分类 跑出的结果
CIFAR-10
batch size = 32 （文章里用的是512）
单张卡跑的
simclr这个方法， 文章给出的没有 每个类的结果，只给出了一个最终的 10个类 的平均结果
| Method | Dataset | AUROC (Mean) |
|---|---|---|
| 文章给的结果 | CIFAR-10 | 87.9% |
| 复现出的结果 | CIFAR-10 | 89.79% |
| class | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | AUROC (Mean) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 复现 | 0.8702 | 0.9896 | 0.9043 | 0.8359 | 0.8621 | 0.8814 | 0.8832 | 0.9372 | 0.9344 | 0.8807 | 0.8979 |
在做欧氏距离之前，做归一化 ---> 这样的话，这时候的欧氏距离 和 余弦相似度 成 线性相关
通过 对欧氏距离，即 Eulidean（x1， x2） 判断 x1 和 x2的相关性：
| class | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | AUROC (Mean)|
| ---------------|--------|--------|--------|--------|--------|--------|--------|--------|--------|--------|-------------|
| 余弦相似度做测试 | 0.8687 | 0.9884 | 0.9022 | 0.8389 | 0.8826 | 0.8835 | 0.8941 | 0.9564 | 0.9454 | 0.8843 | 0.9044 |
| 欧式距离做测试 | 0.9076 | 0.9898 | 0.9017 | 0.8346 | 0.8792 | 0.8950 | 0.8967 | 0.9563 | 0.9365 | 0.9039 | 0.9101 |
通过 对欧氏距离 的平方，即 Eulidean（x1， x2）^2 判断 x1 和 x2的相关性：
| class | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | AUROC (Mean)|
| --------------|--------|--------|--------|--------|--------|--------|--------|--------|--------|--------|-------------|
| 余弦相似度做测试 | 0.8991 | 0.9878 | 0.8966 | 0.8286 | 0.8683 | 0.8877 | 0.8853 | 0.9510 | 0.9290 | 0.8923 | 0.9025 |
| 欧式距离做测试 | 0.9076 | 0.9898 | 0.9017 | 0.8346 | 0.8792 | 0.8950 | 0.8967 | 0.9563 | 0.9365 | 0.9039 | 0.9101 |
在做欧氏距离之前，不做归一化 ---> 只用 欧氏距离 判断两个样本之间的相关性 通过 对欧氏距离，即 Eulidean（x1， x2） 判断 x1 和 x2的相关性：
| class | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | AUROC (Mean) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 余弦相似度做测试 | 0.6985 | 0.7330 | 0.7288 | 0.5853 | 0.7397 | 0.5688 | 0.5814 | 0.6760 | 0.7548 | 0.5235 | 0.6590 |
| 欧式距离做测试 | 0.6590 | 0.7276 | 0.6940 | 0.5394 | 0.7190 | 0.5251 | 0.5140 | 0.6425 | 0.7193 | 0.5083 | 0.6248 |
欧氏距离 的结果 明显不如 余弦相似度的 结果好
通过 秩 （核范数）训练模型，即 rank（x1， x2） 判断 x1 和 x2的相关性：然后用不同方法做测试
| class | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | AUROC (Mean) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 余弦相似度做测试 | 0.7312 | 0.9519 | 0.7317 | 0.7239 | 0.6902 | 0.7815 | 0.7738 | 0.8575 | 0.7984 | 0.6309 | 0.7671 |
| 核范数 做测试 | 0.7315 | 0.9521 | 0.7316 | 0.7247 | 0.6901 | 0.7818 | 0.7746 | 0.8576 | 0.7989 | 0.6311 | 0.7674 |
@inproceedings{tack2020csi,
title={CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances},
author={Jihoon Tack and Sangwoo Mo and Jongheon Jeong and Jinwoo Shin},
booktitle={Advances in Neural Information Processing Systems},
year={2020}
}