本文是一篇实践为主的文章，做了很多的对比实验，读起来比较容易让人理解。作者的实验其实也比较简单，就是先在labeled 数据上训练一个teacher，然后引入大量的unlabeled data，然后使用labeled和unlabeled数据一起训练一个更大的student model，训练的时候加上一些augment和dropout等增加难度（这个很重要，是精髓），然后再用student当teacher进一步迭代，使得模型的效果越来越好。

本文的提出，主要借鉴于Network slimming以及rethinking the value of pruning network这两篇文章，文章的观点在于，我是不是有必要在预训练模型上面剪枝，是否可以在随机初始化的模型上面直接剪枝，本文经过证明，得出的结论是可以的，并且剪枝后的模型效果并不比在预训练模型上面剪枝的效果差。

这是一篇比较经典的半监督的论文，利用弱Aug与强Aug对无标签数据进行打标，然后用弱Aug的结果来监督强Aug的结果，来训练模型，思想很简单，值得一提的是，在计算softmax loss的时候，温度是个不要被忽略的参数！！

由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。常见的方法比如：量化、剪枝、蒸馏等，本文便是“剪枝”当中一篇非常经典的文章，也是比较有效果的一篇文章。本文方法其实比较简单：首先，使用L1 regularization对BN层的scaling factor进行稀疏化训练，然后将scaling factor较小的参数相连接的filter减掉，达到减少模型size的目标。最后再重新finetune剪枝后的网络，以达到更好的效果。

这篇文章读下来，感觉就是一个tricks的集大成，作者实验做的可是真的很详细，好多trick我都没有听过，我看网上有人评论说，可以当做目标检测的入门手册了，哈哈，确实，能做如此多的实验，足见作者的功底。总体来说，文章的创新点不是特别多，大多是在试各种tricks，然后找到效果最好的，文章值得好好的读一读。

本篇论文是亚马逊MXNet团队的又一力作，目前预训练模型已经在MXNet官网上面公布，从效果上看，网络的精确度提升还是很明显的，实现了较好的speed与accuracy的trade-off。精度提升的点主要在于两方面，一方面resnest使用了前面MXNet团队总结的训练模型的tricks，另一方面设计了split-attention block结构，在并没有改变resnet原始结构的情况下，提高了网络的识别能力。并且ResNeSt可以轻易的移植到其他的使用resnet作为backbone的任务中，比如目标检测、分割、姿态估计等,非常方便。

本篇论文是发表于CVPR2020的一篇轻量级网络的论文，作者是华为诺亚方舟实验室，文章的总体思路比较清晰，为了减少网络计算量，作者将传统的卷积分成两步进行，首先利用较少的计算量通过传统的卷积生成channel较小的特征图，然后在此特征图的基础上，通过cheap operation(depthwise conv)再进一步利用较少的计算量，生成新的特征图，最后将两组特征图拼接到一起，得到最终的output，最终实验效果还不错，相同计算量的情况下比MobileNet- V3的效果还要更好一些。

这篇文章是ECCV2017一篇比较经典的人脸检测的文章，是一篇很实用的针对小脸优化的文章。读下来，文章并没有提出特别牛逼的理论或者网络，而是在SSD的基础上，进行了针对小脸的一系列优化，最终实现了对小脸检测效果的提升，相比于提出高大上理论的论文，本篇论文中提出的方法更容易实用到实际项目中，产生收益，特别是针对小目标，文章中的方法值得借鉴，我喜欢这种文章。

在使用linux过程中，一些常用的操作总结一下，方便查找、记忆。
Linux基本操作
Nvidia操作
shell操作
tmux操作

本篇文章是CVPR2019的一篇Anchor-Free的文章，是一篇很好的Anchor Free的目标检测的文章，目前基于anchor的目标检测方法，大多采用不同的level预测不同尺度的instance，而分配规则往往是人为设计的，这导致anchor的匹配策略可能不是最优的。那有没有更优的匹配方法？文章从level选取的点进行切入，利用FASF实现不同的instance在不同level的动态分配，实现了level的动态选择，并且anchor free方法取得了较好的mAP，另外作者设计了anchor free跟anchor-based相结合的方法，进一步提升模型效果，取得了可观的结果。