MobileNet V2主要在V1基础上进行了一定的修改，这里简单介绍一些MobileNet V2的修改细节，简单记录，方便总结。
论文链接：https://arxiv.org/pdf/1801.04381.pdf
MobileNet-v2的主要创新点如下：
1.Inverted residuals，通常的residuals block是先经过一个1*1的Conv layer，把feature map的通道数“压”下来，再经过3*3 Conv layer，最后经过一个1*1 的Conv layer，将feature map 通道数再“扩张”回去。即先“压缩”，最后“扩张”回去。
而 inverted residuals就是 先“扩张”，最后“压缩”。
2.Linear bottlenecks，为了避免Relu对特征的破坏，在residual block的Eltwise sum之前的那个 1*1 Conv 不再采用Relu.
Linear Bottlenecks
作者总结到：
1.if the manifold of interest remains non-zero volume after Relu transformation, it corresponds to a linear transformation.
2.Relu is capable of preserving complete information about the input manifold, but only if the input manifold lies in a low-dimensional subspace of the input space.
1、意思是说，如果relu输出的是非0值，那么这里relu实际只是起到了一个线性变换的作用。
2、是说，relu可以保持输入的全部信息，但是只有当输入input manifold是输入的子空间时候才可以。
基于此，作者设计了linear bottleneck结构，其实是什么呢？作者就是利用bottlenecks来替代原来的单纯的depthwise convolution
这里作者给了一个说明，随着维度的增加，可还原性也在增强。这也是为什么作者在bottlenecks的最后通过1*1进行降维的时候没有加Relu的原因。
Inverted residuals
这是什么意思呢？看图就明白了
ResNet 使用 标准卷积 提特征，MobileNet 始终使用 DW卷积 提特征。
ResNet 先降维 (0.25倍)、卷积、再升维，而 MobileNet V2 则是 先升维 (6倍)、卷积、再降维。直观的形象上来看，ResNet 的微结构是沙漏形，而 MobileNet V2 则是纺锤形，刚好相反。因此论文作者将 MobileNet V2 的结构称为 Inverted Residual Block。这么做也是因为使用DW卷积而作的适配，希望特征提取能够在高维进行。
总结
相比较于mobilenet-v1，mobilenet-v2最大的创新点就是使用了类似于resnet的shortcut，另外采用了维度先增加再降低bottleneck