ShuffeNet学习笔记

0x00 ShuffeNet V1

1. Channel Shuffle

对ResNeXt中的分组卷积进行改进：

• 如果GConv1分为了3个组，那么每个组生成的feature map也会分成3份
• 之后再做分组卷积，就有信息交流了

2. ShuffeNet Units

• 发现计算量集中在1×1卷积上——修改换成1×1的GConv（然后做channel shuffle）
• 如果是步长为2的结构，shortcut使用AVG Pool做下采样。最后是做Concat而不是做Add

0x01 ShuffeNet V2

• 计算复杂度不能只看FLOPs
  • FLOPS：全大写，指每秒浮点运算次数，可以理解为计算的速度，是衡量硬件性能的一个指标（硬件）
  • FLOPs：s小写，指浮点运算数，可以理解为计算量，可以用来衡量算法/模型的复杂度。（模型）在论文中常用GFLOPs(1GFLOPs = 10^9FLOPs)
• 提出了4条设计高效网络的准则
• 提出新的block设计