MobileNet V3学习笔记

0x00 亮点

• 更新了Block——bneck
• 使用NAS搜索参数(Neural Architecture Search)
• 重新设计耗时层结构

0x01 更新Block

• 在V2的倒残差结构中加入了SE模块（注意力机制）
• 更新了激活函数——非线性激活函数

0x02 SE注意力机制

0x03 重新设计激活函数

1. swish函数

也叫SiLU函数

$$swish(x)=x*\sigma(x)$$

计算、求导复杂，对量化过程不友好

2. h-sigmoid函数

$$\sigma(x)=\frac{1}{1+e^{-x}}$$

$$ReLU6(x)=min(max(x,0),6)$$

$$h-sigmoid(x)=\frac{ReLU6(x+3)}{6}$$

3. h-swish函数

$$h-swish(x)=x*h-sigmoid(x)$$