细粒度数据集的可视化实验

研究报告节选:

注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，本质上与人类对外界事物的观察机制相似。通常来说，人们在观察外界事物的时候，首先会关注事物某些重要的局部信息，然后再把不同区域的信息组合起来，形成一个整体印象。注意力机制能够使深度学习在观察目标时更加具有针对性，提高目标识别与分类的精度。软注意力是确定性的注意力，学习完成后可直接通过网络生成，软注意力是可微分的，意味着可以通过神经网络算出梯度并且前向传播和后向反馈来得到注意力的权重。很多工业领域的应用，如分类、检测、分割、视频处理等都会使用到软注意力。而硬注意力则更加关注点，图像中的每个点都可能延伸出注意力，同时硬注意力是一个随机预测过程，强调动态变化，是一种不可微分的注意力，需要通过增强学习来训练完成。