深度学习

深度学习中有什么非常惊艳或者轻量级的Attention操作？

发布于 2021-02-22 09:32:26

在深度学习中有什么非常惊艳或者轻量级的Attention操作？

0

关注者

371

被浏览

1 个回答

admin 2021-02-22

这里仅仅讨论视觉中的attentionattention的核心思想是根据全图的特征突出feature map中的某一核心部分，使得模型更加集中关注有效信息。所以前期的模型设计中更多采用一种类似于mask的方式，产生逐通道或逐像素的mask并与原feature map乘积，详见senet，cbam这种attention方式在全局池化的时候确实借鉴了全图的信息，但是仅用一种全图向量来增强原feature map本来就是受限的，于是参考transformer的kqv，non local横空出世，这种逐像素的attention扩大全局感受野的同时，权重的计算更加精细。但是由于要计算相关度矩阵，可能要消耗大量资源，所以后续也有一些轻量化方案，比如分块等等（待补充）时间来到2021，传统的卷积网络定式开始被打破，纯transformer开始进入cv领域，这类方法采用分patch的方式切分原图，并将其放入transformer中，也有无数的实例证明，在数据量极大的情况下，其性能能超越卷积。transformer在攻克了nlp的大量任务之后，再次为cv带来了新的曙光。

撰写答案

请登录后再发布答案，点击登录

登录注册新账号

关于作者

5555556

暂无描述

提问

回答

被采纳

0

关注TA

发私信

相关问题

热门解读

信息到推荐系统的模型

表征学习辅助点击率预测 Representation Learning-Assisted Click-Through Rate Prediction

DeepMCP网络详解

AUCµ: A Performance Metric for Multi-Class Machine Learning Models

Mish: A Self Regularized Non-Monotonic Neural Activation Function

Implicit Neural Representations with Periodic Activation Functions

A Survey on Deep Hashing Methods 深度散列方法综述

自适应学习速率SGD优化算法

MOBIUS：面向百度赞助搜索的下一代查询广告匹配

七个小朋友，只能切四刀，怎么把三个苹果均分？

热门问题

深度学习（deep learning）和极限学习机（extreme learning machine）的区别和联系之处？

如何评价ResNeSt：Split-Attention Networks？

123123123qeqweqwqew

如何看待多模态transformer，是否会成为多模态领域的主流？

今天创建的今天创建的今天创建的今天创建的

Graph Attention Network的本质是什么？

今天发布的问题，有多个标签

12312312312312312

为什么Transformer 需要进行 Multi-head Attention？

3123123dasdasdasdas

热门标签

自然语言处理模式识别机器学习数据挖掘 ai

js 123123 迁移学习回归分析梯度下降强化学习法深度学习多智能体深层神经网络 dd 提问注意力机制 123123123 拼图大革命人脸识别高斯过程非负矩阵分解近邻最近邻凸优化学习模式顺序决策特征提取支持向量机高维数据降维学习系统在线/主动学习迭代优化有监督/无监督学习贝叶斯网络聚类分析计算效率马尔科夫模型标记/未标记数据循环神经网络卷积神经网络知识图谱推荐系统图神经网络数据增强算法预测联合学习多目标模型

等待解答

如何通过机器学习实现拼图的拼接

12312312312312312

测试157157123123

测试123123123

为什么Transformer 需要进行 Multi-head Attention？

深度学习中Attention与全连接层的区别何在？

深度学习（deep learning）和极限学习机（extreme learning machine）的区别和联系之处？

Attention based model 是什么，它解决了什么问题？

如何评价ResNeSt：Split-Attention Networks？

为什么CNN里有maxpooling，没有minpooling?

推荐专家

yao

0个答案 0次被采纳

admin

11个答案 5次被采纳

发布
问题

手机
浏览

扫码手机浏览