|
- 通俗理解，Sparse Attention是什么原理？ - 知乎
Sparse Attention（稀疏注意力）正是为了解决这一问题而提出的一种优化方法。它通过在计算时仅关注部分重要的输入元素，从而大大减少了计算和存储的开销。 Attention机制简介 在了解Sparse Attention之前，先简要回顾一下标准的Attention机制是如何工作的。
- 稀疏（sparse）在机器学习中很重要吗？为什么？ - 知乎
深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律；
- Sparse Transformer - 知乎
Sparse Transformer 的提出动机是基于一个在 CIFAR-10 数据集上，使用一个 128 层 Self-Attention 模型，对注意力模式可视化后得到的。 如图 1 到图 4 所示，它是一个基于自回归的图像生成模型，图中白色区域是注意力机制的高权值位置，黑色区域是被 mask 掉的像素。
- 什么是稀疏特征(Sparse Features)? - 知乎
如果你想知道为什么sparse feature在某些应用里面表现很好，可以参考： 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？ - Bihan Wen 的回答 如果你想知道sparse的意义何在，可以参考： 稀疏表达的意义在于？
- 如何评价Sparse R-CNN，目标检测未来会如何发展？ - 知乎
Sparse R-CNN确实做的很好，等的就是这样的工作！极致简单，不需要复杂anchor先验设置、不需要nms、不需要RPN，将整个faster rcnn的pipeline变得非常简洁。 论文核心思想应该是借鉴了上述三篇论文做法，简单来说是核心组件是： 可学习proposal boxes; 可学习proposal feature
- 深度学习中的sparse和dense模型指的是什么？ - 知乎
在Sparse双塔模型中，稀疏特征通常通过one-hot编码或者稀疏表示（如TF-IDF）来处理。这种表示方式会为每个可能的值创建一个维度，即使某些值在实际数据中从未出现过。 Sparse双塔模型在处理稀疏特征时，可能会面临维度灾难，因为特征空间可能会非常大。
- 如何理解稀疏主成分分析(Sparse Principal Component Analysis)?
稀疏主成分分析简介 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一种新的主成分分析方法，稀疏主成分分析（Sparse Principal Component Analysis ，SPCA）。
- 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？
Sparse representation 不见得比wavelet效果好，redundant system会比wavelet效果好，通俗点讲就是因为当某些分量丢失时，这些分量所载负的信息， 能在没有损失的其它分量里存在，你只要有足够精巧的办法把这些信息恢复出来，就可以取得让人惊叹的结果。
|
|
|