|
- 一文了解Transformer全貌(图解Transformer)
自2017年Google推出Transformer以来,基于其架构的语言模型便如雨后春笋般涌现,其中Bert、T5等备受瞩目,而近期风靡全球的大模型ChatGPT和LLaMa更是大放异彩。网络上关于Transformer的解析文章非常大,但本文将力求用浅显易懂的语言,为大家深入解析Transformer的技术内核。
- 如何最简单、通俗地理解Transformer? - 知乎
Transformer最开始应用于NLP领域的机器翻译任务,但是它的通用性很好,除了NLP领域的其他任务,经过变体,还可以用于视觉领域,如ViT(Vision Transformer)。 这些特点让Transformer自2017年发布以来,持续受到关注,基于Transformer的工作和应用层出不穷。
- Transformer模型详解(图解最完整版) - 知乎
Transformer 的整体结构,左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成,Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下: 第一步: 获取输入句子的每一个单词的表示向量 X, X 由单词的 Embedding(Embedding就是从原始数据提取出来的Feature) 和单词位置的
- MoE和transformer有什么区别和联系? - 知乎
Transformer通过自注意力机制捕捉全局依赖关系。 MoE通过专家分工和稀疏计算提升模型的可扩展性。 (3) 应用场景 两者都广泛应用于自然语言处理(NLP)、计算机视觉(CV)等领域。 MoE-Transformer在大规模模型(如GPT、BERT等)中表现出色,能够处理更复杂的任务。
- 挑战 Transformer:全新架构 Mamba 详解
与类似规模的 Transformer 相比, Mamba 具有 5 倍的吞吐量, 而且 Mamba-3B 的效果与两倍于其规模的 Transformer 相当。 性能高、效果好,Mamba 成为新的研究热点。
- transformer何以提出? - 知乎
Transformer的核心部分,是右边的两个黑色实线框圈起来的两部分,左边是编码器(Encoder),右边是解码器(Decoder)。 下图是 Transformer 用于中英文翻译的整体结构: 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成,Encoder 和 Decoder 都包含 6 个 block。
- 如何从浅入深理解 Transformer? - 知乎
Transformer升级之路:12、无限外推的ReRoPE? Transformer升级之路:13、逆用Leaky ReRoPE Transformer升级之路:14、当HWFA遇见ReRoPE 预训练一下,Transformer的长序列成绩还能涨不少! VQ一下Key,Transformer的复杂度就变成线性了 Transformer升级之路:15、Key归一化助力长度外推
- Transformer 和 cnn 是两条差异巨大的路径吗? - 知乎
Transformer 和 CNN,真的是两条差异巨大的路径吗? 两者设计逻辑不一样,但目标一致——让机器看懂东西 CNN 是图像领域的老炮,靠“局部感知+权值共享”吃饭。 简单说,它专注于看图像的局部细节,就像你拿着放大镜逐块拼图,看得又快又省力。
|
|
|