|
- NLP领域中的token和tokenization到底指的是什么？ - 知乎
Tokenizer是将文本切分成多个tokens的工具或算法。 它负责将原始文本分割成tokens 序列。 在NLP中，有多种不同类型的tokenizer，每种tokenizer都有其特定的应用场景和适用范围。 基于字符的Tokenizer：将文本按照字符分割成token，适用于处理中文等没有空格分隔的语言。
- ChatGPT如何计算token数？ - 知乎
OpenAI 使用的分词方法，特别是针对汉字，的确有时会导致一个汉字被计算为多个 tokens。 这不是将汉字拆成 Unicode 码来处理，而是因为 GPT-3 使用的 Byte-Pair Encoding (BPE) 分词方法会将某些字符或字符组合切分成多个 tokens。
- 大模型训练的性能指标：吞吐率 Throughput 是指什么？ - 知乎
每秒处理的Token数： Throughput_ {tokens} = Throughput_ {samples} * seq\_len \\ 假设GLM10B网络模型使用DGX A100（8x 80GB）训练的吞吐量为25 samples s，max seq_len为1024，那么按照tokens来计算吞吐量为 25 * 1024 = 25600 tokens s，也就是每秒能处理2万多个tokens。 单卡吞吐量为 3200 token s p
- Deekseek r1本地部署，14b和32b最小需要多大显存吗？ - 知乎
如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？我看到过有篇文章…
- deepseek开始会员收费了吗？ - 知乎
deepseek-chat 模型已经升级为 DeepSeek-V3；deepseek-reasoner 模型为新模型 DeepSeek-R1。 思维链为deepseek-reasoner模型在给出正式回答之前的思考过程，其原理详见 推理模型。 如未指定 max_tokens，默认最大输出长度为 4K。请调整 max_tokens 以支持更长的输出。 关于上下文缓存的细节，请参考 DeepSeek 硬盘缓存
- 在中文 NLP 等论文中，应该如何翻译 token 这个词？ - 知乎
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
- 为什么大模型输入输出往往只有2K, 4K token? - 知乎
NLP和大模型中的Token（文本单元） 在NLP和大模型的背景下，"token"则指的是文本数据的基本处理单元。 Token化是将原始文本分割成一系列tokens的过程，这些tokens可以是单词、字符、子词或其他语言结构。 Token的作用 Token在大模型中的作用主要体现在以下几个方面： 1
- 视觉Transformer中的token具体指什么，如何理解？ - 知乎
个人觉得，token可能比较类似于patch，我们一般所说的patch就是由一组像素构成的，就是图像中的一个小区域或者一个小片段，patch是由 patch embedding 将图像分成固定大小的patch，并将每一个patch嵌入到低维向量中。token也可以由patch embedding得到（你可以去看看 2022年 CVPR 的 MixFormer），但是token貌似比patch
|
|
|