什么是token？理解AI工作方式的第一步

基本概念

Token 是 AI 处理信息时使用的基本单位。

Token有点像：

• 文章的字数
• 网络流量的MB、GB
• 时间中的“秒”

AI在处理文字时，不会以字或者单词为单位，而是token。

英文中，token通常是单词或词根。比如“unbelievably”这个词，AI可能会拆成“un-”（否定前缀）、“believe”（相信）和“-ably”（副词后缀）共3个token。也有消息指出，行业惯例一般是3-4个字符为1个token（1个字母为1个字符）。

中文token怎么计算

中文环境中，1个汉字约等于1个token。例如“人工智能”可能会被拆分为“人工”，“智能”，也可能会被拆分为“人”，“工”，“智”，“能”。不同AI公司对文字的拆分方式可能不同，可以按1000字中文约等于800至1300个token进行估算（一般情况下，1个标点符号需要消耗1个token，同时，空格也可能会计入token）。

另外，每个汉字使用的 token 数目也可能不同。例如，单个汉字“夔”可能会被拆分为多个 token，而像“智能”这样短且常见的短语则可能会使用单个 token。

Token按量计费

下文特指付费的AI接口（API）服务，免费AI工具不需要按token付费（免费AI同样消耗token，但不收费）。

一些服务商会提供AI模型“调用”服务，如果我想在个人电脑上安装一个智能助理，但是电脑性能较差，运行不了AI模型，这时就可以通过网络，远程调用服务商提供的AI接口，来“租用”AI大模型。这种使用方式称为API（接口）调用。

使用这类API服务时，服务商会根据实际的token消耗数进行计费。Token消耗数为输入token+输出token之和，例如你发送给AI模型的内容为1000 tokens，AI回复的内容为5000 tokens，那么这一轮对话总共消费6000 tokens。

如果你在使用AI模型时开启了“深度思考”功能，AI的思考过程可能会计入token进行收费。也就是说，你还需要为AI在脑子里打的“草稿”付费。

当提问的问题较复杂时，这些思考过程也可能会产生不少token费用。

此外，如果有图片、音频、视频等内容，也会计入token。

图片计算方式例如：图片中每32*32像素对应1个token；

音频计算方式例如：Token消耗数=音频时长（单位：秒）* 25；

视频计算方式例如：视频帧数*每帧图像块数量，每32*32像素为1个图像块。

字词拆分没有统一标准，如果某个AI厂商将每个字母都单独作为1个token，用户岂不是要承担成倍费用？

AI厂商几乎不可能这么做：

（1）Token越碎，模型越笨。现有的AI模型都有记忆力上限，用户跟AI对话时，AI短时间内的记忆力是以token为单位的，处理一篇1000字的文章，如果用“字”作token，可能需要1200个token，而如果用“词”作token，可能只需要800个。后者可以让AI记住更多内容，在处理内容较多的任务时，不容易出现“读了下文，忘记上文”的情况。

（2）成本暴涨，竞争力下滑。如果给大模型一盒20个碎片的拼图，和一盒只有5个碎片的拼图，后者肯定更容易被准确合成。Token过于碎片化会直接导致模型思考（性能）成本暴涨。另外，用户调用AI模型的性价比变低也会使AI厂商失去竞争力。

Token内容过长也会使模型变“笨”

（1）如果将一个句子作为1个token，模型根本“记不住”。模型有一个固定的“词汇表”（Vocabulary），它只能认识词汇表里的内容。如果token是整个句子，那么词汇表的大小将是天文数字，因为世界上有无数个句子（“今天天气很好”，“今日天气非常好”，“现在天气很不错”......），模型无法存储。

（2）失去泛化能力，模型“学不会”。假设模型学会了“我喜欢吃苹果”这个token，但它可能完全无法理解“我喜欢吃草莓”。因为“草莓”这个词没有作为独立的token存在，模型无法进行替换和组合，只能死记硬背。

本文为readaihub.com原创内容，未经书面授权，禁止转载。如需分享文章，请复制本文链接进行分享。

部分参考内容：

模型推理价格说明 - Moonshot AI 开放平台 - Kimi K2.5 大模型 API 服务

使用思考模型 - Moonshot AI 开放平台 - Kimi K2.5 大模型 API 服务

AI搜索开放平台的Token计算API详情-智能开放搜索 OpenSearch(Open Search)-阿里云帮助中心

Qwen-Omni-大模型服务平台百炼(Model Studio)-阿里云帮助中心