登录新浪财经APP 搜索【信披】查看更多考评等级杠杆模式
□ 任思源 于连超
随着生成式人工智能加快商业化应用，大模型正逐步成为面向企业和公众提供的重要数字服务。目前，国内外主要大模型企业普遍采用词元（Token）作为服务使用量和费用结算依据，按照输入Token、输出Token等分别计价，“每百万Token价格”已成为大模型API服务的主要报价方式。Token是大模型将文本转化为可计算信息的基本单元，其数量与模型计算负载具有一定关联，因此具备作为计费依据的技术基础。但与字节、时长等传统数字服务计量单位不同，Token由不同模型的分词器（tokenizer）和词表规则自行定义，同一段文字在不同模型中可能对应不同数量的Token。目前，大模型Token定义、计量边界、计费规则和结果核验主要由企业自行确定，随着大模型服务规模快速增长，相关问题可能逐步影响价格透明、市场公平和消费者权益保护，制约人工智能服务市场规范健康发展。
一是Token计量规则不统一，跨平台价格缺乏可比基础。一致性是计量的首要特征，它保证了不同主体、不同地方的测量结果能互相比较和信任。实践中，不同大模型采用不同分词器、词表和编码规则，同一段文字在不同模型中的Token数量可能存在明显差异。例如，同样处理一段中文文本，某模型可能计为800个Token，另一模型可能计为1000个Token。因此，不同企业均以“每百万Token”报价，看似采用相同计价单位，实际对应的信息处理规模并不完全一致。模型升级或分词器更新后，同一企业不同版本之间的Token划分也可能发生变化。目前市场尚缺少统一的Token定义、计量口径和跨平台换算规则，用户难以仅依据Token单价准确比较不同大模型的服务价格。
二是Token计费过程主要由企业内部完成，第三方核验机制尚未形成。传统贸易结算领域对计量器具和第三方计量能力已有较为明确的制度要求，相关计量器具依法实施检定，为社会提供公证数据的检验机构也需具备相应的计量检定、测试能力。我国计量法第22条规定：“为社会提供公证数据的产品质量检验机构，必须经省级以上人民政府计量行政部门对其计量检定、测试的能力和可靠性考核合格”。目前大模型Token数量一般由服务商后台系统自动统计，用户通常只能看到最终计费结果，对具体采用何种分词规则、系统提示词是否计费、历史上下文如何计算、缓存内容是否重复计费等缺乏充分了解。随着推理模型、智能体和多模型协同应用发展，计费边界更加复杂，容易形成“企业自行定义、企业自行计量、企业自行结算”的封闭链条，既缺少独立复核机制，也缺乏具备相应计量能力的第三方机构开展计费核验和争议认定。
配资世家炒股开户三是Token尚未建立与底层物理量相衔接的量值溯源链条。Token本质上是由分词器和模型规则定义的离散计数，其数量可以准确统计，但这种“可计数”本身并不意味着具备跨模型、跨平台可比的计量尺度。若要使Token从企业自行定义的服务计费单位进一步成为可比较、可验证的计量量，关键是建立其与实际计算资源和能源消耗等可测量物理量之间的量值联系。国家发展改革委等部门联合发布的《关于促进人工智能与能源双向赋能的行动方案》提出“加强电力、算力、碳排放协同计量”，也对打通人工智能服务量与底层物理资源量提出了现实需求。当前，同样数量的Token因模型参数规模、架构、上下文长度和推理精度不同，对应的浮点运算次数并不相同；进一步对应到GPU使用时长和能源消耗，还受到芯片性能、并行方式和系统利用率等影响。因此，目前尚未形成“Token—计算量—计算资源—能源消耗”的统一测量模型、参考条件和不确定度评价方法，Token计量结果难以沿连续量值链条与可测物理量建立稳定关联，既制约不同模型服务量的横向比较，也使Token计费与实际资源投入之间缺少第三方可验证的计量基础。
今年5月，市场监管总局、国家发展改革委联合发布《人工智能计量体系和能力建设指引》，对人工智能计量能力建设进行了系统布局，提出加快形成覆盖算法模型、算力效率、数据质量的全链条计量能力，为人工智能产品提供统一“度量衡”。面向大模型服务加快规模化发展的新形势，一方面，Token计量关乎公平交易，我们应加强大模型Token计量和计价问题前瞻研究，统筹计量、标准、价格监管、网络交易监管和消费者权益保护等力量，研究完善Token计量规则、计费信息披露、测试评价和结果核验要求，推动大模型服务计费做到定义清晰、计量透明、结果可复核、争议可处理，不断提高服务商计费规则和服务边界透明度，保障用户知情权和公平交易权。另一方面，Token计量关乎算电协同，应加强基于Token的模型算力资源、运行效率、能耗能效计量研究，加快构建面向Token维度的大模型算力能耗计量技术规范和评价体系，推动相关能耗、碳排放计量数据规范采集和共享，建立Token与计算量、算力资源占用、能源消耗及碳排放之间稳定、可验证的量值关联，逐步打通“Token—算力—电力—碳排放”计量链条，为实现电力、算力、碳排放协同计量提供技术支撑。
元股证券:ygzq.hk（作者单位：中国计量科学研究院）
多空杠杆网提示：本文来自互联网，不代表本网站观点。
