如何在 VS Code 中统计 LLM Token 并估算成本

作者:Sayaib Sarkar更新于 阅读约 4 分钟

本页内容 6 个小节

简短回答:把提示词粘贴到 Token 计数器中,再乘以每个模型的价格。在 VS Code 中,运行 DevSnip Pro 的 DevSnip Pro: LLM Models, Tokens & Cost:它会在本地、无需 API 密钥地估算 18 个聊天模型的 Token 数,以及单次请求、每日和每月的成本。

VS Code 中一个提示词在 18 个聊天模型上的 Token 与成本估算

基于大语言模型开发,会遇到一系列日常问题:这个提示词有多少 Token?一百万次调用要花多少钱?为什么模型返回的“JSON”解析不了?上下文窗口里能放下多少检索到的分块?这些问题都不需要聊天助手,而是需要放在调用模型的代码旁边的、小巧且结果确定的工具。下面所有工具都位于 DevSnip Pro 侧边栏的 AI & ML 和 Data & RAG 分区,在本地运行,无需 API 密钥。

上线前估算 Token 与成本

运行 DevSnip Pro: LLM Models, Tokens & Cost,粘贴一个真实的提示词,包括系统提示词和一条典型的用户消息。Token 数是估算值,而不是服务商的精确分词结果。它会估算 18 个聊天模型的 Token 数,以及单次请求、每日和每月的成本,也可以并排比较上下文窗口和价格。

模型价格经常变化。请把内置价格表当作估算,在确定预算前以服务商的价格页面为准。

编写易于维护的提示词

Prompt Builder 会用变量填充模板,标出常见错误(未填充的 {{variable}}、缺少系统提示词、要求输出 JSON 却没给出结构、插入的长文本没有分隔符),并为你的服务商导出 API 请求体。把提示词写成模板,就能像其他代码一样进行评审。

如果提示词中包含结构化数据,JSON → TOON 可以把 JSON 改写为紧凑且无损的表示法。对于表格数据,通常能节省 30–60% 的 Token。

让模型输出可以安全解析

模型会把 JSON 包在文字里、加上末尾逗号,或者截断回答。LLM Output Cleaner & JSON Validator 会从回复中提取 JSON、修复常见问题并进行校验,让你确切地看到解析器将收到什么。配合 JSON Schema Validator,可以对照你的约定检查结果。

用数字规划检索(RAG)

  • Chunking Tester:在生成任何嵌入之前,用你自己的文本比较不同的分块大小和策略。
  • Context Window Budget:在系统提示词、历史记录和回答之外,还能放下多少分块。
  • Chunk & Index Size Calculator:计算语料的分块数量、嵌入成本、向量存储量和索引内存。
  • Answer Grounding Checker:回答中的哪些句子真正得到了检索上下文的支持。
  • Near-Duplicate Chunk Finder:找出浪费索引空间、挤占其他结果的重复段落。

用合适的样板代码开始项目

  • LLM Client Setup:为 OpenAI、Anthropic、Gemini、Azure OpenAI、Ollama 或任何兼容 OpenAI 的端点生成已配置的客户端。
  • AI App Starter:为你的技术栈创建一个可运行的 AI 应用项目。
  • GPU Memory & Speed:判断模型能否装进 GPU,以及大致的运行速度。

需要时调用真实模型

REST API 客户端了解各主流服务商的请求格式。它可以发送提示词、以流式方式接收回复、显示 Token 数、延迟和成本,并按 Schema 校验输出。并排比较多个模型、基准测试,以及测试嵌入、向量数据库和 RAG 流水线属于高级工具,需要消耗积分。你的 API 密钥只用于请求本身,绝不会写入历史记录或磁盘。

在你自己的编辑器中试试

免费、无需账号、本地运行。支持 Windows、macOS 和 Linux 上的 VS Code 1.93+ 与 JetBrains IDE。

code --install-extension sayaib.hue-console