数据与 RAG

在 VS Code 中构建和测试 RAG 流水线的工具

大多数检索增强生成的问题在模型之前就已出现:分块太小或太大、重复内容、缺失元数据,或者检索效果从没被衡量过。这些工具让你在花钱生成任何嵌入之前,就能在本地用自己的文档检查每一个步骤。

安装 · v11.88.0VS Code安装 · v1.2.0JetBrains阅读文档

本页内容 7 个小节

准备与分块文档

Chunking Tester 可以递归地拆分文档(先按段落,再按行,再按句子),也可以按 Markdown 小节、按句子或按固定长度拆分,长度以 Token 或字符计。它会显示每个分块及其大小和标题路径,并对明显小于目标大小的分块、重复分块、超过 30% 的重叠,以及超过 8K Token、会被大多数嵌入模型截断的分块发出警告。

它会导出 chunks.jsonl,可直接用于嵌入任务。两个 Markdown 小节会生成如下两条记录:

chunks.jsonl
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

之后,Near-Duplicate Chunk Finder、Chunk Metadata Validator、JSON Lines Inspector 和 Data Profiler & Quality Check 会在建立索引前检查结果。不确定从多大的分块开始?分块大小与重叠选择指南会一步步讲解。

规划索引

  • Chunk & Index Size Calculator:根据语料规模和分块设置,计算分块数量、嵌入成本、每月成本、向量存储量以及 HNSW 索引所需内存。
  • Embedding Model Guide:按维度、输入上限和价格比较嵌入模型。
  • Vector Store Setup:为 Chroma、Qdrant、pgvector、Pinecone、Weaviate 或 OpenSearch 生成集合设置、本地 Docker 服务、环境变量和 Python 客户端代码。

检索与生成

  • Retrieval Configuration:选择相似度、MMR、阈值或混合检索以及重排序,并获取 LangChain 或 LlamaIndex 代码。
  • Vector Similarity 与 Hybrid Search Fusion (RRF):合并关键词检索和向量检索的结果。
  • Context Window Budget:在系统提示词、问题和回答之外,还能放下多少检索到的分块。
  • Grounded Prompt Assembler:生成会引用来源的提示词。
  • RAG Pipeline Generator:为你的技术栈生成可运行的导入与问答项目,包含分块、嵌入、向量库以及带引用的有依据回答。

衡量效果

Retrieval Evaluation 会用你自己的问题为检索打分,并标出在前几条结果中没有找到相关内容的问题。Answer Grounding Checker 会标记回答中每一句没有被检索上下文支持的句子,以及缺失的引用。要统计最终提示词的 Token 数和成本,请使用 AI 与 LLM 工具。

同一分区还提供数据工程助手:Partition Planner、Spark Cluster & Cost、Delta Lake Log Analyzer、Schema Viewer & Diff 和 Data Transformer。

开始使用

  1. 在编辑器中打开知识库里的一份文档。
  2. 运行 DevSnip Pro: Chunking Tester;它会读取当前编辑器中的文档。
  3. 尝试两三种策略和大小,并留意警告。
  4. 运行 DevSnip Pro: Browse Data & RAG Tools 查看流水线的其他工具。

该领域的工具

数据与 RAG 21 个工具

  • Chunking Tester
  • RAG Pipeline Generator
  • Vector Store Setup
  • Embedding Model Guide
  • Retrieval Configuration
  • Context Window Budget
  • Grounded Prompt Assembler
  • Chunk & Index Size Calculator
  • Retrieval Evaluation
  • Answer Grounding Checker
  • Vector Similarity
  • Near-Duplicate Chunk Finder
  • Hybrid Search Fusion (RRF)
  • Chunk Metadata Validator
  • Data Transformer
  • Data Profiler & Quality Check
  • JSON Lines Inspector
  • Schema Viewer & Diff
  • Partition & File Size Planner
  • Spark Cluster & Cost
  • Delta Lake Log Analyzer

搜索全部开发者工具 →

常见问题

这些工具会调用嵌入 API 吗?
不会。它们在本地处理你提供的文本。针对真实服务商的嵌入和 RAG 流水线测试需要从 REST API 客户端运行,并会消耗积分。
应该从多大的分块开始?
对于大多数问答场景,200–500 个 Token 的递归拆分加上 10–20% 的重叠就很合适。然后用你自己的问题来衡量;RAG 分块指南介绍了具体做法。

在你自己的编辑器中试试

免费、无需账号、本地运行。支持 Windows、macOS 和 Linux 上的 VS Code 1.93+ 与 JetBrains IDE。

code --install-extension sayaib.hue-console