数据与 RAG
在 VS Code 中构建和测试 RAG 流水线的工具
大多数检索增强生成的问题在模型之前就已出现:分块太小或太大、重复内容、缺失元数据,或者检索效果从没被衡量过。这些工具让你在花钱生成任何嵌入之前,就能在本地用自己的文档检查每一个步骤。
本页内容 7 个小节
准备与分块文档
Chunking Tester 可以递归地拆分文档(先按段落,再按行,再按句子),也可以按 Markdown 小节、按句子或按固定长度拆分,长度以 Token 或字符计。它会显示每个分块及其大小和标题路径,并对明显小于目标大小的分块、重复分块、超过 30% 的重叠,以及超过 8K Token、会被大多数嵌入模型截断的分块发出警告。
它会导出 chunks.,可直接用于嵌入任务。两个 Markdown 小节会生成如下两条记录:
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}之后,Near-Duplicate Chunk Finder、Chunk Metadata Validator、JSON Lines Inspector 和 Data Profiler & Quality Check 会在建立索引前检查结果。不确定从多大的分块开始?分块大小与重叠选择指南会一步步讲解。
规划索引
- Chunk & Index Size Calculator:根据语料规模和分块设置,计算分块数量、嵌入成本、每月成本、向量存储量以及 HNSW 索引所需内存。
- Embedding Model Guide:按维度、输入上限和价格比较嵌入模型。
- Vector Store Setup:为 Chroma、Qdrant、pgvector、Pinecone、Weaviate 或 OpenSearch 生成集合设置、本地 Docker 服务、环境变量和 Python 客户端代码。
检索与生成
- Retrieval Configuration:选择相似度、MMR、阈值或混合检索以及重排序,并获取 LangChain 或 LlamaIndex 代码。
- Vector Similarity 与 Hybrid Search Fusion (RRF):合并关键词检索和向量检索的结果。
- Context Window Budget:在系统提示词、问题和回答之外,还能放下多少检索到的分块。
- Grounded Prompt Assembler:生成会引用来源的提示词。
- RAG Pipeline Generator:为你的技术栈生成可运行的导入与问答项目,包含分块、嵌入、向量库以及带引用的有依据回答。
衡量效果
Retrieval Evaluation 会用你自己的问题为检索打分,并标出在前几条结果中没有找到相关内容的问题。Answer Grounding Checker 会标记回答中每一句没有被检索上下文支持的句子,以及缺失的引用。要统计最终提示词的 Token 数和成本,请使用 AI 与 LLM 工具。
同一分区还提供数据工程助手:Partition Planner、Spark Cluster & Cost、Delta Lake Log Analyzer、Schema Viewer & Diff 和 Data Transformer。
开始使用
- 在编辑器中打开知识库里的一份文档。
- 运行 DevSnip Pro: Chunking Tester;它会读取当前编辑器中的文档。
- 尝试两三种策略和大小,并留意警告。
- 运行 DevSnip Pro: Browse Data & RAG Tools 查看流水线的其他工具。
该领域的工具
数据与 RAG 21 个工具
- Chunking Tester
- RAG Pipeline Generator
- Vector Store Setup
- Embedding Model Guide
- Retrieval Configuration
- Context Window Budget
- Grounded Prompt Assembler
- Chunk & Index Size Calculator
- Retrieval Evaluation
- Answer Grounding Checker
- Vector Similarity
- Near-Duplicate Chunk Finder
- Hybrid Search Fusion (RRF)
- Chunk Metadata Validator
- Data Transformer
- Data Profiler & Quality Check
- JSON Lines Inspector
- Schema Viewer & Diff
- Partition & File Size Planner
- Spark Cluster & Cost
- Delta Lake Log Analyzer
常见问题
- 这些工具会调用嵌入 API 吗?
- 不会。它们在本地处理你提供的文本。针对真实服务商的嵌入和 RAG 流水线测试需要从 REST API 客户端运行,并会消耗积分。
- 应该从多大的分块开始?
- 对于大多数问答场景,200–500 个 Token 的递归拆分加上 10–20% 的重叠就很合适。然后用你自己的问题来衡量;RAG 分块指南介绍了具体做法。