如何为 RAG 选择分块大小与重叠
本页内容 7 个小节
简短回答:先采用能感知结构的递归拆分,每个分块约 200–500 个 Token,重叠 10–20%,然后进行衡量。写出 20–50 个真实问题以及能回答它们的文档,按命中率和召回率比较两三种分块设置,保留最常检索到正确段落的那一种。不存在通用的最佳大小:它取决于你的文档、嵌入模型以及人们提出的问题。
分块是检索增强生成(RAG)流水线中的第一个决定,而且很容易在不知不觉中出错。模型照样会回答,只不过依据的是错误的上下文。本指南介绍分块大小和重叠会改变什么、需要注意哪些问题,以及如何在你自己的数据上比较不同设置。示例使用 VS Code 中 DevSnip Pro 的本地 RAG 工具,但方法适用于任何技术栈。
每个分块对应一个嵌入向量,检索返回的是完整的分块。
- 较小的分块(约 100–250 个 Token)更精确:嵌入只表达一个概念,因此匹配的问题能找到它。但跨越两个段落的答案可能会被拆到不同分块里,模型只能看到一半。
- 较大的分块(约 500–1,000 个 Token)包含更多上下文,但会把多个主题混进一个嵌入。匹配度会变弱,而且每个检索到的分块会占用更多上下文窗口。
- 过大的分块放不下:大多数嵌入模型会截断超出其上限的输入,这个上限通常只有几千个 Token。超出部分的文本根本不会体现在向量中。
关于具体事实的问题(“搜索 API 的速率限制是多少?”)通常更适合较小的分块;需要解释的问题(“计费是怎么运作的?”)则更适合较大的分块。
重叠会把前一个分块的结尾重复放到下一个分块的开头,这样落在边界上的句子至少会在一个分块中完整出现。分块大小的 10–20% 是常见的起点。
重叠越多并不越好。超过约 30% 时,你基本是在为把同样的文本嵌入和存储两遍付费,而且检索会返回几乎重复的分块,挤占其他结果。一些研究发现重叠几乎没有好处,所以请把 0% 也纳入比较。
怎么拆分与拆多大同样重要:
- 递归拆分会先尝试按段落拆分,再按行,再按句子,只有万不得已才会在句子中间截断。它是处理文章类文本的好默认选择。
- 按 Markdown 小节拆分会让标题与其内容保持在一起,并把标题路径(例如
Install > Configure)记录为元数据,可以在引用中显示,也可以用作筛选条件。 - 固定长度拆分会忽略结构。它很简单,但会截断句子、代码和表格。
尽可能让代码块和表格保持完整。半张表格生成的嵌入效果很差。
只要去看,大多数分块问题都一目了然。在 VS Code 中打开一份典型文档,运行 DevSnip Pro: Chunking Tester。选择策略(递归、Markdown 小节、句子或固定长度)、单位(Token 或字符)、大小和重叠。你会看到每个分块及其大小和所属小节,以及以下警告:
- 明显小于目标大小的分块,例如单独一个标题,这类分块检索效果很差;
- 重复的分块,应该在嵌入前删除;
- 超过 30% 的重叠;
- 超过 8K Token、会被大多数嵌入模型截断的分块。
它会导出 chunks.,每个分块包含 id、文本和元数据:
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}在为整个语料建立索引之前,Near-Duplicate Chunk Finder 会找出重复的样板内容(页脚、Cookie 提示、导航),Chunk Metadata Validator 会检查每条记录是否都有检索器用于筛选的字段。
对分块大小的直觉并不可靠。一个小小的标注集就能解决问题:
- 写出 20–50 个真实用户会问的问题,并为每个问题记下能回答它的文档或分块的 id。
- 用设置 A 为文档建立索引,让每个问题经过检索器,记录它按排名返回的 id。
- 用设置 B(以及 C)重复以上步骤。
- 比较得分。
DevSnip Pro 的 Retrieval Evaluation 每行接收一个问题,格式为 query | relevant ids | retrieved ids in rank order,也可以使用 JSON Lines:
reset password | d3 | d3, d7, d1
refund policy | d9, d2 | d4, d2, d9
export to csv | d5 | d8, d6, d1
api rate limits | d11 | d11, d12, d4在 k = 3 时,得到的命中率为 0.75(四个问题中有三个找到了相关文档),召回率 0.75,MRR 0.625,nDCG 0.67,并且会指出“export to csv”没有找到任何相关内容。这个未命中正是有用的地方:看看本应匹配的那个分块,通常就能发现原因——它可能被拆错了位置、被埋在更大的分块里,或者措辞与问题不同。像这样关键词较多的问题,使用混合检索往往效果更好,Hybrid Search Fusion (RRF) 可以帮你测试。
各项指标简介:
| 指标 | 回答的问题 |
|---|---|
| 命中率@k | 前 k 个结果中是否有相关的分块? |
| 召回率@k | 相关分块中有多少比例进入了前 k 个结果? |
| 精确率@k | 前 k 个结果中有多少比例是相关的? |
| MRR | 第一个相关分块平均排在多靠前? |
| nDCG@k | 相关分块是否排在靠前的位置? |
对 RAG 来说,命中率和召回率最重要:如果没有检索到正确的段落,模型就无法使用它。
分块越小,向量越多。Chunk & Index Size Calculator 会根据语料规模、分块大小和重叠,计算出分块数量、嵌入成本、每月成本、向量存储量和 HNSW 索引内存,让你在选择之前就看到某个设置的成本。Context Window Budget 会显示,在系统提示词、聊天历史、问题和回答之外,还能放下多少个这种大小的检索分块。
- 从约 300 个 Token、10–15% 重叠的递归拆分或 Markdown 拆分开始。
- 在 Chunking Tester 中检查几份文档,修复明显的问题(过小的分块、被截断的表格、样板内容)。
- 建立一个包含 20–50 个问题的测试集。
- 把起点设置与一个更小、一个更大的分块大小以及 0% 重叠进行比较。
- 保留表现最好的设置;每当更换嵌入模型、拆分器或文档时,都重新运行测试集。