如何为 RAG 选择分块大小与重叠

作者:Sayaib Sarkar更新于 阅读约 6 分钟

本页内容 7 个小节

简短回答:先采用能感知结构的递归拆分,每个分块约 200–500 个 Token,重叠 10–20%,然后进行衡量。写出 20–50 个真实问题以及能回答它们的文档,按命中率和召回率比较两三种分块设置,保留最常检索到正确段落的那一种。不存在通用的最佳大小:它取决于你的文档、嵌入模型以及人们提出的问题。

分块是检索增强生成(RAG)流水线中的第一个决定,而且很容易在不知不觉中出错。模型照样会回答,只不过依据的是错误的上下文。本指南介绍分块大小和重叠会改变什么、需要注意哪些问题,以及如何在你自己的数据上比较不同设置。示例使用 VS Code 中 DevSnip Pro 的本地 RAG 工具,但方法适用于任何技术栈。

分块大小会改变什么

每个分块对应一个嵌入向量,检索返回的是完整的分块。

  • 较小的分块(约 100–250 个 Token)更精确:嵌入只表达一个概念,因此匹配的问题能找到它。但跨越两个段落的答案可能会被拆到不同分块里,模型只能看到一半。
  • 较大的分块(约 500–1,000 个 Token)包含更多上下文,但会把多个主题混进一个嵌入。匹配度会变弱,而且每个检索到的分块会占用更多上下文窗口。
  • 过大的分块放不下:大多数嵌入模型会截断超出其上限的输入,这个上限通常只有几千个 Token。超出部分的文本根本不会体现在向量中。

关于具体事实的问题(“搜索 API 的速率限制是多少?”)通常更适合较小的分块;需要解释的问题(“计费是怎么运作的?”)则更适合较大的分块。

重叠的作用

重叠会把前一个分块的结尾重复放到下一个分块的开头,这样落在边界上的句子至少会在一个分块中完整出现。分块大小的 10–20% 是常见的起点。

重叠越多并不越好。超过约 30% 时,你基本是在为把同样的文本嵌入和存储两遍付费,而且检索会返回几乎重复的分块,挤占其他结果。一些研究发现重叠几乎没有好处,所以请把 0% 也纳入比较。

先按结构拆分

怎么拆分与拆多大同样重要:

  • 递归拆分会先尝试按段落拆分,再按行,再按句子,只有万不得已才会在句子中间截断。它是处理文章类文本的好默认选择。
  • 按 Markdown 小节拆分会让标题与其内容保持在一起,并把标题路径(例如 Install > Configure)记录为元数据,可以在引用中显示,也可以用作筛选条件。
  • 固定长度拆分会忽略结构。它很简单,但会截断句子、代码和表格。

尽可能让代码块和表格保持完整。半张表格生成的嵌入效果很差。

嵌入前先看看分块

只要去看,大多数分块问题都一目了然。在 VS Code 中打开一份典型文档,运行 DevSnip Pro: Chunking Tester。选择策略(递归、Markdown 小节、句子或固定长度)、单位(Token 或字符)、大小和重叠。你会看到每个分块及其大小和所属小节,以及以下警告:

  • 明显小于目标大小的分块,例如单独一个标题,这类分块检索效果很差;
  • 重复的分块,应该在嵌入前删除;
  • 超过 30% 的重叠;
  • 超过 8K Token、会被大多数嵌入模型截断的分块。

它会导出 chunks.jsonl,每个分块包含 id、文本和元数据:

JSON
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

在为整个语料建立索引之前,Near-Duplicate Chunk Finder 会找出重复的样板内容(页脚、Cookie 提示、导航),Chunk Metadata Validator 会检查每条记录是否都有检索器用于筛选的字段。

用你自己的问题衡量

对分块大小的直觉并不可靠。一个小小的标注集就能解决问题:

  1. 写出 20–50 个真实用户会问的问题,并为每个问题记下能回答它的文档或分块的 id。
  2. 用设置 A 为文档建立索引,让每个问题经过检索器,记录它按排名返回的 id。
  3. 用设置 B(以及 C)重复以上步骤。
  4. 比较得分。

DevSnip Pro 的 Retrieval Evaluation 每行接收一个问题,格式为 query | relevant ids | retrieved ids in rank order,也可以使用 JSON Lines:

Text
reset password  | d3     | d3, d7, d1
refund policy   | d9, d2 | d4, d2, d9
export to csv   | d5     | d8, d6, d1
api rate limits | d11    | d11, d12, d4

在 k = 3 时,得到的命中率为 0.75(四个问题中有三个找到了相关文档),召回率 0.75,MRR 0.625,nDCG 0.67,并且会指出“export to csv”没有找到任何相关内容。这个未命中正是有用的地方:看看本应匹配的那个分块,通常就能发现原因——它可能被拆错了位置、被埋在更大的分块里,或者措辞与问题不同。像这样关键词较多的问题,使用混合检索往往效果更好,Hybrid Search Fusion (RRF) 可以帮你测试。

各项指标简介:

指标回答的问题
命中率@k前 k 个结果中是否有相关的分块?
召回率@k相关分块中有多少比例进入了前 k 个结果?
精确率@k前 k 个结果中有多少比例是相关的?
MRR第一个相关分块平均排在多靠前?
nDCG@k相关分块是否排在靠前的位置?

对 RAG 来说,命中率和召回率最重要:如果没有检索到正确的段落,模型就无法使用它。

检查某个设置的成本

分块越小,向量越多。Chunk & Index Size Calculator 会根据语料规模、分块大小和重叠,计算出分块数量、嵌入成本、每月成本、向量存储量和 HNSW 索引内存,让你在选择之前就看到某个设置的成本。Context Window Budget 会显示,在系统提示词、聊天历史、问题和回答之外,还能放下多少个这种大小的检索分块。

合理的流程

  1. 从约 300 个 Token、10–15% 重叠的递归拆分或 Markdown 拆分开始。
  2. 在 Chunking Tester 中检查几份文档,修复明显的问题(过小的分块、被截断的表格、样板内容)。
  3. 建立一个包含 20–50 个问题的测试集。
  4. 把起点设置与一个更小、一个更大的分块大小以及 0% 重叠进行比较。
  5. 保留表现最好的设置;每当更换嵌入模型、拆分器或文档时,都重新运行测试集。

在你自己的编辑器中试试

免费、无需账号、本地运行。支持 Windows、macOS 和 Linux 上的 VS Code 1.93+ 与 JetBrains IDE。

code --install-extension sayaib.hue-console