RAG のチャンクサイズとオーバーラップの選び方

著者:Sayaib Sarkar更新日:8 分で読めます

このページの内容 7 セクション

要点:まずは構造を意識した再帰的分割で、チャンクあたり約 200〜500 トークン、オーバーラップ 10〜20% から始め、測定しましょう。実際の質問を 20〜50 個、それに答える文書とともに書き出し、2〜3 種類のチャンク設定をヒット率と再現率で比較して、正しい箇所を最も多く取得できたものを残します。万能の最適サイズはありません。文書、埋め込みモデル、ユーザーの質問によって変わります。

チャンク分割は、検索拡張生成(RAG)パイプラインで最初に決めることであり、気づかないうちに間違えやすいものです。モデルはそれでも答えますが、間違ったコンテキストに基づいて答えてしまいます。このガイドでは、チャンクサイズとオーバーラップで何が変わるか、確認すべき問題、自分のデータで設定を比較する方法を説明します。例では VS Code の DevSnip Pro のローカル RAG ツールを使いますが、方法はどんなスタックでも使えます。

チャンクサイズで変わること

各チャンクが 1 つの埋め込みになり、検索はチャンク単位で結果を返します。

  • 小さなチャンク(約 100〜250 トークン)は精密です。埋め込みが 1 つの考えだけを表すので、合致する質問で見つかります。ただし、2 つの段落にまたがる答えはチャンクの間で分かれてしまい、モデルには半分しか見えないことがあります。
  • 大きなチャンク(約 500〜1,000 トークン)は多くの文脈を含みますが、複数の話題が 1 つの埋め込みに混ざります。一致は弱くなり、取得したチャンクのそれぞれがコンテキストウィンドウをより多く使います。
  • 大きすぎるチャンクは収まりません。ほとんどの埋め込みモデルは上限(多くは数千トークン)を超えた入力を切り捨てます。上限を超えたテキストは、ベクトルにまったく反映されません。

具体的な事実についての質問(「検索 API のレート制限は?」)には小さなチャンクが、説明が必要な質問(「課金の仕組みは?」)には大きなチャンクが向いていることが多いです。

オーバーラップの役割

オーバーラップは、あるチャンクの末尾を次のチャンクの先頭で繰り返すことで、境界にかかった文が少なくとも 1 つのチャンクに丸ごと入るようにします。チャンクサイズの 10〜20% がよくある出発点です。

多ければよいわけではありません。30% を超えると、同じテキストを 2 回埋め込んで保存するためにお金を払うことが多くなり、検索ではほぼ重複したチャンクが返ってきて、ほかの結果を押し出します。オーバーラップにほとんど効果がないとする研究もあるので、比較には 0% も含めましょう。

まず構造で分割する

どう分割するかは、サイズと同じくらい重要です:

  • 再帰的分割は、まず段落の区切り、次に行、次に文で分割を試み、文の途中で切るのは最後の手段だけです。文章には適した既定の方法です。
  • Markdown のセクション分割は、見出しとその内容をまとめて保ち、見出しの階層(例:Install > Configure)をメタデータとして記録します。引用に表示したり、フィルターに使ったりできます。
  • 固定サイズの分割は構造を無視します。単純ですが、文、コード、表の途中で切れてしまいます。

コードブロックや表は、できるだけ 1 つにまとめましょう。表の半分は、うまく埋め込めません。

埋め込む前にチャンクを見る

チャンク分割の問題の多くは、見れば気づきます。VS Code で典型的な文書を開き、DevSnip Pro: Chunking Tester を実行します。方法(再帰的、Markdown のセクション、文、固定サイズ)、単位(トークンまたは文字数)、サイズ、オーバーラップを選びます。各チャンクがサイズとセクションとともに表示され、次の警告も出ます:

  • 目標よりかなり小さいチャンク(見出しだけのチャンクなど)。検索でうまく取得されません。
  • 重複したチャンク。埋め込む前に削除すべきです。
  • 30% を超えるオーバーラップ。
  • ほとんどの埋め込みモデルで切り捨てられる、8K トークンを超えるチャンク。

各チャンクの ID、テキスト、メタデータを含む chunks.jsonl を書き出します:

JSON
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

コーパス全体をインデックス化する前に、Near-Duplicate Chunk Finder が繰り返し現れる定型文(フッター、Cookie の案内、ナビゲーション)を見つけ、Chunk Metadata Validator が、検索器がフィルターに使うフィールドをすべてのレコードが持っているかを確認します。

自分の質問で測定する

チャンクサイズについての直感は当てになりません。小さなラベル付きデータで決着がつきます:

  1. 実際のユーザーがする質問を 20〜50 個書き、それぞれに答える文書またはチャンクの ID を記録します。
  2. 設定 A で文書をインデックス化し、各質問を検索器にかけて、返ってきた ID を順位どおりに記録します。
  3. 設定 B(と C)で繰り返します。
  4. スコアを比較します。

DevSnip Pro の Retrieval Evaluation は、1 行に 1 つの質問を query | relevant ids | retrieved ids in rank order の形式で、または JSON Lines で受け取ります:

Text
reset password  | d3     | d3, d7, d1
refund policy   | d9, d2 | d4, d2, d9
export to csv   | d5     | d8, d6, d1
api rate limits | d11    | d11, d12, d4

k = 3 では、ヒット率 0.75(4 問中 3 問で関連する文書が見つかった)、再現率 0.75、MRR 0.625、nDCG 0.67 となり、「export to csv」では関連するものが見つからなかったことが示されます。役に立つのは、この取りこぼしです。一致すべきだったチャンクを見れば、たいてい理由がわかります。分割位置が悪い、大きなチャンクに埋もれている、質問と言い回しが違う、などです。このようにキーワード中心の質問は、ハイブリッド検索のほうがうまくいくことが多く、Hybrid Search Fusion (RRF) でテストできます。

指標の簡単な説明:

指標答える問い
ヒット率@k関連するチャンクが上位 k 件に 1 つでも入ったか
再現率@k関連するチャンクのうち、上位 k 件に入った割合は
適合率@k上位 k 件のうち、関連するものの割合は
MRR最初の関連チャンクは平均してどれくらい上位にあるか
nDCG@k関連するチャンクが上位に近いか

RAG で最も重要なのはヒット率と再現率です。正しい箇所が取得されなければ、モデルはそれを使えません。

設定のコストを確認する

チャンクが小さいほど、ベクトルは多くなります。Chunk & Index Size Calculator は、コーパスのサイズ、チャンクサイズ、オーバーラップから、チャンク数、埋め込みのコスト、月額コスト、ベクトルのストレージ、HNSW インデックスのメモリを算出するので、設定を選ぶ前にそのコストがわかります。Context Window Budget は、そのサイズの取得チャンクが、システムプロンプト、チャット履歴、質問、回答の横にいくつ収まるかを示します。

妥当な進め方

  1. 約 300 トークン、オーバーラップ 10〜15% の再帰的分割または Markdown 分割から始めます。
  2. Chunking Tester でいくつかの文書を確認し、明らかな問題(小さすぎるチャンク、崩れた表、定型文)を直します。
  3. 20〜50 問のテストセットを作ります。
  4. 出発点を、より小さいサイズ、より大きいサイズ、オーバーラップ 0% と比較します。
  5. 最もよかった設定を残し、埋め込みモデル、分割方法、文書を変えるたびにテストセットを再実行します。

自分のエディターで試してみよう

無料・アカウント不要・ローカルで動作。Windows、macOS、Linux の VS Code 1.93 以降と JetBrains IDE に対応。

code --install-extension sayaib.hue-console