データ・RAG
VS Code で RAG パイプラインを構築・テストするためのツール
検索拡張生成(RAG)の問題の多くは、モデルに届く前に始まっています。小さすぎる・大きすぎるチャンク、重複、欠けたメタデータ、誰も測っていない検索。これらのツールを使えば、埋め込みにお金を払う前に、自分のドキュメントで各ステップをローカルに確認できます。
このページの内容 7 セクション
ドキュメントを準備してチャンクに分割する
Chunking Tester は、ドキュメントを再帰的に(段落、行、文の順に)、Markdown のセクションごとに、文ごとに、または固定サイズで分割します。サイズはトークンまたは文字数で測ります。各チャンクをサイズと見出しの階層とともに表示し、目標より大幅に小さいチャンク、重複したチャンク、30% を超えるオーバーラップ、ほとんどの埋め込みモデルで切り捨てられる 8K トークン超のチャンクを警告します。
埋め込みジョブにそのまま使える chunks. を書き出します。2 つの Markdown セクションからは、次のような 2 件のレコードが得られます:
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}その後、Near-Duplicate Chunk Finder、Chunk Metadata Validator、JSON Lines Inspector、Data Profiler & Quality Check が、インデックス化の前に結果をチェックします。どのサイズから始めればよいかわからない場合は、チャンクサイズとオーバーラップの選び方ガイドで順を追って説明しています。
インデックスを計画する
- Chunk & Index Size Calculator:コーパスのサイズとチャンクの設定から、チャンク数、埋め込みのコスト、月額コスト、ベクトルのストレージ、HNSW インデックスの RAM を算出します。
- Embedding Model Guide:次元数、入力上限、料金で埋め込みモデルを比較します。
- Vector Store Setup:Chroma、Qdrant、pgvector、Pinecone、Weaviate、OpenSearch 向けに、コレクションの設定、ローカルの Docker サービス、環境変数、Python のクライアントコードを用意します。
検索して生成する
- Retrieval Configuration:類似度、MMR、しきい値、ハイブリッド検索とリランキングを選び、LangChain や LlamaIndex のコードを取得します。
- Vector Similarity と Hybrid Search Fusion (RRF):キーワード検索とベクトル検索の結果を組み合わせます。
- Context Window Budget:システムプロンプト、質問、回答の横に、検索したチャンクがいくつ収まるかを確認します。
- Grounded Prompt Assembler:出典を引用するプロンプトを組み立てます。
- RAG Pipeline Generator:チャンク分割、埋め込み、ベクトルストア、引用付きの根拠ある回答を備えた、取り込みと質問応答の実行可能なプロジェクトを、あなたのスタック向けに生成します。
測定する
Retrieval Evaluation は自分の質問で検索を採点し、上位の結果に関連するものが見つからなかった質問を示します。Answer Grounding Checker は、検索したコンテキストに裏付けられていない回答の文と、欠けている引用に印を付けます。最終的なプロンプトのトークン数とコストを数えるには、AI・LLM ツールを使いましょう。
同じセクションには、データエンジニアリング用のヘルパーもあります:Partition Planner、Spark Cluster & Cost、Delta Lake Log Analyzer、Schema Viewer & Diff、Data Transformer。
はじめる
- ナレッジベースのドキュメントをエディターで開きます。
- DevSnip Pro: Chunking Tester を実行します。ドキュメントはアクティブなエディターから読み込まれます。
- 2〜3 種類の方法とサイズを試し、警告を確認します。
- パイプラインの残りのツールは DevSnip Pro: Browse Data & RAG Tools で表示できます。
この分野のツール
データ・RAG 21 個のツール
- Chunking Tester
- RAG Pipeline Generator
- Vector Store Setup
- Embedding Model Guide
- Retrieval Configuration
- Context Window Budget
- Grounded Prompt Assembler
- Chunk & Index Size Calculator
- Retrieval Evaluation
- Answer Grounding Checker
- Vector Similarity
- Near-Duplicate Chunk Finder
- Hybrid Search Fusion (RRF)
- Chunk Metadata Validator
- Data Transformer
- Data Profiler & Quality Check
- JSON Lines Inspector
- Schema Viewer & Diff
- Partition & File Size Planner
- Spark Cluster & Cost
- Delta Lake Log Analyzer
よくある質問
- これらのツールは埋め込み API を呼び出しますか?
- いいえ。渡したテキストに対してローカルで動作します。実際のプロバイダーに対する埋め込みや RAG パイプラインのテストは REST API クライアントから実行し、ポイントを使います。
- チャンクサイズはどれくらいから始めるべきですか?
- 多くの質問応答には、200〜500 トークンの再帰的分割と 10〜20% のオーバーラップが適しています。そのうえで自分の質問で測定しましょう。方法は RAG のチャンク分割ガイドで紹介しています。