データ・RAG

VS Code で RAG パイプラインを構築・テストするためのツール

検索拡張生成(RAG)の問題の多くは、モデルに届く前に始まっています。小さすぎる・大きすぎるチャンク、重複、欠けたメタデータ、誰も測っていない検索。これらのツールを使えば、埋め込みにお金を払う前に、自分のドキュメントで各ステップをローカルに確認できます。

インストール · v11.88.0VS Codeインストール · v1.2.0JetBrainsドキュメントを読む

このページの内容 7 セクション

ドキュメントを準備してチャンクに分割する

Chunking Tester は、ドキュメントを再帰的に(段落、行、文の順に)、Markdown のセクションごとに、文ごとに、または固定サイズで分割します。サイズはトークンまたは文字数で測ります。各チャンクをサイズと見出しの階層とともに表示し、目標より大幅に小さいチャンク、重複したチャンク、30% を超えるオーバーラップ、ほとんどの埋め込みモデルで切り捨てられる 8K トークン超のチャンクを警告します。

埋め込みジョブにそのまま使える chunks.jsonl を書き出します。2 つの Markdown セクションからは、次のような 2 件のレコードが得られます:

chunks.jsonl
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

その後、Near-Duplicate Chunk Finder、Chunk Metadata Validator、JSON Lines Inspector、Data Profiler & Quality Check が、インデックス化の前に結果をチェックします。どのサイズから始めればよいかわからない場合は、チャンクサイズとオーバーラップの選び方ガイドで順を追って説明しています。

インデックスを計画する

  • Chunk & Index Size Calculator:コーパスのサイズとチャンクの設定から、チャンク数、埋め込みのコスト、月額コスト、ベクトルのストレージ、HNSW インデックスの RAM を算出します。
  • Embedding Model Guide:次元数、入力上限、料金で埋め込みモデルを比較します。
  • Vector Store Setup:Chroma、Qdrant、pgvector、Pinecone、Weaviate、OpenSearch 向けに、コレクションの設定、ローカルの Docker サービス、環境変数、Python のクライアントコードを用意します。

検索して生成する

  • Retrieval Configuration:類似度、MMR、しきい値、ハイブリッド検索とリランキングを選び、LangChain や LlamaIndex のコードを取得します。
  • Vector Similarity と Hybrid Search Fusion (RRF):キーワード検索とベクトル検索の結果を組み合わせます。
  • Context Window Budget:システムプロンプト、質問、回答の横に、検索したチャンクがいくつ収まるかを確認します。
  • Grounded Prompt Assembler:出典を引用するプロンプトを組み立てます。
  • RAG Pipeline Generator:チャンク分割、埋め込み、ベクトルストア、引用付きの根拠ある回答を備えた、取り込みと質問応答の実行可能なプロジェクトを、あなたのスタック向けに生成します。

測定する

Retrieval Evaluation は自分の質問で検索を採点し、上位の結果に関連するものが見つからなかった質問を示します。Answer Grounding Checker は、検索したコンテキストに裏付けられていない回答の文と、欠けている引用に印を付けます。最終的なプロンプトのトークン数とコストを数えるには、AI・LLM ツールを使いましょう。

同じセクションには、データエンジニアリング用のヘルパーもあります:Partition Planner、Spark Cluster & Cost、Delta Lake Log Analyzer、Schema Viewer & Diff、Data Transformer。

はじめる

  1. ナレッジベースのドキュメントをエディターで開きます。
  2. DevSnip Pro: Chunking Tester を実行します。ドキュメントはアクティブなエディターから読み込まれます。
  3. 2〜3 種類の方法とサイズを試し、警告を確認します。
  4. パイプラインの残りのツールは DevSnip Pro: Browse Data & RAG Tools で表示できます。

この分野のツール

データ・RAG 21 個のツール

  • Chunking Tester
  • RAG Pipeline Generator
  • Vector Store Setup
  • Embedding Model Guide
  • Retrieval Configuration
  • Context Window Budget
  • Grounded Prompt Assembler
  • Chunk & Index Size Calculator
  • Retrieval Evaluation
  • Answer Grounding Checker
  • Vector Similarity
  • Near-Duplicate Chunk Finder
  • Hybrid Search Fusion (RRF)
  • Chunk Metadata Validator
  • Data Transformer
  • Data Profiler & Quality Check
  • JSON Lines Inspector
  • Schema Viewer & Diff
  • Partition & File Size Planner
  • Spark Cluster & Cost
  • Delta Lake Log Analyzer

すべての開発者ツールを検索 →

よくある質問

これらのツールは埋め込み API を呼び出しますか?
いいえ。渡したテキストに対してローカルで動作します。実際のプロバイダーに対する埋め込みや RAG パイプラインのテストは REST API クライアントから実行し、ポイントを使います。
チャンクサイズはどれくらいから始めるべきですか?
多くの質問応答には、200〜500 トークンの再帰的分割と 10〜20% のオーバーラップが適しています。そのうえで自分の質問で測定しましょう。方法は RAG のチャンク分割ガイドで紹介しています。

自分のエディターで試してみよう

無料・アカウント不要・ローカルで動作。Windows、macOS、Linux の VS Code 1.93 以降と JetBrains IDE に対応。

code --install-extension sayaib.hue-console