Données et RAG
Des outils pour créer et tester des pipelines RAG dans VS Code
La plupart des problèmes de génération augmentée par la recherche commencent avant le modèle : des chunks trop petits ou trop grands, des doublons, des métadonnées manquantes ou une recherche que personne n’a mesurée. Ces outils vous permettent de vérifier chaque étape sur vos propres documents, en local, avant de payer pour quoi que ce soit en embeddings.
Installer · v11.88.0VS CodeInstaller · v1.2.0JetBrainsLire la documentation
Sur cette page 7 sections
Préparer et découper les documents
Chunking Tester découpe un document de façon récursive (paragraphes, puis lignes, puis phrases), par section Markdown, par phrase ou par taille fixe, mesurée en tokens ou en caractères. Il affiche chaque chunk avec sa taille et son fil de titres, et signale les chunks bien plus petits que la cible, les chunks en double, un chevauchement de plus de 30 % et les chunks de plus de 8K tokens que la plupart des modèles d’embedding tronquent.
Il exporte un chunks., prêt pour une tâche d’embedding. Deux sections Markdown donnent deux enregistrements comme ceux-ci :
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}Ensuite, Near-Duplicate Chunk Finder, Chunk Metadata Validator, JSON Lines Inspector et Data Profiler & Quality Check vérifient le résultat avant son indexation. Vous ne savez pas par quelle taille commencer ? Le guide pour choisir la taille et le chevauchement des chunks vous accompagne.
Planifier l’index
- Chunk & Index Size Calculator : à partir de la taille du corpus et des paramètres de découpage, le nombre de chunks, le coût d’embedding, le coût mensuel, le stockage vectoriel et la RAM de l’index HNSW.
- Embedding Model Guide : comparez les modèles d’embedding par dimensions, limite d’entrée et prix.
- Vector Store Setup : paramètres de collection, un service Docker local, des variables d’environnement et du code client Python pour Chroma, Qdrant, pgvector, Pinecone, Weaviate ou OpenSearch.
Rechercher et générer
- Retrieval Configuration : choisissez la recherche par similarité, MMR, seuil ou hybride et le reranking, et obtenez le code LangChain ou LlamaIndex.
- Vector Similarity et Hybrid Search Fusion (RRF) pour combiner les résultats par mots-clés et vectoriels.
- Context Window Budget : combien de chunks récupérés tiennent à côté du prompt système, de la question et de la réponse.
- Grounded Prompt Assembler : un prompt qui cite ses sources.
- RAG Pipeline Generator : un projet d’ingestion et de questions exécutable pour votre stack, avec découpage, embeddings, base vectorielle et réponses étayées par des citations.
Le mesurer
Retrieval Evaluation note la recherche sur vos propres questions et signale celles qui n’ont rien trouvé de pertinent dans les premiers résultats. Answer Grounding Checker marque chaque phrase d’une réponse non étayée par le contexte récupéré, ainsi que les citations manquantes. Pour compter les tokens et le coût du prompt final, utilisez les outils d’IA et de LLM.
La même section propose des aides à l’ingénierie des données : Partition Planner, Spark Cluster & Cost, Delta Lake Log Analyzer, Schema Viewer & Diff et Data Transformer.
Commencer
- Ouvrez dans l’éditeur un document de votre base de connaissances.
- Lancez DevSnip Pro: Chunking Tester ; le document est pris dans l’éditeur actif.
- Essayez deux ou trois stratégies et tailles, et surveillez les avertissements.
- Lancez DevSnip Pro: Browse Data & RAG Tools pour le reste du pipeline.
Outils de ce domaine
Données et RAG 21 outils
- Chunking Tester
- RAG Pipeline Generator
- Vector Store Setup
- Embedding Model Guide
- Retrieval Configuration
- Context Window Budget
- Grounded Prompt Assembler
- Chunk & Index Size Calculator
- Retrieval Evaluation
- Answer Grounding Checker
- Vector Similarity
- Near-Duplicate Chunk Finder
- Hybrid Search Fusion (RRF)
- Chunk Metadata Validator
- Data Transformer
- Data Profiler & Quality Check
- JSON Lines Inspector
- Schema Viewer & Diff
- Partition & File Size Planner
- Spark Cluster & Cost
- Delta Lake Log Analyzer
Questions
- Ces outils appellent-ils une API d’embedding ?
- Non. Ils s’exécutent en local sur le texte que vous leur donnez. Les tests d’embedding et de pipeline RAG avec un vrai fournisseur se lancent depuis le client d’API REST et utilisent des points.
- Par quelle taille de chunk commencer ?
- Un découpage récursif de 200 à 500 tokens avec 10 à 20 % de chevauchement convient à la plupart des cas de questions-réponses. Mesurez ensuite sur vos propres questions ; le guide du découpage RAG montre comment.