Datos y RAG

Herramientas para crear y probar pipelines RAG en VS Code

La mayoría de los problemas de generación aumentada por recuperación empiezan antes del modelo: chunks demasiado pequeños o grandes, duplicados, metadatos que faltan o una recuperación que nadie ha medido. Estas herramientas te permiten revisar cada paso con tus propios documentos, en local, antes de pagar por generar ningún embedding.

Instalar · v11.88.0VS CodeInstalar · v1.2.0JetBrainsLeer la documentación

En esta página 7 secciones

Prepara y divide los documentos

Chunking Tester divide un documento de forma recursiva (párrafos, luego líneas, luego frases), por sección de Markdown, por frase o por tamaño fijo, medido en tokens o caracteres. Muestra cada chunk con su tamaño y su ruta de encabezados, y avisa de los chunks mucho más pequeños que el objetivo, los duplicados, un solapamiento superior al 30 % y los chunks de más de 8K tokens que la mayoría de los modelos de embeddings truncan.

Exporta chunks.jsonl, listo para un proceso de embeddings. Dos secciones de Markdown dan dos registros como estos:

chunks.jsonl
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

Después, Near-Duplicate Chunk Finder, Chunk Metadata Validator, JSON Lines Inspector y Data Profiler & Quality Check revisan el resultado antes de indexarlo. ¿No sabes con qué tamaño empezar? La guía para elegir el tamaño de chunk y el solapamiento te lo explica paso a paso.

Planifica el índice

  • Chunk & Index Size Calculator: a partir del tamaño del corpus y la configuración de los chunks, el número de chunks, el coste de los embeddings, el coste mensual, el almacenamiento vectorial y la RAM del índice HNSW.
  • Embedding Model Guide: compara modelos de embeddings por dimensiones, límite de entrada y precio.
  • Vector Store Setup: configuración de colecciones, un servicio local de Docker, variables de entorno y código cliente de Python para Chroma, Qdrant, pgvector, Pinecone, Weaviate u OpenSearch.

Recupera y genera

  • Retrieval Configuration: elige similitud, MMR, umbral o búsqueda híbrida y reranking, y obtén código de LangChain o LlamaIndex.
  • Vector Similarity y Hybrid Search Fusion (RRF) para combinar resultados por palabras clave y vectoriales.
  • Context Window Budget: cuántos chunks recuperados caben junto al prompt del sistema, la pregunta y la respuesta.
  • Grounded Prompt Assembler: un prompt que cita sus fuentes.
  • RAG Pipeline Generator: un proyecto ejecutable de ingesta y preguntas para tu stack, con chunking, embeddings, un almacén vectorial y respuestas fundamentadas con citas.

Mídelo

Retrieval Evaluation puntúa la recuperación con tus propias preguntas y señala las que no encontraron nada relevante entre los primeros resultados. Answer Grounding Checker marca cada frase de una respuesta que no está respaldada por el contexto recuperado, así como las citas que faltan. Para contar los tokens y el coste del prompt final, usa las herramientas de IA y LLM.

La misma sección incluye ayudas de ingeniería de datos: Partition Planner, Spark Cluster & Cost, Delta Lake Log Analyzer, Schema Viewer & Diff y Data Transformer.

Empieza

  1. Abre en el editor un documento de tu base de conocimiento.
  2. Ejecuta DevSnip Pro: Chunking Tester; el documento se toma del editor activo.
  3. Prueba dos o tres estrategias y tamaños, y fíjate en los avisos.
  4. Ejecuta DevSnip Pro: Browse Data & RAG Tools para el resto del pipeline.

Herramientas de esta área

Datos y RAG 21 herramientas

  • Chunking Tester
  • RAG Pipeline Generator
  • Vector Store Setup
  • Embedding Model Guide
  • Retrieval Configuration
  • Context Window Budget
  • Grounded Prompt Assembler
  • Chunk & Index Size Calculator
  • Retrieval Evaluation
  • Answer Grounding Checker
  • Vector Similarity
  • Near-Duplicate Chunk Finder
  • Hybrid Search Fusion (RRF)
  • Chunk Metadata Validator
  • Data Transformer
  • Data Profiler & Quality Check
  • JSON Lines Inspector
  • Schema Viewer & Diff
  • Partition & File Size Planner
  • Spark Cluster & Cost
  • Delta Lake Log Analyzer

Busca entre todas las herramientas para desarrolladores →

Preguntas

¿Estas herramientas llaman a una API de embeddings?
No. Se ejecutan en local sobre el texto que les das. Los embeddings y las pruebas de pipelines RAG contra un proveedor real se lanzan desde el cliente de API REST y usan puntos.
¿Con qué tamaño de chunk debería empezar?
La división recursiva de 200–500 tokens con un 10–20 % de solapamiento funciona para la mayoría de los casos de preguntas y respuestas. Después, mídelo con tus propias preguntas; la guía de chunking para RAG explica cómo.

Pruébalo en tu propio editor

Gratis, sin cuenta y en local. Para VS Code 1.93+ e IDE de JetBrains en Windows, macOS o Linux.

code --install-extension sayaib.hue-console