البيانات وRAG

أدوات لبناء خطوط RAG واختبارها في VS Code

تبدأ معظم مشكلات التوليد المعزّز بالاسترجاع قبل النموذج: أجزاء صغيرة جدًا أو كبيرة جدًا، أو تكرارات، أو بيانات وصفية مفقودة، أو استرجاع لم يقِسه أحد. تتيح لك هذه الأدوات فحص كل خطوة على مستنداتك أنت، محليًا، قبل أن تدفع مقابل تضمين أي شيء.

تثبيت · v11.88.0VS Codeتثبيت · v1.2.0JetBrainsاقرأ التوثيق

في هذه الصفحة 7 قسم

جهّز المستندات وقسّمها

يقسّم Chunking Tester المستند تقسيمًا متكررًا (الفقرات، ثم الأسطر، ثم الجمل)، أو حسب أقسام Markdown، أو حسب الجمل، أو بحجم ثابت، مقاسًا بالرموز أو الأحرف. ويعرض كل جزء مع حجمه وتسلسل عناوينه، وينبّه إلى الأجزاء الأصغر كثيرًا من الهدف، والأجزاء المكررة، والتداخل الذي يتجاوز 30%، والأجزاء التي تتجاوز 8K رمز والتي تقتطعها معظم نماذج التضمين.

يصدّر ملف chunks.jsonl جاهزًا لمهمة تضمين. ينتج قسما Markdown سجلين كهذين:

chunks.jsonl
{"id":"docs_install.md#0","text":"# Install\n\nRun npm install. Then start the server with npm start.","metadata":{"source":"docs/install.md","chunk_index":0,"headings":"Install","tokens":15}}
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

ثم تفحص Near-Duplicate Chunk Finder وChunk Metadata Validator وJSON Lines Inspector وData Profiler & Quality Check النتيجة قبل فهرستها. لست متأكدًا من الحجم الذي تبدأ به؟ يشرح ذلك دليل اختيار حجم الأجزاء والتداخل.

خطّط للفهرس

  • Chunk & Index Size Calculator: انطلاقًا من حجم المجموعة النصية وإعدادات التقسيم، يحسب عدد الأجزاء وتكلفة التضمين والتكلفة الشهرية وتخزين المتجهات وذاكرة فهرس HNSW.
  • Embedding Model Guide: قارن نماذج التضمين حسب الأبعاد وحد المدخلات والسعر.
  • Vector Store Setup: إعدادات المجموعة، وخدمة Docker محلية، ومتغيرات البيئة، وشيفرة عميل Python لـ Chroma أو Qdrant أو pgvector أو Pinecone أو Weaviate أو OpenSearch.

استرجع وولّد

  • Retrieval Configuration: اختر البحث بالتشابه أو MMR أو العتبة أو البحث الهجين وإعادة الترتيب، واحصل على شيفرة LangChain أو LlamaIndex.
  • Vector Similarity وHybrid Search Fusion (RRF) لدمج نتائج الكلمات المفتاحية والمتجهات.
  • Context Window Budget: كم جزءًا مسترجعًا يتسع بجوار موجّه النظام والسؤال والإجابة.
  • Grounded Prompt Assembler: موجّه يستشهد بمصادره.
  • RAG Pipeline Generator: مشروع قابل للتشغيل للاستيعاب والسؤال يناسب تقنياتك، مع التقسيم والتضمينات ومخزن متجهات وإجابات موثّقة بالاستشهادات.

قِسه

يقيّم Retrieval Evaluation الاسترجاع على أسئلتك أنت ويشير إلى الأسئلة التي لم تجد شيئًا ذا صلة في النتائج الأولى. ويضع Answer Grounding Checker علامة على كل جملة في الإجابة لا يدعمها السياق المسترجع، وعلى الاستشهادات المفقودة. ولعدّ رموز الموجّه النهائي وتكلفته، استخدم أدوات الذكاء الاصطناعي ونماذج اللغة.

ويضم القسم نفسه مساعدات لهندسة البيانات: Partition Planner وSpark Cluster & Cost وDelta Lake Log Analyzer وSchema Viewer & Diff وData Transformer.

ابدأ

  1. افتح مستندًا من قاعدة معارفك في المحرر.
  2. شغّل DevSnip Pro: Chunking Tester؛ يُؤخذ المستند من المحرر النشط.
  3. جرّب استراتيجيتين أو ثلاثًا وأحجامًا مختلفة، وراقب التنبيهات.
  4. شغّل DevSnip Pro: Browse Data & RAG Tools لبقية الخط.

أدوات هذا المجال

البيانات وRAG 21 أداة

  • Chunking Tester
  • RAG Pipeline Generator
  • Vector Store Setup
  • Embedding Model Guide
  • Retrieval Configuration
  • Context Window Budget
  • Grounded Prompt Assembler
  • Chunk & Index Size Calculator
  • Retrieval Evaluation
  • Answer Grounding Checker
  • Vector Similarity
  • Near-Duplicate Chunk Finder
  • Hybrid Search Fusion (RRF)
  • Chunk Metadata Validator
  • Data Transformer
  • Data Profiler & Quality Check
  • JSON Lines Inspector
  • Schema Viewer & Diff
  • Partition & File Size Planner
  • Spark Cluster & Cost
  • Delta Lake Log Analyzer

ابحث في كل أدوات المطورين ←

أسئلة

هل تستدعي هذه الأدوات واجهة تضمين؟
لا. تعمل محليًا على النص الذي تعطيه لها. أما اختبارات التضمين وخطوط RAG مع مزوّد حقيقي فتعمل من عميل REST API وتستخدم النقاط.
بأي حجم للأجزاء أبدأ؟
التقسيم المتكرر عند 200–500 رمز مع تداخل 10–20% يناسب معظم حالات الإجابة عن الأسئلة. ثم قِس على أسئلتك أنت؛ ويوضح دليل تقسيم RAG الطريقة.

جرّبه في محررك

مجاني، دون حساب، ويعمل محليًا. لـ VS Code 1.93 أو أحدث وبيئات JetBrains على Windows أو macOS أو Linux.

code --install-extension sayaib.hue-console