كيف تختار حجم الأجزاء والتداخل في RAG

بقلم Sayaib Sarkarآخر تحديث قراءة في 5 دقيقة

في هذه الصفحة 7 قسم

الإجابة المختصرة: ابدأ بتقسيم متكرر يراعي البنية بنحو 200–500 رمز لكل جزء مع تداخل 10–20%، ثم قِس. اكتب 20–50 سؤالًا حقيقيًا مع المستندات التي تجيب عنها، وقارن إعدادَين أو ثلاثة للتقسيم من حيث معدل الإصابة والاستدعاء، واحتفظ بالإعداد الذي يسترجع المقطع الصحيح في أغلب الأحيان. لا يوجد حجم مثالي للجميع: فهو يعتمد على مستنداتك ونموذج التضمين والأسئلة التي يطرحها الناس.

التقسيم هو القرار الأول في خط التوليد المعزّز بالاسترجاع (RAG)، ومن السهل أن تخطئ فيه دون أن تلاحظ. فالنموذج يواصل الإجابة، لكن من السياق الخطأ. يشرح هذا الدليل ما يغيّره حجم الأجزاء والتداخل، والمشكلات التي يجب البحث عنها، وكيف تقارن الإعدادات على بياناتك أنت. تستخدم الأمثلة أدوات RAG المحلية في DevSnip Pro داخل VS Code، لكن الطريقة تصلح مع أي تقنيات.

ما الذي يغيّره حجم الجزء

يصبح كل جزء تضمينًا واحدًا، ويُرجع الاسترجاع أجزاءً كاملة.

  • الأجزاء الصغيرة (نحو 100–250 رمزًا) دقيقة: يدور التضمين حول فكرة واحدة، فيعثر عليه السؤال المطابق. لكن الإجابة التي تمتد على فقرتين قد تنقسم بين جزأين، فلا يرى النموذج إلا نصفها.
  • الأجزاء الكبيرة (نحو 500–1,000 رمز) تحمل سياقًا أكثر، لكنها تخلط عدة مواضيع في تضمين واحد. فتضعف المطابقة، ويستهلك كل جزء مسترجع حيزًا أكبر من نافذة السياق.
  • الأجزاء الكبيرة جدًا لا تتسع: تقتطع معظم نماذج التضمين المدخلات التي تتجاوز حدها، وهو غالبًا بضعة آلاف من الرموز. والنص الذي يتجاوز الحد لا يُمثَّل في المتجه ببساطة.

الأسئلة عن حقائق محددة («ما حد المعدل في واجهة البحث؟») تفضّل عادةً الأجزاء الأصغر. أما الأسئلة التي تحتاج إلى شرح («كيف تعمل الفوترة؟») فتفضّل الأجزاء الأكبر.

ما الذي يفعله التداخل

يكرر التداخل نهاية الجزء في بداية الجزء التالي، فتظهر الجملة الواقعة على الحد كاملة في جزء واحد على الأقل. ونسبة 10–20% من حجم الجزء نقطة بداية شائعة.

الأكثر ليس أفضل. فبعد نحو 30% تدفع غالبًا مقابل تضمين النص نفسه وتخزينه مرتين، ويُرجع الاسترجاع أجزاءً شبه مكررة تزاحم النتائج الأخرى. وتجد بعض الدراسات أن فائدة التداخل ضئيلة أصلًا، لذا أدرج 0% في مقارنتك.

قسّم حسب البنية أولًا

طريقة التقسيم مهمة بقدر الحجم:

  • التقسيم المتكرر يجرّب فواصل الفقرات أولًا، ثم الأسطر، ثم الجمل، ولا يقطع في منتصف الجملة إلا كملاذ أخير. وهو خيار افتراضي جيد للنصوص النثرية.
  • التقسيم حسب أقسام Markdown يُبقي العنوان مع محتواه ويسجّل تسلسل العناوين (مثل Install > Configure) كبيانات وصفية، يمكنك عرضها في الاستشهادات أو استخدامها كمرشح.
  • التقسيم بحجم ثابت يتجاهل البنية. وهو بسيط لكنه يقطع الجمل والشيفرة والجداول.

أبقِ كتل الشيفرة والجداول قطعة واحدة حيثما أمكن. فنصف الجدول يُضمَّن بشكل سيئ.

انظر إلى الأجزاء قبل تضمينها

معظم مشكلات التقسيم واضحة إذا نظرت. في VS Code، افتح مستندًا نموذجيًا وشغّل DevSnip Pro: Chunking Tester. اختر استراتيجية (متكررة، أو أقسام Markdown، أو جمل، أو حجم ثابت)، ووحدة (رموز أو أحرف)، وحجمًا وتداخلًا. ستحصل على كل جزء مع حجمه وقسمه، إضافةً إلى تنبيهات بشأن:

  • الأجزاء الأصغر كثيرًا من الهدف، مثل عنوان وحده، والتي يصعب استرجاعها؛
  • الأجزاء المكررة، التي يجب إزالتها قبل التضمين؛
  • التداخل الذي يتجاوز 30%؛
  • الأجزاء التي تتجاوز 8K رمز، والتي تقتطعها معظم نماذج التضمين.

يصدّر ملف chunks.jsonl فيه معرّف ونص وبيانات وصفية لكل جزء:

JSON
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}

قبل فهرسة مجموعة نصية كاملة، يلتقط Near-Duplicate Chunk Finder المحتوى المتكرر (التذييلات، وإشعارات ملفات تعريف الارتباط، وعناصر التنقل)، ويتحقق Chunk Metadata Validator من أن كل سجل يحتوي على الحقول التي يرشّح بها نظام الاسترجاع لديك.

قِس على أسئلتك أنت

الحدس بشأن حجم الأجزاء غير موثوق. ومجموعة صغيرة موسومة تحسم الأمر:

  1. اكتب 20–50 سؤالًا يطرحها مستخدمون حقيقيون، وسجّل لكل سؤال معرّف المستند أو الجزء الذي يجيب عنه.
  2. افهرس مستنداتك بالإعداد A، ومرّر كل سؤال عبر نظام الاسترجاع، وسجّل المعرّفات المرتّبة التي يُرجعها.
  3. كرّر ذلك بالإعداد B (وC).
  4. قارن الدرجات.

يأخذ Retrieval Evaluation في DevSnip Pro سطرًا لكل سؤال، بالصيغة query | relevant ids | retrieved ids in rank order، أو بصيغة JSON Lines:

Text
reset password  | d3     | d3, d7, d1
refund policy   | d9, d2 | d4, d2, d9
export to csv   | d5     | d8, d6, d1
api rate limits | d11    | d11, d12, d4

عند k = 3 يعطي هذا معدل إصابة 0.75 (ثلاثة من الأسئلة الأربعة عثرت على مستند ذي صلة)، واستدعاءً 0.75، وMRR بقيمة 0.625، وnDCG بقيمة 0.67، ويشير إلى أن «export to csv» لم يعثر على شيء ذي صلة. وهذا الإخفاق هو الجزء المفيد: انظر إلى الجزء الذي كان يجب أن يطابق، وستعرف السبب عادةً. فقد يكون مقسومًا في المكان الخطأ، أو مدفونًا في جزء أكبر، أو مصاغًا بشكل مختلف عن السؤال. والأسئلة الغنية بالكلمات المفتاحية مثل هذا السؤال تنجح غالبًا أكثر مع البحث الهجين، الذي يساعدك Hybrid Search Fusion (RRF) على اختباره.

المقاييس باختصار:

المقياسالسؤال الذي يجيب عنه
Hit rate@kهل وصل أي جزء ذي صلة إلى أول k نتيجة؟
Recall@kما نسبة الأجزاء ذات الصلة التي وصلت إلى أول k نتيجة؟
Precision@kما نسبة أول k نتيجة ذات الصلة؟
MRRما متوسط ترتيب أول جزء ذي صلة؟
nDCG@kهل الأجزاء ذات الصلة قريبة من القمة؟

في RAG، معدل الإصابة والاستدعاء هما الأهم: فإذا لم يُسترجع المقطع الصحيح، لا يستطيع النموذج استخدامه.

افحص تكلفة الإعداد

الأجزاء الأصغر تعني متجهات أكثر. يحوّل Chunk & Index Size Calculator حجم المجموعة النصية وحجم الأجزاء والتداخل إلى عدد الأجزاء وتكلفة التضمين والتكلفة الشهرية وتخزين المتجهات وذاكرة فهرس HNSW، لترى تكلفة الإعداد قبل اختياره. ويوضح Context Window Budget كم جزءًا مسترجعًا بهذا الحجم يتسع بجوار موجّه النظام وسجل المحادثة والسؤال والإجابة.

طريقة معقولة

  1. ابدأ بتقسيم متكرر أو حسب Markdown بنحو 300 رمز وتداخل 10–15%.
  2. افحص بضعة مستندات في Chunking Tester وأصلح المشكلات الواضحة (أجزاء صغيرة جدًا، أو جداول مقطوعة، أو محتوى متكرر).
  3. ابنِ مجموعة اختبار من 20–50 سؤالًا.
  4. قارن نقطة البداية بحجم أصغر وحجم أكبر وتداخل 0%.
  5. احتفظ بالفائز، وأعد تشغيل مجموعة الاختبار كلما غيّرت نموذج التضمين أو أداة التقسيم أو المستندات.

جرّبه في محررك

مجاني، دون حساب، ويعمل محليًا. لـ VS Code 1.93 أو أحدث وبيئات JetBrains على Windows أو macOS أو Linux.

code --install-extension sayaib.hue-console