Comment choisir la taille et le chevauchement des chunks pour le RAG
Sur cette page 7 sections
Réponse courte : commencez par un découpage récursif qui respecte la structure, d’environ 200 à 500 tokens par chunk avec 10 à 20 % de chevauchement, puis mesurez. Écrivez 20 à 50 vraies questions avec les documents qui y répondent, comparez deux ou trois réglages de découpage sur le taux de réussite et le rappel, et gardez celui qui retrouve le bon passage le plus souvent. Il n’existe pas de taille idéale universelle : elle dépend de vos documents, de votre modèle d’embedding et des questions que les gens posent.
Le découpage est la première décision d’un pipeline de génération augmentée par la recherche (RAG), et il est facile de se tromper sans s’en rendre compte. Le modèle répond quand même, simplement à partir du mauvais contexte. Ce guide explique ce que changent la taille et le chevauchement des chunks, les problèmes à repérer et comment comparer des réglages sur vos propres données. Les exemples utilisent les outils RAG locaux de DevSnip Pro dans VS Code, mais la méthode fonctionne avec n’importe quelle stack.
Chaque chunk devient un embedding, et la recherche renvoie des chunks entiers.
- Les petits chunks (environ 100 à 250 tokens) sont précis : l’embedding porte sur une seule idée, donc une question correspondante le trouve. Mais une réponse qui s’étend sur deux paragraphes peut être coupée entre deux chunks, et le modèle n’en voit que la moitié.
- Les gros chunks (environ 500 à 1 000 tokens) portent plus de contexte, mais mélangent plusieurs sujets dans un seul embedding. La correspondance s’affaiblit, et chaque chunk récupéré occupe davantage de la fenêtre de contexte.
- Les très gros chunks ne rentrent pas : la plupart des modèles d’embedding tronquent l’entrée au-delà de leur limite, souvent quelques milliers de tokens. Le texte au-delà de la limite n’est tout simplement pas représenté dans le vecteur.
Les questions sur des faits précis (« Quelle est la limite de débit de l’API de recherche ? ») préfèrent généralement les petits chunks. Les questions qui demandent une explication (« Comment fonctionne la facturation ? ») préfèrent les plus gros.
Le chevauchement répète la fin d’un chunk au début du suivant, pour qu’une phrase tombant sur une frontière apparaisse entière dans au moins un chunk. 10 à 20 % de la taille du chunk est un point de départ courant.
Plus n’est pas mieux. Au-delà d’environ 30 %, vous payez surtout pour intégrer et stocker deux fois le même texte, et la recherche renvoie des chunks presque identiques qui évincent d’autres résultats. Certaines études ne trouvent que peu de bénéfice au chevauchement : incluez donc 0 % dans votre comparaison.
La façon de découper compte autant que la taille :
- Le découpage récursif essaie d’abord les sauts de paragraphe, puis les lignes, puis les phrases, et ne coupe en milieu de phrase qu’en dernier recours. C’est un bon choix par défaut pour de la prose.
- Le découpage par section Markdown garde un titre avec son contenu et enregistre le fil des titres (par exemple
Install > Configure) comme métadonnée, que vous pouvez afficher dans les citations ou utiliser comme filtre. - Le découpage à taille fixe ignore la structure. Il est simple mais coupe à travers les phrases, le code et les tableaux.
Gardez les blocs de code et les tableaux d’un seul tenant quand c’est possible. Un demi-tableau s’intègre mal.
La plupart des problèmes de découpage se voient si l’on regarde. Dans VS Code, ouvrez un document typique et lancez DevSnip Pro: Chunking Tester. Choisissez une stratégie (récursive, sections Markdown, phrases ou taille fixe), une unité (tokens ou caractères), une taille et un chevauchement. Vous obtenez chaque chunk avec sa taille et sa section, ainsi que des avertissements pour :
- les chunks bien plus petits que la cible, comme un titre seul, qui sont mal retrouvés ;
- les chunks en double, à supprimer avant l’embedding ;
- un chevauchement supérieur à 30 % ;
- les chunks de plus de 8K tokens, que la plupart des modèles d’embedding tronquent.
Il exporte un chunks. avec un identifiant, le texte et les métadonnées de chaque chunk :
{"id":"docs_install.md#1","text":"## Configure\n\nSet PORT in .env. The default is 3000.","metadata":{"source":"docs/install.md","chunk_index":1,"headings":"Install > Configure","tokens":16}}Avant d’indexer tout un corpus, Near-Duplicate Chunk Finder repère le contenu répété (pieds de page, bandeaux de cookies, navigation), et Chunk Metadata Validator vérifie que chaque enregistrement contient les champs sur lesquels filtre votre moteur de recherche.
L’intuition sur la taille des chunks n’est pas fiable. Un petit jeu de données étiqueté tranche la question :
- Écrivez 20 à 50 questions que posent de vrais utilisateurs, et notez pour chacune l’identifiant du document ou du chunk qui y répond.
- Indexez vos documents avec le réglage A, passez chaque question dans votre moteur de recherche et notez les identifiants classés qu’il renvoie.
- Recommencez avec le réglage B (et C).
- Comparez les scores.
Retrieval Evaluation dans DevSnip Pro prend une ligne par question, sous la forme query | relevant ids | retrieved ids in rank order, ou en JSON Lines :
reset password | d3 | d3, d7, d1
refund policy | d9, d2 | d4, d2, d9
export to csv | d5 | d8, d6, d1
api rate limits | d11 | d11, d12, d4À k = 3, cela donne un taux de réussite de 0,75 (trois des quatre questions ont trouvé un document pertinent), un rappel de 0,75, un MRR de 0,625 et un nDCG de 0,67, et l’outil signale que « export to csv » n’a rien trouvé de pertinent. C’est cet échec qui est utile : regardez le chunk qui aurait dû correspondre, et vous verrez généralement pourquoi. Il est peut-être coupé au mauvais endroit, noyé dans un plus gros chunk ou formulé différemment de la question. Les questions riches en mots-clés comme celle-ci fonctionnent souvent mieux avec une recherche hybride, que Hybrid Search Fusion (RRF) vous aide à tester.
Les métriques, en bref :
| Métrique | Question à laquelle elle répond |
|---|---|
| Hit rate@k | Un chunk pertinent figure-t-il dans les k premiers ? |
| Recall@k | Quelle part des chunks pertinents figure dans les k premiers ? |
| Precision@k | Quelle part des k premiers est pertinente ? |
| MRR | À quel rang se trouve en moyenne le premier chunk pertinent ? |
| nDCG@k | Les chunks pertinents sont-ils près du haut ? |
Pour le RAG, le taux de réussite et le rappel comptent le plus : si le bon passage n’est pas retrouvé, le modèle ne peut pas l’utiliser.
Des chunks plus petits signifient plus de vecteurs. Chunk & Index Size Calculator transforme la taille du corpus, la taille des chunks et le chevauchement en nombre de chunks, coût d’embedding, coût mensuel, stockage vectoriel et mémoire de l’index HNSW, pour que vous voyiez ce que coûte un réglage avant de le choisir. Context Window Budget montre combien de chunks récupérés de cette taille tiennent à côté de votre prompt système, de l’historique de conversation, de la question et de la réponse.
- Commencez par un découpage récursif ou Markdown d’environ 300 tokens avec 10 à 15 % de chevauchement.
- Inspectez quelques documents dans le Chunking Tester et corrigez les problèmes évidents (chunks minuscules, tableaux coupés, contenu répété).
- Constituez un jeu de test de 20 à 50 questions.
- Comparez votre point de départ avec une taille plus petite, une plus grande et 0 % de chevauchement.
- Gardez le gagnant, et relancez le jeu de test chaque fois que vous changez de modèle d’embedding, de découpeur ou de documents.