Enrichissement LLM

L'enrichissement LLM permet d'améliorer vos chunks après l'ingestion en ajoutant automatiquement des métadonnées générées par IA — résumés, entités nommées et tags — sans avoir à réimporter vos documents.

Qu'est-ce que l'enrichissement ?

L'enrichissement est un processus post-ingestion qui analyse chaque chunk de texte avec un LLM pour en extraire des informations structurées. Ces métadonnées sont stockées directement dans le vecteur store (Qdrant) et améliorent la qualité de la recherche en ajoutant du contexte sémantique à vos données.

Fonctionnalités disponibles

Trois types d'enrichissement sont disponibles, activables individuellement :

Résumé

Génère un résumé concis de 200 caractères maximum pour chaque chunk. Utile pour afficher des aperçus rapides dans les résultats de recherche et pour améliorer le matching sémantique.

Entités nommées

Extrait 8 types d'entités : personne, organisation, lieu, date, montant, pourcentage, produit et événement. Seules les entités avec un score de confiance supérieur à 0.7 sont conservées. Permet de filtrer les résultats par entité.

Tags

Génère automatiquement entre 3 et 10 tags de catégorie par chunk. Ces tags permettent de regrouper et filtrer les résultats par thème, facilitant la navigation dans de grandes collections.

Portées d'enrichissement

Vous pouvez choisir quels chunks enrichir :

Tous les chunks

Enrichit l'intégralité de la collection. Utilisez cette option lors de la première exécution ou après un changement de modèle LLM.

Chunks non enrichis uniquement

N'enrichit que les chunks qui n'ont pas encore été traités. Idéal pour les exécutions incrémentales après l'ajout de nouveaux documents.

Chunks sélectionnés

Enrichit uniquement les chunks que vous avez sélectionnés manuellement dans l'explorateur. Utile pour tester l'enrichissement sur un sous-ensemble avant de l'appliquer à toute la collection.

Comment accéder à l'enrichissement

L'enrichissement est accessible depuis l'explorateur de collection :

1. Ouvrez votre collection dans le dashboard
2. Cliquez sur l'onglet « Explorer »
3. Sélectionnez les chunks à enrichir (ou choisissez « Tous »)
4. Cliquez sur le bouton « Enrichir » dans la barre d'actions
5. Choisissez les fonctionnalités (résumé, entités, tags)
6. Sélectionnez la portée et lancez l'enrichissement

Estimation des coûts

Avant de lancer un enrichissement, le système affiche une estimation du coût en tokens. Cette estimation prend en compte le nombre de chunks, leur taille moyenne et les fonctionnalités activées. Les coûts sont facturés via votre propre clé API (BYOK), pas par IgnitionRAG.

Suivi en temps réel

L'enrichissement utilise le streaming SSE (Server-Sent Events) pour afficher la progression en temps réel. Vous pouvez suivre le nombre de chunks traités, les erreurs éventuelles et le temps restant estimé. Le processus peut être annulé à tout moment.

Support BYOK

L'enrichissement utilise votre propre clé API (Bring Your Own Key). Cela signifie que les coûts LLM sont directement facturés sur votre compte OpenAI ou Anthropic. Vous gardez le contrôle total sur le modèle utilisé et les coûts associés.

Référence API

Quatre endpoints sont disponibles pour gérer l'enrichissement par programme :

Lancer un enrichissement

Démarre un job d'enrichissement sur une collection :

POST /api/collections/:collectionId/enrich

{
  "features": ["summary", "entities", "tags"],
  "scope": "unenriched",
  "pointIds": []  // optionnel, pour scope "selected"
}

Suivre la progression (SSE)

Ouvre un flux SSE pour suivre la progression en temps réel :

GET /api/collections/:collectionId/enrich/stream?jobId=<jobId>

// Événements SSE reçus :
// data: {"progress": 45, "total": 100, "status": "processing"}
// data: {"progress": 100, "total": 100, "status": "completed"}

Annuler un enrichissement

Annule un job d'enrichissement en cours :

POST /api/collections/:collectionId/enrich/cancel

{
  "jobId": "<jobId>"
}

Vérifier le statut

Vérifie le statut d'enrichissement de la collection :

GET /api/collections/:collectionId/enrichment-status

// Réponse :
// {
//   "totalChunks": 500,
//   "enrichedChunks": 350,
//   "features": ["summary", "entities"],
//   "lastEnrichedAt": "2026-03-10T14:30:00Z"
// }

Conseils pratiques

1. Commencez par enrichir un petit échantillon pour évaluer la qualité avant de traiter toute la collection.
2. Activez les trois fonctionnalités (résumé, entités, tags) pour maximiser la qualité de recherche.
3. Utilisez la portée « non enrichis » pour les exécutions incrémentales — c'est plus rapide et moins coûteux.
4. Vérifiez l'estimation de coût avant de lancer un enrichissement sur de grandes collections.

Maintenant que vos données sont enrichies, découvrez comment optimiser votre pipeline de recherche avec A/B Test Pipeline →