Embedding
Vecteur sémantique
Embedding, qu'est-ce que c'est ?
Un embedding est la représentation d'un texte sous forme de suite de nombres, calculée de telle sorte que deux textes de sens proche donnent des suites proches. C'est ce qui permet de retrouver un passage qui répond à une question sans qu'il en partage un seul mot. C'est le mécanisme de recherche sur lequel repose le RAG.
Aussi appelé : plongement lexical, vecteur.
Embedding : qu'est-ce que ça change pour une PME ?
C'est la différence entre une recherche par mots-clés et une recherche qui comprend l'intention. Un client qui écrit « mon appareil ne démarre plus » doit tomber sur la procédure intitulée « absence d'alimentation », qui ne contient aucun de ses mots. Une recherche classique échoue, une recherche par embeddings trouve.
Comment nous traitons Embedding
Le modèle d'embedding tourne chez vous, au même titre que le modèle de génération, et l'index qu'il produit reste sur votre infrastructure. C'est un point qu'on oublie souvent en parlant de souveraineté : indexer des documents chez un tiers, c'est déjà les lui avoir envoyés.
À retenir
- Deux textes de sens proche donnent des vecteurs proches, même sans mot commun
- L'index se recalcule quand la documentation change
- Le calcul des embeddings est un traitement des documents, donc à faire sur place
- Un bon découpage des documents compte autant que le modèle utilisé