Fine-tuning
Affinage, ou spécialisation d'un modèle
Fine-tuning, qu'est-ce que c'est ?
Le fine-tuning consiste à poursuivre l'entraînement d'un modèle existant sur un jeu d'exemples propre à un métier, pour qu'il en adopte le vocabulaire, le format de réponse et les conventions. Il ne sert pas à lui apprendre des faits, mais un comportement. Pour apprendre des faits, on utilise le RAG.
Aussi appelé : affinage, spécialisation.
Fine-tuning : qu'est-ce que ça change pour une PME ?
C'est la question la plus souvent mal posée. « Entraîner l'IA sur nos données » n'est presque jamais la bonne réponse quand on veut qu'elle connaisse ses dossiers : le RAG le fait mieux, plus vite et pour bien moins cher, et il se met à jour en modifiant un document. Le fine-tuning devient pertinent quand la forme compte - un ton, une structure de compte rendu, une nomenclature interne.
Comment nous traitons Fine-tuning
Nous commençons systématiquement par le RAG, et nous ne proposons un affinage que lorsque la mesure montre qu'il apporte quelque chose. Quand il a lieu, il se déroule sur nos machines en France : les exemples qui servent à spécialiser le modèle sont eux aussi des données de l'entreprise.
À retenir
- Il apprend une manière de répondre, pas des connaissances factuelles
- Le RAG est presque toujours à essayer en premier
- Il faut des exemples de qualité, en nombre, et ils viennent de chez vous
- Un modèle affiné doit être réévalué : il peut perdre des capacités générales