GPU
Carte graphique, ou processeur graphique
GPU, qu'est-ce que c'est ?
Un GPU est un processeur conçu pour exécuter un très grand nombre de calculs simples en parallèle, ce qui correspond exactement à la façon dont un modèle de langage produit du texte. C'est le composant qui détermine la vitesse de réponse d'une IA auto-hébergée. Sa mémoire vidéo, plus que sa puissance brute, décide de la taille du modèle que la machine peut accueillir.
Aussi appelé : carte graphique, accélérateur.
GPU : qu'est-ce que ça change pour une PME ?
C'est le poste de dépense qui inquiète, et souvent à tort. Pour la majorité des usages d'une PME - un assistant documentaire, du traitement de factures, de la rédaction assistée - une seule carte du marché grand public suffit, et elle s'amortit en général plus vite qu'un abonnement par utilisateur chez un éditeur. Les machines à plusieurs dizaines de milliers d'euros servent à entraîner des modèles, pas à les exécuter.
Comment nous traitons GPU
Nous dimensionnons d'après votre charge réelle, mesurée pendant l'audit, et nous disons quand une carte n'est pas nécessaire : beaucoup de traitements par lots tournent très bien sur un processeur classique du moment qu'on accepte d'attendre quelques secondes. Quand l'achat ne se justifie pas, nous opérons la machine pour vous, en France.
À retenir
- La mémoire vidéo commande la taille du modèle, avant la puissance de calcul
- Une carte grand public couvre la majorité des usages d'une PME
- Les traitements par lots, sans exigence de temps réel, se passent souvent de GPU
- Le coût est un investissement amortissable, à comparer à un abonnement sans fin