Exécuter Mistral Large on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Mistral Large est la famille de modèles open-weight phare de l'Europe — environ 123 milliards de paramètres en transformeur dense, excellent en français et dans les langues de l'UE. Pour une entreprise européenne réglementée, l'exécuter sur du matériel qui vous appartient est l'argument de souveraineté le plus propre qui soit : un modèle européen, dans vos locaux, sous juridiction européenne de bout en bout.
La vraie question des acheteurs est plus étroite : est-ce que ça tient ? Voici le calcul pour une machine dotée de 128 Go de mémoire — une unité IA de bureau, une station de travail ou un serveur GPU. La bonne machine pour votre charge se dimensionne lors du diagnostic IA.
Capacité mémoire dans 128 Go
| Paramètres | ~123 Md (dense) |
|---|---|
| Pleine précision (FP16) | ~246 Go — exige un serveur GPU ou un cloud privé |
| Poids en 8 bits | ~123 Go — plus de marge de travail dans 128 Go |
| Poids en 4 bits (le choix pratique) | ~62–74 Go selon la quantification |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour cache de contexte + système en 4 bits | environ 45–55 Go |
Chaque ligne suit la même règle : paramètres × octets par paramètre (FP16 ≈ 2, 8 bits ≈ 1, 4 bits ≈ 0,5), plus la place du cache KV qui porte votre fenêtre de contexte. En 4 bits, Mistral Large tient dans une machine de 128 Go avec une marge de contexte confortable ; en 8 bits, il faut davantage de mémoire — une station de travail plus grande, un serveur GPU ou un cloud privé.
Ce qu'il sert bien
- Rédaction, analyse et synthèse en français et dans les langues de l'UE, au niveau d'un modèle phare.
- Analyse documentaire privée et recherche (RAG) sur des contrats, dossiers et archives qui ne peuvent pas sortir de vos murs.
- Assistants pour les professions réglementées, quand un modèle européen sur du matériel sous contrôle européen est une exigence, pas une préférence.
- Parcours clients multilingues servis depuis votre propre machine.
Limites honnêtes
- Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
- Mistral publie ses poids sous ses propres conditions de licence ; un déploiement commercial peut nécessiter un accord avec Mistral AI. Nous traitons la question des licences dans le cadre de l'évaluation.
- Un modèle dense de 123 Md produit des tokens plus lentement que les modèles à mélange d'experts de la même classe de taille. Si le débit compte plus pour vous que la provenance du modèle, nous vous le dirons dans l'évaluation.
Questions fréquentes
Mistral Large tient-il dans 128 Go de mémoire ?
Oui, quantifié en 4 bits : environ 62–74 Go de poids pour 128 Go, avec des dizaines de gigaoctets restants pour le cache de contexte et le système. En pleine précision ou en 8 bits, il faut davantage de mémoire — une station de travail plus grande, un serveur GPU ou un cloud privé.
Cette page est-elle un benchmark ?
Non. Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
Pourquoi exécuter un modèle européen on-premise plutôt que via une API cloud souveraine ?
Une API hébergée déplace toujours vos requêtes et vos documents vers l'infrastructure d'un tiers. Sur votre propre machine, rien ne sort de vos locaux : l'argument de souveraineté devient physique au lieu d'être contractuel.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.