Exécuter Mixtral 8x22B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Mixtral 8x22B est le modèle à mélange d'experts creux de Mistral — 141 milliards de paramètres au total avec environ 39 milliards actifs par token — sous licence permissive Apache-2.0. Sa conception creuse le rend plus rapide à servir qu'un modèle dense de même taille, et en 4 bits il tient dans une machine de 128 Go.
Voici le calcul pour une machine dotée de 128 Go de mémoire.
Capacité mémoire dans 128 Go
| Paramètres | 141 Md au total, ~39 Md actifs par token (8 experts, MoE) |
|---|---|
| Poids en 4 bits | ~70–85 Go |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour cache de contexte + système | environ 40–55 Go |
| Tient dans 128 Go | oui en 4 bits (le 8 bits exige davantage de mémoire) |
En 4 bits, Mixtral 8x22B tient dans une machine de 128 Go avec de la place pour le contexte ; un service en plus haute précision exige davantage de mémoire — une station de travail plus grande, un serveur GPU ou un cloud privé.
Ce qu'il sert bien
- Charges d'assistant général et multilingues avec une licence permissive.
- Un débit supérieur à un modèle dense de 141 Md grâce à la conception MoE creuse.
- Préférence pour l'open-weight européen (Mistral) servi sur votre propre matériel.
Limites honnêtes
- Arithmétique mémoire, pas un benchmark.
- En 4 bits, la marge de contexte est modérée ; un service intensif à long contexte peut préférer un modèle plus petit ou une machine dotée de davantage de mémoire.
Questions fréquentes
Mixtral 8x22B tient-il dans 128 Go de mémoire ?
Oui en 4 bits : ~70–85 Go de poids pour 128 Go, laissant 40–55 Go pour le contexte. Un service en plus haute précision exige davantage de mémoire — une station de travail plus grande, un serveur GPU ou un cloud privé.
Licence ?
Apache-2.0 — permissive et compatible commercial, contrairement aux poids non commerciaux de Mistral Large.
Pourquoi choisir un MoE ici ?
Son budget de ~39 Md actifs le rend plus rapide à servir qu'un modèle dense de 141 Md ; nous quantifions le compromis pour votre charge lors de l'évaluation.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.