Tourne sur une box IA privée qui vous appartient
Un appareil compact classe GB10 — 128 Go de mémoire unifiée — l'exécute dans vos locaux, vendu et provisionné par nos soins. Sans clés d'API cloud, sans données qui sortent de vos murs.
← Toutes les pages modèles on-premise
Exécuter Mixtral 8x22B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas une affirmation de déploiement
Mixtral 8x22B est le modèle à mélange d'experts creux de Mistral — 141 milliards de paramètres au total avec environ 39 milliards actifs par token — sous licence permissive Apache-2.0. Sa conception creuse le rend plus rapide à servir qu'un modèle dense de même taille, et en 4 bits il tient sur une seule unité classe GB10.
Voici le calcul sur une unité de 128 Go.
Capacité mémoire sur une unité de 128 Go
| Paramètres | 141 Md au total, ~39 Md actifs par token (8 experts, MoE) |
|---|---|
| Poids en 4 bits | ~70–85 Go |
| Mémoire de l'appareil | 128 Go unifiés (une unité) |
| Reste pour cache de contexte + système | environ 40–55 Go |
| Unités nécessaires | 1 en 4 bits (le 8 bits en exige deux) |
En 4 bits, Mixtral 8x22B tient sur une unité avec de la place pour le contexte ; un service en plus haute précision nécessite deux unités empilées.
Ce qu'il sert bien
- Charges d'assistant général et multilingues avec une licence permissive.
- Un débit supérieur à un modèle dense de 141 Md grâce à la conception MoE creuse.
- Préférence pour l'open-weight européen (Mistral) servi sur votre propre matériel.
Limites honnêtes
- Arithmétique, pas notre déploiement mesuré. L'enveloppe est proche de modèles que nous exploitons, mesurés, sur ce matériel.
- En 4 bits, la marge de contexte est modérée ; un service intensif à long contexte peut préférer un modèle plus petit ou une seconde unité.
Questions fréquentes
- Mixtral 8x22B tient-il sur une unité ?
- Oui en 4 bits : ~70–85 Go de poids pour 128 Go, laissant 40–55 Go pour le contexte. Un service en plus haute précision exige deux unités empilées.
- Licence ?
- Apache-2.0 — permissive et compatible commercial, contrairement aux poids non commerciaux de Mistral Large.
- Pourquoi choisir un MoE ici ?
- Son budget de ~39 Md actifs le rend plus rapide à servir qu'un modèle dense de 141 Md ; nous quantifions le compromis pour votre charge lors de l'évaluation.