Exécuter Qwen3-235B-A22B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Qwen3-235B-A22B est le modèle open-weight phare de Qwen — 235 milliards de paramètres au total, dont environ 22 milliards actifs par token sur 128 experts, sous licence permissive Apache-2.0, avec une fenêtre de contexte native de 262K tokens. Sa conception creuse offre une capacité quasi de pointe pour environ un tiers du calcul d'un modèle dense de sa taille.
C'est aussi là que l'honnêteté compte le plus : 235 Md ne tiennent pas confortablement dans 128 Go de mémoire. Voici le calcul — et la classe de machine qui le sert réellement.
Capacité mémoire face à 128 Go
| Paramètres | 235 Md au total, ~22 Md actifs par token (128 experts, MoE) |
|---|---|
| Pleine précision (FP16) | ~470 Go — un serveur GPU ou un cloud privé |
| Poids en 8 bits | ~235 Go — bien au-delà de 128 Go |
| Poids en 4 bits | ~118 Go en 4 bits propre ; ~130–140 Go pour les quants Q4_K_M courants |
| Dans 128 Go | peu réaliste — un 4 bits propre ne fait que les remplir, et les quants Q4 typiques les dépassent |
| Mémoire nécessaire | plus de 128 Go en 4 bits — une station de travail plus grande, un serveur GPU ou un cloud privé |
La règle empirique (paramètres × octets par paramètre) place même un 4 bits propre à ~118 Go — remplissant 128 Go sans rien laisser pour le contexte — et les quants Q4_K_M courants atteignent ~130–140 Go, au-delà de ce que contiennent 128 Go. La réponse honnête est une machine dotée de davantage de mémoire. Un quant ~3 bits (~100–110 Go) peut tenir dans 128 Go au prix d'une vraie perte de qualité.
Ce qu'il sert bien
- Une capacité open-weight quasi de pointe conservée entièrement sur du matériel qui vous appartient.
- L'analyse à long contexte (262K natif) sur de grands corpus privés.
- Un service efficace pour sa classe — ~22 Md de paramètres actifs, environ un tiers du calcul d'un 235 Md dense.
- Le palier exigeant d'une configuration mixte, au-dessus des modèles à 128 Go de ce hub.
Limites honnêtes
- Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
- Ce n'est pas un modèle pour 128 Go : quiconque vous dit qu'un 235 Md tourne confortablement dans 128 Go arrondit en oubliant le cache de contexte. Pas nous.
- Un quant ~3 bits qui tient dans 128 Go est possible mais échange la précision contre la capacité ; nous ne le recommanderions qu'après avoir testé le coût en qualité pour votre charge.
Questions fréquentes
Qwen3-235B-A22B tient-il dans 128 Go de mémoire ?
Pas confortablement. Un 4 bits propre fait ~118 Go — il remplit 128 Go sans place pour le contexte — et les quants Q4_K_M courants (~130–140 Go) les dépassent. La configuration pratique est une machine dotée de davantage de mémoire ; un quant ~3 bits peut tenir dans 128 Go au prix de la qualité.
De quel matériel a-t-il besoin ?
De plus de 128 Go de mémoire une fois le cache de contexte compté : une station de travail plus grande, un serveur GPU ou un cloud privé. Nous dimensionnons la machine pour votre charge lors du diagnostic IA.
Licence ?
Apache-2.0 — permissive et compatible commercial, sans accord séparé requis.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.