Tourne sur une box IA privée qui vous appartient
Un appareil compact classe GB10 — 128 Go de mémoire unifiée — l'exécute dans vos locaux, vendu et provisionné par nos soins. Sans clés d'API cloud, sans données qui sortent de vos murs.
← Toutes les pages modèles on-premise
Exécuter Qwen3-235B-A22B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas une affirmation de déploiement
Qwen3-235B-A22B est le modèle open-weight phare de Qwen — 235 milliards de paramètres au total, dont environ 22 milliards actifs par token sur 128 experts, sous licence permissive Apache-2.0, avec une fenêtre de contexte native de 262K tokens. Sa conception creuse offre une capacité quasi de pointe pour environ un tiers du calcul d'un modèle dense de sa taille.
C'est aussi là que l'honnêteté compte le plus : 235 Md ne tiennent pas confortablement sur une seule unité de 128 Go. Voici le calcul — et la configuration à deux unités qui le sert réellement.
Capacité mémoire sur des unités de 128 Go
| Paramètres | 235 Md au total, ~22 Md actifs par token (128 experts, MoE) |
|---|---|
| Pleine précision (FP16) | ~470 Go — plusieurs unités |
| Poids en 8 bits | ~235 Go — deux unités, aucune marge de travail |
| Poids en 4 bits | ~118 Go en 4 bits propre ; ~130–140 Go pour les quants Q4_K_M courants |
| Une unité de 128 Go | peu réaliste — un 4 bits propre ne fait que la remplir, et les quants Q4 typiques la dépassent |
| Unités nécessaires | deux unités de 128 Go empilées en 4 bits (notre configuration mesurée DeepSeek-V4-Flash) |
La règle empirique (paramètres × octets par paramètre) place même un 4 bits propre à ~118 Go — remplissant une seule unité sans rien laisser pour le contexte — et les quants Q4_K_M courants atteignent ~130–140 Go, au-delà de ce qu'une unité contient. La réponse honnête est deux unités empilées, l'enveloppe matérielle exacte que nous exploitons mesurée chaque jour. Un quant ~3 bits (~100–110 Go) peut tenir sur une unité au prix d'une vraie perte de qualité.
Ce qu'il sert bien
- Une capacité open-weight quasi de pointe conservée entièrement sur du matériel qui vous appartient.
- L'analyse à long contexte (262K natif) sur de grands corpus privés.
- Un service efficace pour sa classe — ~22 Md de paramètres actifs, environ un tiers du calcul d'un 235 Md dense.
- Le palier exigeant d'un parc mixte, au-dessus des modèles à une seule unité de ce hub.
Limites honnêtes
- Ceci est de l'arithmétique, pas un déploiement Qwen3-235B de notre part — mais l'enveloppe à deux unités empilées dont il a besoin est exactement celle que nous exploitons, mesurée, avec DeepSeek-V4-Flash (~149 Go FP8 sur deux unités) : le dimensionnement repose donc sur du matériel que nous exploitons quotidiennement.
- Ce n'est pas un modèle à une seule unité : quiconque vous dit qu'un 235 Md tourne confortablement sur une seule box de 128 Go arrondit en oubliant le cache de contexte. Pas nous.
- Un quant ~3 bits sur une unité est possible mais échange la précision contre la capacité ; nous ne le recommanderions qu'après avoir mesuré le coût en qualité pour votre charge.
Questions fréquentes
- Qwen3-235B-A22B tient-il sur une unité de 128 Go ?
- Pas confortablement. Un 4 bits propre fait ~118 Go — il remplit l'unité sans place pour le contexte — et les quants Q4_K_M courants (~130–140 Go) la dépassent. La configuration pratique est deux unités empilées en 4 bits ; un quant ~3 bits peut tenir sur une unité au prix de la qualité.
- Est-ce le même matériel que vous exploitez en production ?
- Oui — deux unités de 128 Go empilées, c'est exactement notre configuration mesurée DeepSeek-V4-Flash (~149 Go FP8, parallélisme de tenseurs sur deux unités). L'enveloppe mémoire de cette page est celle que nous exploitons quotidiennement.
- Licence ?
- Apache-2.0 — permissive et compatible commercial, sans accord séparé requis.