Exécuter Qwen3.5-122B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Qwen3.5-122B-A10B est un modèle à mélange d'experts de 122 milliards de paramètres qui n'en active qu'environ 10 milliards par token — un raisonnement de classe fleuron au coût de service d'un modèle intermédiaire.
Voici le calcul pour une machine dotée de 128 Go de mémoire. La bonne machine pour votre charge — unité IA de bureau, station de travail, serveur GPU ou cloud privé — se dimensionne lors du diagnostic IA.
Capacité mémoire dans 128 Go
| Paramètres | 122 Md au total, ~10 Md actifs par token (mélange d'experts) |
|---|---|
| Pleine précision (FP16) | ~244 Go — exige un serveur GPU ou un cloud privé |
| Poids en 8 bits | ~122 Go — plus de marge de travail dans 128 Go |
| Poids en 4 bits (le choix pratique) | ~61–73 Go selon la quantification |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour cache de contexte + système en 4 bits | environ 45–55 Go |
La même règle que sur chaque page : paramètres × octets par paramètre (FP16 ≈ 2, 8 bits ≈ 1, 4 bits ≈ 0,5), plus le cache KV de votre fenêtre de contexte. Les 122 Md de paramètres doivent tous résider en mémoire, mais seuls ~10 Md sont actifs par token — en 4 bits, le modèle tient donc dans une machine de 128 Go et reste réactif.
Ce qu'il sert bien
- Planification et raisonnement multi-étapes pour des flux agentiques.
- Relecture et jugement de qualité : évaluation de brouillons, de plans et de modifications de code.
- Analyse et synthèse documentaire longue, on-premise.
- Assistant d'entreprise généraliste de classe fleuron, entièrement sur votre matériel.
Limites honnêtes
- Cette page est de l'arithmétique mémoire, pas un benchmark : nous n'y publions ni scores de qualité ni chiffres de débit.
- Le débit en tokens par seconde dépend de vos longueurs de contexte et de la concurrence — nous le dimensionnons lors du diagnostic IA, sur votre charge réelle, pas sur un chiffre synthétique.
- En 8 bits, les poids seuls (~122 Go) remplissent 128 Go ; une précision supérieure exige une station de travail plus grande, un serveur GPU ou un cloud privé.
Questions fréquentes
Qwen3.5-122B tient-il dans 128 Go de mémoire ?
Oui, en 4 bits : ~61–73 Go de poids pour 128 Go, avec environ 45–55 Go restants pour le cache de contexte et le système. Le 8 bits et la pleine précision exigent davantage de mémoire.
Pourquoi un modèle de 122 Md se sert-il comme un modèle intermédiaire ?
Parce que c'est un mélange d'experts : les 122 Md de paramètres doivent résider en mémoire, mais seuls ~10 Md sont actifs par token, si bien que chaque token coûte à peu près le calcul d'un modèle dense de 10 Md. La mémoire décide de la tenue ; les paramètres actifs, de la vitesse.
Peut-il être affiné sur nos données ?
Les modèles open-weight de cette classe peuvent être affinés. Notre LLM Factory prépare les jeux de données, exécute l'affinage, compare le résultat au modèle de base sur vos tâches, et le livre sur votre machine.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.