Exécuter Qwen3-Coder-30B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Qwen3-Coder-30B-A3B est un modèle à mélange d'experts creux conçu pour le code — 30,5 milliards de paramètres au total, dont environ 3 milliards actifs par token, sous licence permissive Apache-2.0, avec une fenêtre de contexte native de 256K tokens (extensible via YaRN). Le faible budget actif le rend rapide ; le long contexte le rend utile sur un dépôt entier, pas seulement sur un fichier.
C'est un choix naturel pour un agent de code privé : pointé sur OpenCode sur votre machine, votre code source ne la quitte jamais. Voici le calcul pour une machine dotée de 128 Go de mémoire.
Capacité mémoire dans 128 Go
| Paramètres | 30,5 Md au total, ~3 Md actifs par token (128 experts, MoE) |
|---|---|
| Poids en 4 bits (le choix pratique) | ~15–18 Go |
| Poids en 8 bits | ~31 Go |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour cache de contexte + système en 4 bits | environ 100+ Go — la place d'un contexte à l'échelle d'un dépôt |
| Contexte natif | 256K tokens (extensible via YaRN) |
Ici, les poids sont la petite partie : en 4 bits, les ~15–18 Go de paramètres laissent l'écrasante majorité de 128 Go au cache KV — exactement ce dont un long contexte à l'échelle d'un dépôt a besoin. Le budget actif de ~3 Md le maintient aussi rapide à servir.
Ce qu'il sert bien
- Un agent de code privé qui raisonne sur un dépôt entier, exécuté sur votre machine — associez-le à OpenCode pour que le code source ne la quitte jamais.
- Usage agentique d'outils et appel de fonctions pour des workflows d'ingénierie automatisés.
- Un fine-tuning en modèle de code maison sur votre propre base de code via le LLM Factory, puis redéployé sur votre machine.
- Une assistance interactive rapide grâce au budget de ~3 Md de paramètres actifs.
Limites honnêtes
- Arithmétique mémoire, pas un benchmark — et le modèle tient largement dans 128 Go, avec de la marge.
- Un budget actif de ~3 Md est efficace, sans être la capacité brute d'un grand modèle dense de pointe ; pour les raisonnements les plus difficiles, nous dimensionnerions un modèle plus grand et quantifierions le compromis lors de l'évaluation.
- Les contextes très longs consomment la marge de cache KV qui rend ce modèle attractif — le débit réel à 256K tokens dépend de la charge ; nous le dimensionnons pour votre cas.
Questions fréquentes
Qwen3-Coder-30B tient-il dans 128 Go de mémoire ?
Facilement — ~15–18 Go de poids en 4 bits pour 128 Go, laissant environ 100 Go pour le cache de contexte. Cette marge est justement l'intérêt : elle permet au modèle de tenir un contexte à l'échelle d'un dépôt.
Licence ?
Apache-2.0 — permissive et compatible commercial, sans accord séparé requis.
Comment s'associe-t-il à OpenCode ?
OpenCode s'exécute sur votre machine et pointe sur le modèle local, si bien que votre code est analysé et généré entièrement sur du matériel qui vous appartient.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.