Exécuter Qwen3-30B-A3B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Qwen3-30B-A3B est un modèle à mélange d'experts de 30 milliards de paramètres au total et environ 3 milliards actifs par token, sous licence permissive Apache-2.0. Sa faible empreinte active le rend rapide et économique à servir, et il laisse tant de mémoire libre qu'une seule machine peut l'héberger aux côtés d'autres modèles.
Voici le calcul pour une machine dotée de 128 Go de mémoire.
Capacité mémoire dans 128 Go
| Paramètres | 30 Md au total, ~3 Md actifs par token (MoE) |
|---|---|
| Poids en 4 bits | ~15–18 Go |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour contexte + autres modèles | environ 100 Go |
| Tient dans 128 Go | oui, avec de la place pour d'autres modèles |
À ~15–18 Go, le modèle n'utilise qu'une fraction de 128 Go : la même machine peut le servir en plus d'un modèle d'embedding et d'un modèle de code, simultanément.
Ce qu'il sert bien
- Chat à haut débit, routage, extraction et étapes d'agent à faible coût de service.
- Machines multi-modèles où plusieurs petits/moyens modèles tournent côte à côte.
- Charges sensibles à la latence qui n'exigent pas un cerveau de classe 100 Md.
Limites honnêtes
- Arithmétique mémoire, pas un benchmark — et ici le calcul est simple et généreux.
- Un budget de ~3 Md actifs est efficace, pas maximal — pour le raisonnement le plus difficile, nous l'associerions à un modèle plus grand ou y routerions les requêtes, ce que les mêmes 128 Go peuvent aussi contenir.
Questions fréquentes
Une machine peut-elle faire tourner ce modèle plus d'autres ?
Oui — à ~15–18 Go il laisse environ 100 Go libres sur 128 Go, assez pour co-héberger des modèles d'embedding et de code sur la même machine.
Licence ?
Apache-2.0 — permissive et compatible commercial.
Est-il rapide ?
Son budget de ~3 Md paramètres actifs le rend nettement plus rapide à servir qu'un modèle dense de taille totale similaire ; nous le quantifions pour votre charge lors de l'évaluation.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.