Tourne sur une box IA privée qui vous appartient
Un appareil compact classe GB10 — 128 Go de mémoire unifiée — l'exécute dans vos locaux, vendu et provisionné par nos soins. Sans clés d'API cloud, sans données qui sortent de vos murs.
← Toutes les pages modèles on-premise
Exécuter Qwen3-30B-A3B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas une affirmation de déploiement
Qwen3-30B-A3B est un modèle à mélange d'experts de 30 milliards de paramètres au total et environ 3 milliards actifs par token, sous licence permissive Apache-2.0. Sa faible empreinte active le rend rapide et économique à servir, et il laisse tant de mémoire libre qu'une seule box peut l'héberger aux côtés d'autres modèles.
Voici le calcul sur une unité classe GB10 de 128 Go.
Capacité mémoire sur une unité de 128 Go
| Paramètres | 30 Md au total, ~3 Md actifs par token (MoE) |
|---|---|
| Poids en 4 bits | ~15–18 Go |
| Mémoire de l'appareil | 128 Go unifiés (une unité) |
| Reste pour contexte + autres modèles | environ 100 Go |
| Unités nécessaires | 1 (avec de la place pour d'autres modèles) |
À ~15–18 Go, le modèle n'utilise qu'une fraction de la box : la même unité peut le servir en plus d'un modèle d'embedding et d'un modèle de code, simultanément.
Ce qu'il sert bien
- Chat à haut débit, routage, extraction et étapes d'agent à faible coût de service.
- Boxes multi-modèles où plusieurs petits/moyens modèles tournent côte à côte.
- Charges sensibles à la latence qui n'exigent pas un cerveau de classe 100 Md.
Limites honnêtes
- Arithmétique, pas notre déploiement mesuré : nous exploitons de plus grands modèles en production, mais le calcul mémoire ici est simple et généreux.
- Un budget de ~3 Md actifs est efficace, pas maximal — pour le raisonnement le plus difficile, nous coupleons ou routerions vers un modèle plus grand, que la même box peut aussi contenir.
Questions fréquentes
- Une box peut-elle faire tourner ce modèle plus d'autres ?
- Oui — à ~15–18 Go il laisse environ 100 Go libres, assez pour co-héberger des modèles d'embedding et de code sur la même unité.
- Licence ?
- Apache-2.0 — permissive et compatible commercial.
- Est-il rapide ?
- Son budget de ~3 Md paramètres actifs le rend nettement plus rapide à servir qu'un modèle dense de taille totale similaire ; nous le quantifions pour votre charge lors de l'évaluation.