Tourne sur une box IA privée qui vous appartient
Un appareil compact classe GB10 — 128 Go de mémoire unifiée — l'exécute dans vos locaux, vendu et provisionné par nos soins. Sans clés d'API cloud, sans données qui sortent de vos murs.
← Toutes les pages modèles on-premise
Exécuter Llama-Nemotron Super 49B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas une affirmation de déploiement
Llama-Nemotron Super 49B est le modèle de NVIDIA réglé pour le raisonnement et les appels d'outils, compressé par NAS spécifiquement pour bien tourner sur un seul accélérateur. Sur une box NVIDIA classe GB10 — exactement la famille de matériel qu'il vise — il tient avec une large marge.
Voici le calcul sur une unité de 128 Go.
Capacité mémoire sur une unité de 128 Go
| Paramètres | 49 Md (dense, compressé par NAS) |
|---|---|
| Poids en 4 bits | ~28 Go |
| Mémoire de l'appareil | 128 Go unifiés (une unité NVIDIA classe GB10) |
| Reste pour contexte + autres modèles | environ 90 Go |
| Unités nécessaires | 1 |
Le modèle a été compressé pour tenir sur un seul accélérateur, donc une unité de 128 Go l'exécute avec une grande marge de contexte.
Ce qu'il sert bien
- Charges de raisonnement, RAG et appels d'outils sur matériel NVIDIA.
- Boxes qui veulent un réglage natif NVIDIA et un alignement d'écosystème.
- Laisser de la mémoire libre pour co-héberger des modèles d'embedding et de code.
Limites honnêtes
- Arithmétique, pas notre déploiement mesuré.
- Il est livré sous la licence NVIDIA Open Model (avec les conditions communautaires Llama 3.3) ; nous examinons l'adéquation de licence lors de l'évaluation.
- Le plus grand Nemotron Ultra (~253 Md) ne tient pas confortablement sur une unité de 128 Go.
Questions fréquentes
- Super 49B tient-il sur une unité ?
- Oui, confortablement — ~28 Go en 4 bits pour 128 Go laisse environ 90 Go pour le contexte et d'autres modèles.
- Pourquoi convient-il bien à une box NVIDIA ?
- Il a été compressé par NAS par NVIDIA pour tourner sur un seul accélérateur, et nos appareils sont des systèmes NVIDIA classe GB10 — la famille pour laquelle il est réglé.
- Licence ?
- Licence NVIDIA Open Model avec conditions communautaires Llama 3.3 ; nous confirmons l'adéquation à votre usage lors de l'évaluation.