Exécuter Llama-Nemotron Super 49B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Llama-Nemotron Super 49B est le modèle de NVIDIA réglé pour le raisonnement et les appels d'outils, compressé par NAS spécifiquement pour bien tourner sur un seul accélérateur. Sur une machine dotée de 128 Go de mémoire, il tient avec une large marge.
Voici le calcul pour une machine dotée de 128 Go de mémoire.
Capacité mémoire dans 128 Go
| Paramètres | 49 Md (dense, compressé par NAS) |
|---|---|
| Poids en 4 bits | ~28 Go |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour contexte + autres modèles | environ 90 Go |
| Tient dans 128 Go | oui |
Le modèle a été compressé pour tenir sur un seul accélérateur, donc une machine de 128 Go l'exécute avec une grande marge de contexte.
Ce qu'il sert bien
- Charges de raisonnement, RAG et appels d'outils sur matériel NVIDIA.
- Configurations qui veulent un réglage natif NVIDIA et un alignement d'écosystème.
- Laisser de la mémoire libre pour co-héberger des modèles d'embedding et de code.
Limites honnêtes
- Arithmétique mémoire, pas un benchmark.
- Il est livré sous la licence NVIDIA Open Model (avec les conditions communautaires Llama 3.3) ; nous examinons l'adéquation de licence lors de l'évaluation.
- Le plus grand Nemotron Ultra (~253 Md) ne tient pas confortablement dans 128 Go de mémoire.
Questions fréquentes
Super 49B tient-il dans 128 Go de mémoire ?
Oui, confortablement — ~28 Go en 4 bits pour 128 Go laisse environ 90 Go pour le contexte et d'autres modèles.
Pourquoi tient-il si facilement ?
Il a été compressé par NAS par NVIDIA pour tourner sur un seul accélérateur ; son empreinte est donc faible au regard de ses capacités.
Licence ?
Licence NVIDIA Open Model avec conditions communautaires Llama 3.3 ; nous confirmons l'adéquation à votre usage lors de l'évaluation.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.