Exécuter Llama 3.3 70B on-premise
○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark
Llama 3.3 70B est le modèle dense de 70 milliards de paramètres de Meta — la mise à jour de décembre de Llama 3.1 70B, avec un meilleur appel d'outils, du multilingue, des maths et du code renforcés, et une fenêtre de contexte de 128K tokens. C'est l'un des modèles open-weight les plus déployés au monde : l'outillage et les quantifications abondent.
Comme il est dense, chaque paramètre est actif à chaque token : mémoire prévisible, comportement prévisible. Voici le calcul pour une machine dotée de 128 Go de mémoire.
Capacité mémoire dans 128 Go
| Paramètres | ~70,6 Md (dense — tous actifs par token) |
|---|---|
| Pleine précision (FP16) | ~141 Go — plus que 128 Go : une station de travail plus grande, un serveur GPU ou un cloud privé |
| Poids en 8 bits | ~71 Go — tient dans 128 Go, marge de contexte modérée |
| Poids en 4 bits (le choix pratique) | ~38–43 Go |
| Mémoire de référence | 128 Go (une machine) |
| Reste pour cache de contexte + système en 4 bits | environ 80–90 Go |
| Tient dans 128 Go | oui en 4 bits ou 8 bits ; la FP16 exige davantage de mémoire |
La même règle partout : paramètres × octets par paramètre (FP16 ≈ 2, 8 bits ≈ 1, 4 bits ≈ 0,5), plus le cache KV de votre fenêtre de contexte. En 4 bits, Llama 3.3 70B tient dans une machine de 128 Go avec une marge généreuse pour un long contexte ; même en 8 bits il tient si le contexte reste modéré.
Ce qu'il sert bien
- Un assistant général fiable, avec un outillage et des quantifications matures — le choix par défaut quand on veut une valeur sûre.
- Rédaction, analyse et synthèse multilingues (anglais, français, allemand, italien, espagnol, portugais, hindi, thaï).
- Analyse documentaire privée et recherche (RAG) sur des contenus qui doivent rester dans vos murs.
- Appel d'outils et parcours agentiques servis depuis votre propre machine.
Limites honnêtes
- Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
- C'est un modèle dense de 70 Md : il produit des tokens plus lentement qu'un modèle à mélange d'experts creux de même empreinte ; si le débit est votre priorité, nous vous le dirons lors de l'évaluation.
- Meta publie les poids sous la Llama 3.3 Community License — l'usage commercial est autorisé sous réserve de la politique d'usage acceptable de Meta. Nous traitons la licence dans le cadre de l'évaluation.
Questions fréquentes
Llama 3.3 70B tient-il dans 128 Go de mémoire ?
Confortablement en 4 bits : ~38–43 Go de poids pour 128 Go, laissant environ 80–90 Go pour le cache de contexte et le système. Le 8 bits (~71 Go) tient aussi avec un budget de contexte plus réduit ; seule la FP16 exige davantage de mémoire.
Cette page est-elle un benchmark ?
Non. Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
Dense ou mélange d'experts ?
Dense — les ~70,6 Md de paramètres sont tous actifs à chaque token. Sa mémoire et son comportement sont donc prévisibles, au prix d'un débit inférieur à un MoE creux de même empreinte.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.