Exécuter gpt-oss-120b on-premise

○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark

gpt-oss-120b est le fleuron open-weight d'OpenAI : environ 117 milliards de paramètres au total avec ~5,1 milliards actifs par token (mélange d'experts), publié sous licence permissive Apache-2.0 et livré dans un format MXFP4 4 bits natif. Il est conçu pour tourner sur un seul accélérateur à grande mémoire, ce qui en fait l'un des grands modèles les plus confortables à faire tenir dans une machine de 128 Go.

Voici le calcul pour une machine dotée de 128 Go de mémoire.

Capacité mémoire dans 128 Go

Paramètres117 Md au total, ~5,1 Md actifs par token (MoE)
Format natifMXFP4 (~4 bits) — le format de livraison
Poids en mémoire~63 Go
Mémoire de référence128 Go (une machine)
Reste pour cache de contexte + systèmeenviron 45–55 Go
Tient dans 128 Gooui

Comme gpt-oss-120b est livré en MXFP4, les ~63 Go de poids sont l'empreinte propre du format, et non une down-quantification agressive — une machine de 128 Go l'exécute avec une marge de contexte confortable.

Ce qu'il sert bien

  • Raisonnement général et workflows agentiques / à outils sur votre propre matériel.
  • Un solide « modèle maison » par défaut derrière les interfaces de chat et les agents de code sur votre machine.
  • Les charges où une licence Apache-2.0 supprime toute friction d'usage commercial.

Limites honnêtes

  • Cette page est de l'arithmétique mémoire, pas un benchmark ; nous dimensionnons la machine pour votre charge lors du diagnostic IA.
  • Les modèles MoE échangent un peu de profondeur brute contre de l'efficacité de service ; savoir si cela convient à votre tâche se teste lors de l'évaluation plutôt que de s'affirmer ici.

Questions fréquentes

gpt-oss-120b tient-il dans 128 Go de mémoire ?

Oui, confortablement : dans son format MXFP4 natif, les poids font ~63 Go pour 128 Go, laissant des dizaines de Go pour le contexte et le système.

Sous quelle licence est-il ?

Apache-2.0 — une licence permissive sans restriction d'usage commercial, ce qui contribue à en faire un bon défaut pour une machine d'entreprise.

D'où vient le chiffre de ~63 Go ?

Du format de livraison : ~117 Md de paramètres à environ un demi-octet chacun en MXFP4. L'empreinte exacte dépend du moteur de service ; nous la confirmons pour votre configuration lors du diagnostic IA.

Savoir quel modèle convient à votre travail

Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.

Réserver une démoDiagnostic IA