Exécuter des LLM open-weight on-premise — ce qui tient vraiment

L'IA privée commence par une question concrète : quels modèles tiennent sur du matériel que vous maîtrisez ? Un modèle peut être installé sur une unité IA de bureau, une station de travail, un serveur GPU ou un cloud privé — la bonne machine dépend du modèle et de votre charge, et nous la dimensionnons lors du diagnostic IA.

Ces pages utilisent un seul point de référence : une machine dotée de 128 Go de mémoire (par exemple une unité IA de bureau à mémoire unifiée). Chaque chiffre est paramètres × octets par paramètre, plus une marge de travail — une arithmétique transparente, vérifiable par vous-même, pas un benchmark.

Nous sommes tout aussi clairs sur ce qui ne tient PAS dans 128 Go : des modèles de frontière comme le 671 Md de DeepSeek, Llama 4 Maverick (~400 Md) ou le GLM-4.5 complet (~355 Md) exigent une station de travail plus grande, un serveur GPU ou un cloud privé, et Qwen3-235B est à la limite. Certains modèles capables (par ex. la famille Command de Cohere) sont livrés sous licence non commerciale et ne sont donc pas proposés ici.

Demander un diagnostic IA Réserver une démo

Comment lire le calcul de capacité

Poids : paramètres × octets par paramètre — FP16 ≈ 2 octets, 8 bits ≈ 1 octet, 4 bits ≈ 0,5 octet par paramètre.
Cache de contexte : le service exige de la mémoire de travail pour votre fenêtre de contexte (le cache KV), en plus des poids.
Marge : le système et le moteur de service en gardent une part ; comptez environ 120 Go utilisables sur 128 Go.

○ Arithmétique mémoire — un calcul vérifiable, pas un benchmark

Les modèles

Mistral Large

Le fleuron européen (~123 Md) — tient dans une machine de 128 Go en 4 bits, par une arithmétique vérifiable.

Qwen3.5-122B

122 Md à mélange d'experts, ~10 Md actifs — ~61–73 Go en 4 bits, tient dans une machine de 128 Go.

DeepSeek-V4-Flash

284 Md à mélange d'experts, ~13 Md actifs — ~142 Go en 4 bits, exige plus de 128 Go de mémoire.

Small & mid-size models

Le segment 4–80 Md — plusieurs modèles côte à côte dans 128 Go de mémoire.

gpt-oss-120b

Le fleuron open-weight Apache-2.0 d'OpenAI — ~63 Go en MXFP4 natif, le plus simple des grands modèles à faire tenir dans 128 Go.

Qwen3-30B-A3B

MoE 30 Md, ~3 Md actifs — rapide, Apache-2.0, ~15–18 Go en 4 bits. Plusieurs à la fois.

Llama 4 Scout

MoE 109 Md, 17 Md actifs, nativement multimodal — ~55–60 Go en 4 bits dans 128 Go. Licence Meta.

GLM-4.5-Air

MoE 106 Md, ~12 Md actifs — licence MIT, agentique/code — ~55 Go en 4 bits dans 128 Go.

Gemma 3 27B

27 Md dense, multimodal — ~15 Go en 4 bits, énorme marge. Licence Gemma.

Phi-4

14 Md dense, MIT — ~8 Go en 4 bits. Bon raisonnement, empreinte minime.

Llama-Nemotron Super 49B

49 Md, réglé NVIDIA pour raisonnement/outils — ~28 Go en 4 bits, fait pour les machines à un accélérateur.

Mixtral 8x22B

MoE creux 141 Md, ~39 Md actifs — Apache-2.0 — ~70–85 Go en 4 bits dans 128 Go.

Llama 3.3 70B

Le 70 Md dense de Meta, contexte 128K — ~38–43 Go en 4 bits dans 128 Go.

Qwen3-Coder-30B

MoE de code 30 Md, ~3 Md actifs, Apache-2.0, contexte 256K — ~15–18 Go en 4 bits.

Qwen3-235B-A22B

MoE phare 235 Md, ~22 Md actifs, Apache-2.0 — exige plus de 128 Go de mémoire, par arithmétique.

Les 66 modèles du classement LiveBench

Une page par modèle, générée à partir du relevé LiveBench daté : scores par catégorie, poids ouverts ou non, et comment l'utiliser avec BrainOutput (local, cloud privé ou BYOK).

LiveBench, version 2026-06-25 · livebench.ai · 66 modèles · relevé le 2026-10-03

LiveBench, version 2026-06-25 · livebench.ai · 66 modèles · relevé le 2026-10-03 · — : non indiqué publiquement (voir la page du modèle).
Rang	Modèle	Éditeur	Poids	Global
1	Claude Fable 5.1 Max Effort	Anthropic	Propriétaire	83,41
2	claude-opus-5-5-max-effort	Anthropic	Propriétaire	83,22
3	claude-fable-5-max-effort	Anthropic	Propriétaire	82,97
4	GPT-6 Astra Max Effort	OpenAI	Propriétaire	82,16
5	claude-opus-5-5-xhigh-effort	Anthropic	Propriétaire	82,06
6	gpt-6.1-sol-max	OpenAI	Propriétaire	81,62
7	Muse Spark 1.3 xHigh Effort	Meta	Propriétaire	81,59
8	gpt-6.1-sol-xhigh	OpenAI	Propriétaire	81,11
9	DeepSeek V4.1 Flash Max Effort	DeepSeek	Open-weight	81,11
10	gpt-5.6-sol-max	OpenAI	Propriétaire	81,05
11	GPT-5.5 Thinking xHigh Effort	OpenAI	Propriétaire	80,19
12	claude-opus-5-max-effort	Anthropic	Propriétaire	80,08
13	smaug-agentic	Abacus.AI	Open-weight	79,51
14	GPT-6 Sol Max Effort	OpenAI	Propriétaire	79,25
15	Kimi K3	Moonshot AI	Open-weight	79,19
16	Gemini 3.7 Flash High	Google	Propriétaire	78,83
17	Qwen 3.8 Max	Alibaba	Open-weight	78,46
18	Grok 4.6 xHigh	xAI	Propriétaire	78,04
19	GPT-5.4 Thinking xHigh Effort	OpenAI	Propriétaire	77,97
20	Muse Spark 1.2 xHigh Effort	Meta	Propriétaire	77,95
21	gpt-5.6-terra-max	OpenAI	Propriétaire	77,94
22	claude-sonnet-5-5-xhigh-effort	Anthropic	Propriétaire	77,75
23	DeepSeek V4 Pro 0813	DeepSeek	Open-weight	77,44
24	smaug-flash	Abacus.AI	Open-weight	77,44
25	Grok 4.7 xHigh	xAI	Propriétaire	77,40
26	Gemini 3.1 Pro Preview High	Google	Propriétaire	76,95
27	smaug-mini	Abacus.AI	Open-weight	76,93
28	DeepSeek V4 Flash Vision Exp	DeepSeek	Open-weight	76,76
29	Claude 4.7 Opus Thinking xHigh Effort	Anthropic	Propriétaire	76,53
30	Claude 4.8 Opus Thinking Max Effort	Anthropic	Propriétaire	76,22
31	Qwen 3.8 Flash Next	Alibaba	Open-weight	76,19
32	GLM-5.3	Z.AI	Open-weight	76,14
33	Claude Sonnet 5 xHigh Effort	Anthropic	Propriétaire	76,04
34	Gemini 3.8 Flash High	Google	Propriétaire	75,83
35	Grok 4.5	xAI	Propriétaire	75,77
36	claude-sonnet-5-5-max-effort	Anthropic	Propriétaire	75,67
37	muse-spark-1.1-xhigh	Meta	Propriétaire	75,30
38	Qwen3.8 27B	Alibaba	Open-weight	75,27
39	Gemini 3.5 Flash High	Google	Propriétaire	74,64
40	GPT-5.2 High	OpenAI	Propriétaire	74,63
41	Claude 4.6 Opus Thinking High Effort	Anthropic	Propriétaire	74,52
42	DeepSeek V4 Flash 0731	DeepSeek	Open-weight	74,17
43	GPT-5.2 Codex	OpenAI	Propriétaire	73,98
44	Gemini 3.6 Flash High	Google	Propriétaire	73,59
45	gpt-5.6-luna-max	OpenAI	Propriétaire	73,56
46	GLM-5.2	Z.AI	Open-weight	73,16
47	Qwen 3.7 Max	Alibaba	Propriétaire	73,14
48	Claude 4.6 Sonnet Thinking Medium Effort	Anthropic	Propriétaire	72,99
49	Claude 4.5 Opus Thinking High Effort	Anthropic	Propriétaire	72,58
50	GPT-6 Luna Max Effort	OpenAI	Propriétaire	72,03
51	Inkling xHigh Effort	Thinking Machines	Open-weight	71,92
52	GLM-5.3 Flash	Z.AI	Open-weight	71,59
53	DeepSeek V4 Pro	DeepSeek	Open-weight	71,57
54	Kimi K2.6 Thinking	Moonshot AI	Open-weight	70,54
55	GPT-5.4 Nano xHigh	OpenAI	Propriétaire	69,58
56	ox-alpha-max	—	Propriétaire	69,24
57	Qwen 3.6 Plus	Alibaba	Propriétaire	68,91
58	Kimi K2.7 Code	Moonshot AI	Open-weight	68,41
59	Grok Build 0.1	xAI	Propriétaire	67,78
60	Nemotron 3 Ultra 550B A55B	NVIDIA	Open-weight	67,36
61	Minimax M3	Minimax	Propriétaire	67,26
62	GPT-5.4 Mini xHigh	OpenAI	Propriétaire	66,37
63	DeepSeek V4 Flash	DeepSeek	Open-weight	65,48
64	Qwen 3.6 27B	Alibaba	Open-weight	64,03
65	Gemini 3.5 Flash-Lite High	Google	Propriétaire	63,94
66	Grok 4.3	xAI	Propriétaire	62,25

Savoir quel modèle convient à votre travail

Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.

Demander un diagnostic IA Réserver une démo