Exécuter des petits et moyens LLM on-premise (4–80 Md)
○ Arithmétique mémoire — le segment où tout tient
Tous les usages n'exigent pas un cerveau de classe 200 Md. Assistants de code, tri, extraction, embeddings, chat client — le segment des modèles de trait va de 4 à 80 milliards de paramètres, et dans 128 Go de mémoire, il tient avec la place d'en exécuter plusieurs côte à côte.
Les chiffres ci-dessous relèvent de la même arithmétique que sur chaque page : paramètres × octets par paramètre, plus la place du contexte. Ces modèles tournent sur une unité IA de bureau comme sur un serveur GPU ; nous dimensionnons la machine lors du diagnostic IA.
Capacité par classe de taille (128 Go)
| Classe 7–9 Md (4 bits) | ~4–6 Go — des dizaines de gigaoctets de marge |
|---|---|
| Classe 24–35 Md (4 bits) | ~14–20 Go |
| Classe 70–80 Md (4 bits) | ~35–45 Go |
| Mémoire de référence | 128 Go (une machine) |
| Cohabitation typique | un modèle de code + un modèle de tri + des embeddings, ensemble dans 128 Go |
En 4 bits, les poids occupent environ un demi-gigaoctet par milliard de paramètres, plus le cache de contexte. Conséquence pratique : une seule machine de 128 Go est un serveur de bureau multi-modèles, pas un appareil mono-modèle.
Ce que ce segment sert bien
- Un assistant de code privé pour votre équipe d'ingénierie — votre code source ne quitte jamais vos murs.
- Des chaînes d'extraction, de classification et de synthèse documentaires.
- Le service d'embeddings et de recherche (RAG) à côté du modèle de génération.
- Chat interne et automatisation du service client, dans votre langue.
- Des modèles de tri et de routage toujours actifs, qui ne coûtent presque rien à garder résidents.
Limites honnêtes
- Le meilleur modèle exact par classe de taille change vite ; les classes de taille et leurs enveloppes mémoire, non. Nous arrêtons les modèles exacts pour votre cas dans l'évaluation, pas dans un texte marketing.
- Un petit modèle affiné bat souvent un grand modèle générique sur une tâche étroite — c'est précisément la raison d'être de notre LLM Factory, et nous vous dirons quand c'est votre cas.
Questions fréquentes
Plusieurs modèles peuvent-ils partager une machine ?
Oui — selon le calcul ci-dessus, un modèle de code d'~40 Go peut cohabiter avec un planificateur d'~20 Go et des modèles utilitaires plus petits dans 128 Go de mémoire, chacun avec sa réservation mémoire.
Un petit modèle suffit-il à notre cas d'usage ?
Souvent, oui — l'extraction, la classification, le routage et le chat ciblé exigent rarement un fleuron. Et quand votre charge a besoin d'un cerveau plus grand, les mêmes 128 Go accueillent à la place un modèle de classe 122 Md en 4 bits. L'évaluation répond avec vos documents et vos volumes, pas avec un slogan.
Ces modèles peuvent-ils être affinés sur nos données ?
Oui — ce segment est le point idéal de l'affinage : l'entraînement reste abordable, et notre LLM Factory compare le modèle affiné aux meilleurs modèles du marché sur vos tâches avant tout engagement, puis le livre sur votre machine.
Savoir quel modèle convient à votre travail
Un diagnostic IA cartographie vos processus, classe ce qui est sensible et dimensionne le modèle et le matériel sur vos vraies tâches.