Dual RTX 3060 Local Server (reference profile): IA locale et adéquation métier
Une boîte économique à deux GPU : mutualiser deux RTX 3060 de 12 Go donne 24 Go au total pour de plus grands modèles ou deux assistants en parallèle avec un budget serré.
Voici ce que représente le Dual RTX 3060 Local Server (reference profile) pour une entreprise qui veut exécuter une IA privée sur du matériel qu’elle maîtrise : quels LLM ouverts conviennent, quels agents il peut alimenter, le niveau AI Business OS qui lui correspond et s’il faut l’exécuter en local, dans le cloud ou en hybride.
Recommended on-prem appliance
Run it on a GB10 box with AI Business OS pre-installed
The simplest way to put a private AI workforce on-premise: a compact GB10 Grace Blackwell appliance with ~128 GB unified memory — from ASUS, Dell or NVIDIA — shipped by BrainOutput with BrainOS pre-installed, so it runs your agents the day it arrives.
128GB unified · GB10 Grace Blackwell · on-prem
128GB unified · GB10 Grace Blackwell · on-prem
128GB unified · GB10 Grace Blackwell · on-prem
Spécifications en un coup d’œil
- Mémoire
- 24 GB
- Type de mémoire
- GDDR6 (2× 12GB)
- Bande passante
- 360 GB/s
- FP16 approx.
- 50 TFLOPS
- Architecture
- Ampere
- Gravure
- Samsung 8nm
- Consommation
- 500 W
- Année de sortie
- 2021
Les spécifications sont des chiffres approximate. Profil représentatif, pas un SKU précis. Deux cartes donnent 24 Go agrégés, mais la bande passante par carte borne encore la vitesse d'un seul modèle — le multi-GPU aide davantage la capacité et le parallélisme que la latence. Un premier serveur de bureau pragmatique.
Scores de compatibilité IA
Heuristiques transparentes de 0 à 100 combinant mémoire utilisable, bande passante et calcul : indication relative, pas des benchmarks.
LLM compatibles
Modèles de chat, de code et de raisonnement à poids ouverts de notre catalogue, notés pour le Dual RTX 3060 Local Server (reference profile), les plus adaptés en premier.
- CodeLlama 13BCodeLlama · 13B · Llama Community License
Tient en Q8_0 (~14GB) avec ~7.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~14GBFonctionne bien - Gemma 3 12BGemma 3 · 12B · Gemma Terms of Use
Tient en Q8_0 (~13GB) avec ~8.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~13GBFonctionne bien - Mistral Nemo 12BMistral · 12B · Apache-2.0
Tient en Q8_0 (~13GB) avec ~8.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~13GBFonctionne bien - Gemma 2 9BGemma · 9B · Gemma Terms of Use
Tient en FP16 (~19GB) avec ~2.1GB de marge — environ 1 instance simultanée.
FP16 · ~19GBFonctionne bien - Llama 3.1 8BLlama · 8B · Llama Community License
Tient en FP16 (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
FP16 · ~17GBFonctionne bien - Qwen3 8BQwen · 8B · Apache-2.0
Tient en FP16 (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
FP16 · ~17GBFonctionne bien - Granite 3 8BGranite · 8B · Apache-2.0
Tient en FP16 (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
FP16 · ~17GBFonctionne bien - DeepSeek-R1 Distill 8BDeepSeek · 8B · MIT
Tient en FP16 (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
FP16 · ~17GBFonctionne bien
Meilleurs modèles par charge de travail métier
Idéal pour les agents de code
Complétion, revue et refactoring de code sur du source privé.
- CodeLlama 13BFonctionne bien
- Qwen3 8BFonctionne bien
- DeepSeek-R1 Distill 8BFonctionne bien
Idéal pour le RAG / la recherche
Réponses sur vos documents avec citations.
- LLaVA 13B (vision)Fonctionne bien
- Gemma 3 12BFonctionne bien
- Mistral Nemo 12BFonctionne bien
Idéal pour l’automatisation métier
Extraction de documents et workflows administratifs.
- LLaVA 13B (vision)Fonctionne bien
- Gemma 3 12BFonctionne bien
- Llama 3.2 Vision 11BFonctionne bien
Adapté à un AI Business OS privé ?
Oui — c’est un hôte privé viable pour l’AI Business OS en déploiement à assistant unique, faisant tourner des modèles comme CodeLlama 13B sur du matériel que vous contrôlez.
Conseil de mise à niveau : Pour des modèles plus grands, un contexte plus long ou plus d’agents simultanés, passez à une carte de 24-48GB, une station multi-GPU, ou débordez vers le cloud.
Modèle phare qu’il peut héberger : CodeLlama 13B.
Là où il atteint ses limites
- ▸Une bande passante mémoire modeste plafonne le débit de génération de tokens.
- ▸Nécessite une alimentation, un refroidissement et un espace physique de classe datacenter.
Agents métier pertinents
Comment cette machine s’inscrit dans les archétypes d’agents AI Business OS :
- PerformantAgent de support client
Répond aux clients à partir de vos documents, rédige des réponses, trie les tickets.
- PerformantAgent documentaire / RAG
Lit contrats, rapports et wikis et répond avec des citations.
- Assistance cloudAgent de preuves juridiques (type DocMatch)
Parcourt dossiers et pièces pour faire ressortir et relier les preuves.
- PerformantAgent hôtellerie / accueil
Gère la messagerie clients, les réservations et l’automatisation de la réception.
- Assistance cloudAgent comptabilité / Odoo
Extrait les factures, rapproche les données et pilote les workflows ERP.
- Assistance cloudAgent de code / ingénierie produit
Complétion, revue et refactoring de code en local sur du source privé.
- Assistance cloudFounder Ops / centre de commande de l’entreprise
Une flotte d’agents coopérants qui pilotent toute l’entreprise en privé.
« Assistance cloud » signifie l’exécuter en local pour les charges légères et déborder vers le cloud pour les travaux plus lourds. Voir cas d’usage métier pour savoir comment chaque agent se rattache au matériel.
Questions fréquentes
Le Dual RTX 3060 Local Server (reference profile) est-il adapté à l’IA locale ?+
Il obtient 41/100 sur notre Local AI Score (niveau Correct), d’après ses 24GB de mémoire et sa bande passante/puissance de calcul disponibles. Cela le rend adapté au niveau Starter de l’AI Business OS.
Quels LLM le Dual RTX 3060 Local Server (reference profile) peut-il faire tourner ?+
Confortablement : CodeLlama 34B (Q4_K_M), Qwen2.5 32B (Q4_K_M), Qwen3 32B (Q4_K_M). Des modèles plus grands peuvent tourner avec une quantification plus poussée ou en répartissant la charge sur plusieurs appareils.
Faut-il exécuter l’IA en local ou dans le cloud sur le Dual RTX 3060 Local Server (reference profile) ?+
Le local d’abord est recommandé. Une capacité de classe datacenter s’exploite au mieux sur site (ou en colocation) pour des charges privées soutenues et à fort volume, le cloud servant de débordement.
Puis-je transformer le Dual RTX 3060 Local Server (reference profile) en AI Business OS privé ?+
Oui. AI Business OS peut tourner sur cette machine au niveau Starter, vous offrant des agents privés sur votre propre matériel. Voyez l’appel à l’action ci-dessus pour commencer.
Transformez le Dual RTX 3060 Local Server (reference profile) en AI Business OS privé
Exécutez vos propres agents IA sur du matériel que vous maîtrisez : privé par conception, aucune donnée par utilisateur ne quitte vos locaux. BrainOutput vous aide à choisir la bonne machine et à en faire un AI Business OS opérationnel.
Matériel similaire
Supermicro 8x H100 SuperServer
Un serveur HGX H100 à 8 GPU avec ~640 Go de HBM3 agrégée — entraînement à l'échelle d'un centre de données et service à haut débit dans un seul nœud.
- Mémoire
- 640 GB
- Architecture
- NVIDIA HGX H100 (8-GPU)
Dell PowerEdge XE9680
Le serveur d'IA phare à 8 GPU de Dell, configurable avec H100 ou H200 — une brique à l'échelle du rack pour des clusters d'IA.
- Mémoire
- 640 GB
- Architecture
- NVIDIA HGX (8-GPU), H100/H200 options
Quad RTX 4090 AI Workstation (reference profile)
Une station de travail d'IA locale sérieuse : quatre RTX 4090 mutualisent 96 Go, assez pour servir des modèles phares de 70B et exécuter de nombreux agents simultanés en privé.
- Mémoire
- 96 GB
- Architecture
- Ada Lovelace
Coding Agent Workstation (reference profile)
Une station de travail optimisée pour les agents de codage locaux : ~48 Go répartis sur deux cartes de 24 Go exécutent de puissants modèles coder 32B et servent en privé une petite équipe d'ingénierie.
- Mémoire
- 48 GB
- Architecture
- Ada Lovelace