all-MiniLM (class) : matériel et adéquation métier
- Embedding
Un modèle d'embedding de phrases très petit et rapide. La qualité de récupération est inférieure à celle des embedders plus grands, mais il est difficile à battre en coût et en vitesse à fort volume.
- Paramètres
- ~0.023B
- Contexte
- ~0.5K tokens
- Déploiement
- local
À quoi sert all-MiniLM (class)
- ▸Embeddings on-prem économiques
- ▸Récupération à fort volume
- ▸Recherche embarquée
Meilleurs choix de quantification
Mémoire approximative par quantification (poids + cache KV à contexte modéré). À considérer comme ±.
| Quant. | ~Mémoire | Quand l’utiliser |
|---|---|---|
| FP16 | ~0.2GB | Précision complète ; empreinte la plus grande, meilleure qualité. |
Exécuter all-MiniLM (class) en local
Téléchargez et exécutez avec Ollama, ou récupérez les poids sur Hugging Face.
$ ollama run all-minilmsentence-transformers/all-MiniLM-L6-v2Matériel compatible
Appareils de notre catalogue évalués pour all-MiniLM (class), les plus adaptés d’abord.
- Supermicro 8x H100 SuperServerSupermicro · AI Servers
Tient en FP16 (~0.2GB) avec ~563GB de marge — environ 2816 instances simultanées.
FP16 · ~0.2GBFonctionne bien - Dell PowerEdge XE9680Dell · AI Servers
Tient en FP16 (~0.2GB) avec ~563GB de marge — environ 2816 instances simultanées.
FP16 · ~0.2GBFonctionne bien - AMD Instinct MI300XAMD · Datacenter GPUs
Tient en FP16 (~0.2GB) avec ~168.8GB de marge — environ 845 instances simultanées.
FP16 · ~0.2GBFonctionne bien - NVIDIA H200 (141GB)NVIDIA · Datacenter GPUs
Tient en FP16 (~0.2GB) avec ~123.9GB de marge — environ 620 instances simultanées.
FP16 · ~0.2GBFonctionne bien - Cloud H200 141GB (profile)Cloud · Cloud GPU Profiles
Tient en FP16 (~0.2GB) avec ~123.9GB de marge — environ 620 instances simultanées.
FP16 · ~0.2GBFonctionne bien - NVIDIA H100 (80GB)NVIDIA · Datacenter GPUs
Tient en FP16 (~0.2GB) avec ~70.2GB de marge — environ 352 instances simultanées.
FP16 · ~0.2GBFonctionne bien - Cloud H100 80GB (profile)Cloud · Cloud GPU Profiles
Tient en FP16 (~0.2GB) avec ~70.2GB de marge — environ 352 instances simultanées.
FP16 · ~0.2GBFonctionne bien - HP Z8 Fury G5 WorkstationHP · AI Workstations
Tient en FP16 (~0.2GB) avec ~84.3GB de marge — environ 422 instances simultanées.
FP16 · ~0.2GBFonctionne bien - Lenovo ThinkStation PX WorkstationLenovo · AI Workstations
Tient en FP16 (~0.2GB) avec ~84.3GB de marge — environ 422 instances simultanées.
FP16 · ~0.2GBFonctionne bien - Supermicro AI WorkstationSupermicro · AI Workstations
Tient en FP16 (~0.2GB) avec ~84.3GB de marge — environ 422 instances simultanées.
FP16 · ~0.2GBFonctionne bien
Utilisez-le dans l’AI Business OS
all-MiniLM (class) convient à ces archétypes d’agent de l’AI Business OS :
Un modèle n’est que le moteur. Dans l’AI Business OS, il est entouré de permissions, d’outils, de connecteurs, de RAG et d’un audit pour accomplir un vrai travail métier en toute sécurité — découvrez comment fonctionne l’AI Business OS →
Questions fréquentes
De quel matériel ai-je besoin pour exécuter all-MiniLM (class) ?+
En 4 bits, il vous faut environ quelques Go de mémoire utilisable. L’option auto-hébergeable minimale de notre catalogue est la NVIDIA GeForce RTX 3060 12GB. Pour une exécution confortable, nous recommandons la Supermicro 8x H100 SuperServer.
Quelle quantification utiliser pour all-MiniLM (class) ?+
Q4_K_M est le choix par défaut habituel — le meilleur compromis taille/qualité. Passez à Q8_0 ou FP16 si vous avez de la mémoire en réserve et voulez plus de fidélité.
Faut-il exécuter all-MiniLM (class) en local ou dans le cloud ?+
Pour all-MiniLM (class), le local d’abord est recommandé. Il tient confortablement sur du matériel que vous possédez, gardant les données privées et les coûts prévisibles.
Modèles associés
Choix similaires — modèles de la même famille et de taille la plus proche du même type.
Utilisez all-MiniLM (class) dans votre AI Business OS
BrainOutput vous aide à exécuter all-MiniLM (class) comme un agent métier privé — entouré des outils, connecteurs, RAG et garde-fous dont il a besoin pour accomplir un vrai travail sur du matériel que vous contrôlez.