all-MiniLM (class): hardware y encaje de negocio
- Embedding
Un modelo de embeddings de frases muy pequeño y rápido. La calidad de recuperación es inferior a la de embedders mayores, pero es difícil de superar en coste y velocidad a gran volumen.
- Parámetros
- ~0.023B
- Contexto
- ~0.5K tokens
- Despliegue
- local
Para qué sirve all-MiniLM (class)
- ▸Embeddings on-prem económicos
- ▸Recuperación de alto volumen
- ▸Búsqueda en el dispositivo
Mejores opciones de cuantización
Memoria aproximada por cuantización (pesos + caché KV con contexto moderado). Trátala como ±.
| Cuant. | ~Memoria | Cuándo usarla |
|---|---|---|
| FP16 | ~0.2GB | Precisión completa; mayor huella, mejor calidad. |
Ejecuta all-MiniLM (class) en local
Descárgalo y ejecútalo con Ollama, o consigue los pesos en Hugging Face.
$ ollama run all-minilmsentence-transformers/all-MiniLM-L6-v2Hardware compatible
Dispositivos de nuestro catálogo valorados para all-MiniLM (class), primero los que mejor encajan.
- Supermicro 8x H100 SuperServerSupermicro · AI Servers
Cabe en FP16 (~0.2GB) con ~563GB de margen — alrededor de 2816 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - Dell PowerEdge XE9680Dell · AI Servers
Cabe en FP16 (~0.2GB) con ~563GB de margen — alrededor de 2816 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - AMD Instinct MI300XAMD · Datacenter GPUs
Cabe en FP16 (~0.2GB) con ~168.8GB de margen — alrededor de 845 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - NVIDIA H200 (141GB)NVIDIA · Datacenter GPUs
Cabe en FP16 (~0.2GB) con ~123.9GB de margen — alrededor de 620 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - Cloud H200 141GB (profile)Cloud · Cloud GPU Profiles
Cabe en FP16 (~0.2GB) con ~123.9GB de margen — alrededor de 620 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - NVIDIA H100 (80GB)NVIDIA · Datacenter GPUs
Cabe en FP16 (~0.2GB) con ~70.2GB de margen — alrededor de 352 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - Cloud H100 80GB (profile)Cloud · Cloud GPU Profiles
Cabe en FP16 (~0.2GB) con ~70.2GB de margen — alrededor de 352 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - HP Z8 Fury G5 WorkstationHP · AI Workstations
Cabe en FP16 (~0.2GB) con ~84.3GB de margen — alrededor de 422 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - Lenovo ThinkStation PX WorkstationLenovo · AI Workstations
Cabe en FP16 (~0.2GB) con ~84.3GB de margen — alrededor de 422 instancias simultáneas.
FP16 · ~0.2GBFunciona bien - Supermicro AI WorkstationSupermicro · AI Workstations
Cabe en FP16 (~0.2GB) con ~84.3GB de margen — alrededor de 422 instancias simultáneas.
FP16 · ~0.2GBFunciona bien
Úsalo dentro del AI Business OS
all-MiniLM (class) encaja con estos arquetipos de agente del AI Business OS:
Un modelo es solo el motor. Dentro del AI Business OS se envuelve con permisos, herramientas, conectores, RAG y auditoría para que pueda hacer trabajo de negocio de forma segura: descubre cómo funciona el AI Business OS →
Preguntas frecuentes
¿Qué hardware necesito para ejecutar all-MiniLM (class)?+
A 4 bits necesitas aproximadamente unos pocos GB de memoria utilizable. La opción autoalojable mínima de nuestro catálogo es la NVIDIA GeForce RTX 3060 12GB. Para una ejecución cómoda recomendamos la Supermicro 8x H100 SuperServer.
¿Qué cuantización debería usar para all-MiniLM (class)?+
Q4_K_M es la opción por defecto habitual: el mejor equilibrio tamaño/calidad. Sube a Q8_0 o FP16 si tienes memoria de sobra y quieres mayor fidelidad.
¿Debería ejecutar all-MiniLM (class) en local o en la nube?+
Para all-MiniLM (class) se recomienda local primero. Cabe con holgura en hardware propio, manteniendo los datos privados y los costes predecibles.
Modelos relacionados
Opciones similares: hermanos de familia y modelos del mismo tipo con tamaño más próximo.
Usa all-MiniLM (class) dentro de tu AI Business OS
BrainOutput te ayuda a ejecutar all-MiniLM (class) como un agente de negocio privado, envuelto con las herramientas, los conectores, el RAG y las salvaguardas que necesita para hacer trabajo real en hardware que tú controlas.