all-MiniLM (class): hardware e adequação ao negócio
- Embedding
Um modelo de embeddings de frases muito pequeno e rápido. A qualidade de recuperação fica abaixo de embedders maiores, mas é difícil de bater em custo e velocidade a grande volume.
- Parâmetros
- ~0.023B
- Contexto
- ~0.5K tokens
- Implantação
- local
Para que serve o all-MiniLM (class)
- ▸Embeddings on-prem económicos
- ▸Recuperação de grande volume
- ▸Pesquisa no dispositivo
Melhores opções de quantização
Memória aproximada por quantização (pesos + cache KV com contexto moderado). Trate como ±.
| Quant. | ~Memória | Quando usar |
|---|---|---|
| FP16 | ~0.2GB | Precisão completa; maior pegada, melhor qualidade. |
Executar o all-MiniLM (class) localmente
Descarregue e execute com Ollama, ou obtenha os pesos no Hugging Face.
$ ollama run all-minilmsentence-transformers/all-MiniLM-L6-v2Hardware compatível
Dispositivos do nosso catálogo avaliados para o all-MiniLM (class), primeiro os que melhor se adequam.
- Supermicro 8x H100 SuperServerSupermicro · AI Servers
Cabe em FP16 (~0.2GB) com ~563GB de margem — cerca de 2816 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - Dell PowerEdge XE9680Dell · AI Servers
Cabe em FP16 (~0.2GB) com ~563GB de margem — cerca de 2816 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - AMD Instinct MI300XAMD · Datacenter GPUs
Cabe em FP16 (~0.2GB) com ~168.8GB de margem — cerca de 845 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - NVIDIA H200 (141GB)NVIDIA · Datacenter GPUs
Cabe em FP16 (~0.2GB) com ~123.9GB de margem — cerca de 620 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - Cloud H200 141GB (profile)Cloud · Cloud GPU Profiles
Cabe em FP16 (~0.2GB) com ~123.9GB de margem — cerca de 620 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - NVIDIA H100 (80GB)NVIDIA · Datacenter GPUs
Cabe em FP16 (~0.2GB) com ~70.2GB de margem — cerca de 352 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - Cloud H100 80GB (profile)Cloud · Cloud GPU Profiles
Cabe em FP16 (~0.2GB) com ~70.2GB de margem — cerca de 352 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - HP Z8 Fury G5 WorkstationHP · AI Workstations
Cabe em FP16 (~0.2GB) com ~84.3GB de margem — cerca de 422 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - Lenovo ThinkStation PX WorkstationLenovo · AI Workstations
Cabe em FP16 (~0.2GB) com ~84.3GB de margem — cerca de 422 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem - Supermicro AI WorkstationSupermicro · AI Workstations
Cabe em FP16 (~0.2GB) com ~84.3GB de margem — cerca de 422 instâncias em simultâneo.
FP16 · ~0.2GBCorre bem
Use dentro do AI Business OS
all-MiniLM (class) adequa-se a estes arquétipos de agente do AI Business OS:
Um modelo é apenas o motor. Dentro do AI Business OS é envolvido com permissões, ferramentas, conectores, RAG e auditoria para que possa fazer trabalho de negócio em segurança — veja como funciona o AI Business OS →
Perguntas frequentes
Que hardware preciso para executar o all-MiniLM (class)?+
A 4 bits precisa de cerca de alguns GB de memória utilizável. A opção auto-alojável mínima no nosso catálogo é a NVIDIA GeForce RTX 3060 12GB. Para uma execução confortável recomendamos a Supermicro 8x H100 SuperServer.
Que quantização devo usar para o all-MiniLM (class)?+
Q4_K_M é a opção padrão habitual — o melhor equilíbrio tamanho/qualidade. Passe para Q8_0 ou FP16 se tiver memória de sobra e quiser maior fidelidade.
Devo executar o all-MiniLM (class) localmente ou na nuvem?+
Para o all-MiniLM (class) recomenda-se local primeiro. Cabe confortavelmente em hardware próprio, mantendo os dados privados e os custos previsíveis.
Modelos relacionados
Opções semelhantes — modelos da mesma família e de tamanho mais próximo do mesmo tipo.
Use o all-MiniLM (class) dentro do seu AI Business OS
A BrainOutput ajuda-o a executar o all-MiniLM (class) como um agente de negócio privado — envolvido com as ferramentas, conectores, RAG e salvaguardas de que precisa para fazer trabalho real em hardware que você controla.