BBrainOutput
Nomic·Embedding·Apache-2.0·Nomic·2024

Nomic Embed Text (class) : matériel et adéquation métier

  • Embedding

Un modèle d'embedding petit, rapide et sous licence ouverte : un choix par défaut raisonnable pour mettre en place une recherche documentaire à moindre coût. Il tourne en complément de votre modèle de chat, pas à sa place.

Paramètres
~0.14B
Contexte
~8K tokens
Déploiement
local

À quoi sert Nomic Embed Text (class)

  • Recherche documentaire (RAG)
  • Embeddings on-prem économiques
récupération rapidelégerRAG

Meilleurs choix de quantification

Mémoire approximative par quantification (poids + cache KV à contexte modéré). À considérer comme ±.

Quant.~MémoireQuand l’utiliser
FP16~1GBPrécision complète ; empreinte la plus grande, meilleure qualité.

Exécuter Nomic Embed Text (class) en local

Téléchargez et exécutez avec Ollama, ou récupérez les poids sur Hugging Face.

$ ollama run nomic-embed-text
Dépôt Hugging Face
nomic-ai/nomic-embed-text-v1.5

Matériel compatible

Appareils de notre catalogue évalués pour Nomic Embed Text (class), les plus adaptés d’abord.

  • Supermicro 8x H100 SuperServer
    Supermicro · AI Servers

    Tient en FP16 (~1GB) avec ~562.2GB de marge — environ 563 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • Dell PowerEdge XE9680
    Dell · AI Servers

    Tient en FP16 (~1GB) avec ~562.2GB de marge — environ 563 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • AMD Instinct MI300X
    AMD · Datacenter GPUs

    Tient en FP16 (~1GB) avec ~168GB de marge — environ 169 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • NVIDIA H200 (141GB)
    NVIDIA · Datacenter GPUs

    Tient en FP16 (~1GB) avec ~123.1GB de marge — environ 124 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • Cloud H200 141GB (profile)
    Cloud · Cloud GPU Profiles

    Tient en FP16 (~1GB) avec ~123.1GB de marge — environ 124 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • NVIDIA H100 (80GB)
    NVIDIA · Datacenter GPUs

    Tient en FP16 (~1GB) avec ~69.4GB de marge — environ 70 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • Cloud H100 80GB (profile)
    Cloud · Cloud GPU Profiles

    Tient en FP16 (~1GB) avec ~69.4GB de marge — environ 70 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • HP Z8 Fury G5 Workstation
    HP · AI Workstations

    Tient en FP16 (~1GB) avec ~83.5GB de marge — environ 84 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • Lenovo ThinkStation PX Workstation
    Lenovo · AI Workstations

    Tient en FP16 (~1GB) avec ~83.5GB de marge — environ 84 instances simultanées.

    FP16 · ~1GBFonctionne bien
  • Supermicro AI Workstation
    Supermicro · AI Workstations

    Tient en FP16 (~1GB) avec ~83.5GB de marge — environ 84 instances simultanées.

    FP16 · ~1GBFonctionne bien

Utilisez-le dans l’AI Business OS

Nomic Embed Text (class) convient à ces archétypes d’agent de l’AI Business OS :

Un modèle n’est que le moteur. Dans l’AI Business OS, il est entouré de permissions, d’outils, de connecteurs, de RAG et d’un audit pour accomplir un vrai travail métier en toute sécurité — découvrez comment fonctionne l’AI Business OS →

Questions fréquentes

De quel matériel ai-je besoin pour exécuter Nomic Embed Text (class) ?+

En 4 bits, il vous faut environ quelques Go de mémoire utilisable. L’option auto-hébergeable minimale de notre catalogue est la NVIDIA GeForce RTX 3060 12GB. Pour une exécution confortable, nous recommandons la Supermicro 8x H100 SuperServer.

Quelle quantification utiliser pour Nomic Embed Text (class) ?+

Q4_K_M est le choix par défaut habituel — le meilleur compromis taille/qualité. Passez à Q8_0 ou FP16 si vous avez de la mémoire en réserve et voulez plus de fidélité.

Faut-il exécuter Nomic Embed Text (class) en local ou dans le cloud ?+

Pour Nomic Embed Text (class), le local d’abord est recommandé. Il tient confortablement sur du matériel que vous possédez, gardant les données privées et les coûts prévisibles.

Modèles associés

Choix similaires — modèles de la même famille et de taille la plus proche du même type.

Utilisez Nomic Embed Text (class) dans votre AI Business OS

BrainOutput vous aide à exécuter Nomic Embed Text (class) comme un agent métier privé — entouré des outils, connecteurs, RAG et garde-fous dont il a besoin pour accomplir un vrai travail sur du matériel que vous contrôlez.