corehu
GPU mieten

OFFENE MODELLE / Sprachmodelle (LLM)

xLAM-8x7b-r-IMat-GGUF auf einer Cloud-GPU ausführen

xLAM-8x7b-r-IMat-GGUF ist ein Sprachmodelle (LLM)-Modell von legraphista. Sehen Sie, wie viel GPU-Speicher es braucht, auf welche GPUs es heute passt und was der eigene Betrieb kostet, sekundengenau abgerechnet.

Parameter
47B
Benötigter GPU-Speicher
≈ 35 GB
Lizenz
cc-by-nc-4.0
Downloads
5.215
Aktualisiert 31.08.2024

GPUs, auf die es heute passt

Unsere Schätzung: etwa 35 GB für Inferenz mit GGUF-Gewichten, inklusive Arbeitsspeicher. Der echte Bedarf hängt von Auflösung, Batchgröße und Kontextlänge ab.

GPUSpeicherPro Stunde10 Stunden
Q RTX 800045 GB$0.54$5.40Mieten
CMP 170HX64 GB$0.70$7.00Mieten
RTX A600048 GB$0.81$8.10Mieten
A100 PCIE40 GB$0.83$8.30Mieten
A4045 GB$0.87$8.70Mieten

Live-Startpreise aus unserem Katalog. Sie zahlen sekundengenau, solange die Maschine läuft.

So führen Sie xLAM-8x7b-r-IMat-GGUF aus

  1. 01

    GPU mieten

    Wählen Sie eine der GPUs oben. Abrechnung pro Sekunde; stoppen Sie die Maschine, endet die Abrechnung.

  2. 02

    Terminal oder Jupyter öffnen

    Verbinden Sie sich per SSH oder öffnen Sie Jupyter im Browser. PyTorch und CUDA sind bereit.

  3. 03

    Modell laden und starten

    Führen Sie die Befehle unten aus. Die Gewichte kommen direkt von Hugging Face auf Ihre Maschine.

pip install -U "huggingface_hub[cli]"
huggingface-cli download legraphista/xLAM-8x7b-r-IMat-GGUF --local-dir ./model --include "*Q4_K_M*"
# llama.cpp: ./llama-server -m ./model/*.gguf --host 0.0.0.0 --port 8000

Warum selbst betreiben?

Ihr eigener LLM-Server hat keine Kosten pro Token und kein Ratenlimit, und Ihre Daten bleiben privat. Wählen Sie die GPU nach Speicher und stellen Sie das Modell mit vLLM bereit.

Fragen

Wie viel GPU-Speicher braucht xLAM-8x7b-r-IMat-GGUF?
Nach unserer Schätzung etwa 35 GB für Inferenz (47B Parameter). Höhere Auflösung, längerer Kontext oder größere Batches brauchen mehr.
Was kostet der Betrieb von xLAM-8x7b-r-IMat-GGUF?
Ab $0.54 pro Stunde auf Q RTX 8000, sekundengenau abgerechnet. Zehn Stunden kosten etwa $5.40.
Brauche ich ein Abo?
Nein. Sie zahlen nur die Laufzeit Ihrer Maschine aus Ihrem USD-Guthaben. Stoppen Sie sie, wenn Sie fertig sind.

Testen Sie es in wenigen Minuten auf Ihrer eigenen GPU

Wählen Sie eine GPU, öffnen Sie Jupyter oder SSH und führen Sie jedes offene Modell aus. Sie zahlen sekundengenau und können jederzeit stoppen; kein Abo, keine Einrichtungsgebühr.

  • Sekundengenaue Abrechnung in USD
  • PyTorch und CUDA in Minuten bereit
  • Auch über ChatGPT oder Claude mieten

Ähnliche Sprachmodelle (LLM)-Modelle