corehu
GPU mieten

ANWENDUNGSFALL

Llama und andere offene LLMs auf einer Cloud-GPU ausführen

Chatten Sie mit Llama, Qwen oder Mistral oder stellen Sie sie mit Ollama über eine API bereit. Die Ollama-Vorlage startet den Server für Sie.

RTX 4090-Maschinen ansehen Live-Preise werden geprüft…

Sekundengenaue Abrechnung über Ihr USD-Guthaben. Stoppen oder beenden Sie die Maschine, wenn Sie fertig sind.

Empfohlene GPU

RTX 4090 · RTX 5090 · A100 SXM4

Modelle mit 8B–14B passen auf eine RTX 4090 mit 24 GB. Für Modelle mit 32B–70B wählen Sie eine RTX 5090 oder eine A100 80 GB.

Passende Vorlage

Ollama

LLMs mit einem Befehl ausführen; OpenAI-kompatible API inklusive.

In vier Schritten startklar

  1. 1

    Maschine mieten

    Öffnen Sie den Katalog mit vorausgewählter Ollama-Vorlage, wählen Sie eine GPU und klicken Sie auf Mieten.

    RTX 4090-Maschinen ansehen
  2. 2

    Per SSH verbinden

    Kopieren Sie den SSH-Befehl von der Seite Ihrer Maschine. Ergänzen Sie die Portweiterleitung, wenn Sie die API von Ihrem Computer aus aufrufen möchten.

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    Den SSH-Befehl finden Sie auf der Seite Ihrer Maschine. Der Teil -L leitet den Port weiter, sodass sich die App in Ihrem eigenen Browser öffnet.

  3. 3

    Modell laden und chatten

    Ollama läuft bereits. Laden Sie ein Modell herunter und legen Sie los.

    ollama run llama3.1:8b
  4. 4

    Die API nutzen

    Ollama stellt auf Port 11434 eine OpenAI-kompatible API bereit.

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

Fragen

Werden meine Daten für ein Training verwendet?

Nein. Das Modell läuft auf Ihrer gemieteten Maschine; Prompts und Ausgaben bleiben dort.

Kann ich es aus meiner App nutzen?

Ja. Richten Sie einen OpenAI-kompatiblen Client über den SSH-Tunnel auf http://localhost:11434/v1 aus.