corehu
GPU kirala

KULLANIM ALANI

Llama ve diğer açık LLM'leri bulut GPU'da çalıştır

Ollama ile Llama, Qwen ya da Mistral'la sohbet et ya da onları API üzerinden sun. Ollama şablonu sunucuyu senin için başlatır.

RTX 4090 makinelerini gör Canlı fiyatlar kontrol ediliyor…

USD bakiyenden saniye başına faturalanır. İşin bitince makineyi durdur ya da sonlandır.

Önerilen GPU

RTX 4090 · RTX 5090 · A100 SXM4

8B–14B modeller 24 GB'lık RTX 4090'a sığar. 32B–70B modeller için RTX 5090 ya da 80 GB'lık A100 seç.

Seçilecek şablon

Ollama

Tek komutla LLM çalıştırma; OpenAI uyumlu API dahil.

Dört adımda çalışır

  1. 1

    Makineyi kirala

    Kataloğu Ollama şablonu seçili açılmış haliyle aç, GPU'yu seç ve Kirala'ya bas.

    RTX 4090 makinelerini gör
  2. 2

    SSH ile bağlan

    Makinenin sayfasındaki SSH komutunu kopyala. API'yi kendi bilgisayarından çağıracaksan port yönlendirmesini ekle.

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    SSH komutu makinenin sayfasında. -L kısmı portu yönlendirir; uygulama kendi tarayıcında açılır.

  3. 3

    Model indir ve sohbet et

    Ollama zaten çalışıyor. Bir model indir ve sohbete başla.

    ollama run llama3.1:8b
  4. 4

    API'yi kullan

    Ollama, 11434 numaralı portta OpenAI uyumlu bir API sunar.

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

Sorular

Verilerim bir şey eğitmek için kullanılıyor mu?

Hayır. Model kiraladığın makinede çalışır; istemler ve çıktılar orada kalır.

Kendi uygulamamdan kullanabilir miyim?

Evet. OpenAI uyumlu bir istemciyi SSH tüneli üzerinden http://localhost:11434/v1 adresine yönlendir.