Gerekenler
- REGTR bulut sunucu: 7–8B modeller için en az 16 GB, rahat kullanım için 32 GB RAM (ayrılmış CPU önerilir)
- Ubuntu 24.04, x86 veya ARM64
Adımlar
-
1Ollama'yı kur
Kurulum betiği Ollama'yı systemd servisi olarak kurar; varsayılan olarak yalnız 127.0.0.1:11434 adresini dinler.
curl -fsSL https://ollama.com/install.sh | sh systemctl status ollama --no-pager -
2Model indir ve dene
RAM'ine uygun bir model seç. Kabaca (4-bit): 3B ≈ 3 GB, 8B ≈ 6 GB, 14B ≈ 10 GB, 32B ≈ 20 GB bellek ister.
ollama pull llama3.1:8b ollama run llama3.1:8b "Bulut sunucu nedir? Kısaca anlat." # Daha küçük / smaller: ollama pull llama3.2:3b -
3API ile kullan
Uygulamaların aynı sunucudan HTTP API ile model çağırabilir.
curl http://127.0.0.1:11434/api/generate -d '{ "model": "llama3.1:8b", "prompt": "Merhaba!", "stream": false }' -
4Uzaktan güvenli erişim
API'yi internete açma. Kendi bilgisayarından SSH tüneli ile bağlan; web arayüzü istiyorsan Open WebUI'yi yerel adrese bağlayarak çalıştır.
# Kendi bilgisayarından / from your computer: ssh -L 11434:127.0.0.1:11434 deploy@SUNUCU_IP # İsteğe bağlı web arayüzü (sunucuda, yalnız yerel adres) / optional web UI bound to localhost: docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data --name open-webui --restart always \ ghcr.io/open-webui/open-webui:main
İpuçları
- OLLAMA_HOST=0.0.0.0 yapıp portu açmak, modeline herkesin erişmesi demek; Ollama'nın kendi kimlik doğrulaması yoktur.
- CPU'da hız, çekirdek sayısı ve bellek bant genişliğine bağlıdır; ayrılmış vCPU, paylaşımlı vCPU'ya göre tutarlı yanıt süreleri verir.
- REGTR bulut sunucularında GPU yoktur; büyük model eğitimi veya 70B gibi çok büyük modeller için uygun değildir.
Sık sorulan sorular
Hangi plan?
7–8B modeller için 8 vCPU / 32 GB ayrılmış CPU (Ayrılmış 8) iyi bir denge sunar. 14B ve üstü ya da birden çok eşzamanlı kullanıcı için 16 vCPU / 64 GB.
RAG ve embedding için uygun mu?
Evet. nomic-embed-text gibi embedding modelleri CPU'da hızlıdır; Qdrant veya pgvector ile aynı sunucuda çalıştırılabilir.
Güncelleme: 2026-10-23