Linux’ta yerel yapay zekâ: Ollama ile modeli kendi bilgisayarınızda çalıştırın

Müşteri sözleşmelerini, iç yazışmaları ya da kişisel verileri bulut tabanlı bir yapay zekâ sohbet aracına yapıştırmak, verinin başka bir şirketin sunucusuna gitmesi demek. Birçok iş için bu kabul edilebilir; ama bazı belgeler için değil. Böyle durumlarda seçeneklerden biri, açık ağırlıklı (open-weight) bir modeli kendi bilgisayarınızda çalıştırmak. Bunun bugün en kolay yolu Ollama. Bu yazıda Linux’ta Ollama’yı kurup ilk modeli çalıştırıyor, sonra tarayıcıdan kullanmak için bir arayüz ekliyoruz.

Ne işe yarar, ne işe yaramaz?

İyi olduğu işler: Metin özetleme, taslak yazma, e-posta düzeltme, belge içinden bilgi bulma, basit kod yardımı, çeviri, sınıflandırma. Hepsi internet bağlantısı olmadan ve veriler bilgisayarınızdan çıkmadan.

Sınırları: Küçük modeller karmaşık akıl yürütmede ve Türkçe nüanslarda bulut modellerinin gerisinde kalıyor. Güncel bilgiye erişimleri yok. Donanımınıza göre yanıt hızı yavaş olabilir. Ve her yapay zekâ modeli gibi, kendinden emin bir şekilde yanlış bilgi üretebilir; çıktıyı her zaman kontrol edin.

Donanım ihtiyacı

Modelin çalışması için ağırlıklarının belleğe (ekran kartı belleği ya da sistem RAM’i) sığması gerekiyor. Ollama’daki modeller genellikle 4 bit nicemlenmiş (quantized) olarak geliyor; kabaca şöyle düşünebilirsiniz:

Model boyutu	Yaklaşık indirme boyutu	Rahat çalışması için
2-4 milyar parametre	2-3 GB	8 GB RAM, ekran kartı şart değil
7-9 milyar parametre	5-6 GB	16 GB RAM ya da 8 GB VRAM
12-14 milyar parametre	8-10 GB	32 GB RAM ya da 12-16 GB VRAM
30 milyar ve üzeri	18 GB ve üzeri	24 GB+ VRAM ya da 64 GB RAM

Ekran kartı olmadan, yalnızca işlemciyle de çalışıyor; ama yanıtlar belirgin şekilde yavaş geliyor. NVIDIA kartlarda CUDA, AMD kartlarda ROCm desteği var. NVIDIA sürücüsünü kurmadıysanız önce Linux’ta NVIDIA sürücü kurulumu yazısına bakın.

Kurulum

Ollama’nın resmî kurulum betiği:

curl -fsSL https://ollama.com/install.sh | sh

Bu tür “indir ve çalıştır” komutlarını çalıştırmadan önce betiğin içeriğine bakmak iyi bir alışkanlık:

curl -fsSL https://ollama.com/install.sh -o ollama-kur.sh
less ollama-kur.sh
sh ollama-kur.sh

Betik Ollama’yı kurar, bir systemd servisi oluşturur ve varsa ekran kartını algılar. Kontrol edin:

ollama --version
systemctl status ollama

İlk model

ollama run gemma4:e4b

İlk çalıştırmada model indirilir (birkaç GB), sonra doğrudan terminalde sohbet başlar. Çıkmak için /bye yazın. Diğer faydalı komutlar:

ollama list          # indirilmiş modeller
ollama ps            # şu an bellekte çalışan modeller
ollama pull qwen3:8b # sadece indir
ollama rm qwen3:8b   # sil

Hangi model?

Ollama kütüphanesi çok hızlı değişiyor; burada isim verdiğim modeller Eylül 2026 itibarıyla kütüphanede bulunanlardan. Güncel listeye ollama.com/library adresinden bakın. Başlangıç için:

• Düşük donanım (8 GB RAM): gemma4:e2b ya da gemma4:e4b gibi küçük modeller, ya da qwen3:4b.
• Orta donanım (16 GB RAM veya 8 GB VRAM): qwen3:8b gibi 7-9 milyar parametreli modeller.
• Güçlü donanım: 12-14 milyar ve üzeri modeller.

Türkçe için modelleri kendi işinizde deneyerek seçin; aynı boyuttaki iki model Türkçe metinde çok farklı sonuç verebiliyor. Modellerin lisanslarına da dikkat edin; ticari kullanıma izin veren ve vermeyen lisanslar var.

Tarayıcıdan kullanmak: Open WebUI

Terminalde sohbet etmek herkese göre değil. Open WebUI, ChatGPT benzeri bir web arayüzü sunuyor ve Ollama ile doğrudan çalışıyor. Docker kuruluysa:

docker run -d -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Tarayıcıda http://localhost:3000 adresini açın; ilk açılışta oluşturduğunuz hesap yönetici hesabı olur. Belge yükleyip içinden soru sorma, sohbet geçmişi ve birden fazla model arasında geçiş gibi özellikler burada.

Portu 127.0.0.1 ile sınırladım; yani arayüz yalnızca bu bilgisayardan açılır. Ofisteki diğer bilgisayarlardan da erişilecekse güvenlik duvarı ve güçlü parolalarla birlikte planlayın.

Programlardan kullanmak: API

Ollama, localhost:11434 üzerinde bir HTTP API sunuyor. Basit bir örnek:

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:e4b",
  "prompt": "Bu cümleyi daha resmi yaz: Yarın toplantıya gelemiyorum.",
  "stream": false
}'

OpenAI uyumlu bir uç noktası da olduğu için, OpenAI API’sini destekleyen pek çok araç Ollama’ya yönlendirilebiliyor.

Güvenlik notları

• Ollama varsayılan olarak yalnızca 127.0.0.1 üzerinde dinler. OLLAMA_HOST=0.0.0.0 ayarıyla ağa açmak mümkün, ama kimlik doğrulaması yok; internete açık bırakılmış Ollama sunucuları taranıp kötüye kullanılıyor. Ağdan erişim gerekiyorsa önüne kimlik doğrulamalı bir ters vekil (reverse proxy) ya da VPN koyun. Genel sunucu güvenliği için Linux sunucu güvenliği temelleri yazısına bakın.
• Modelleri yalnızca resmî kütüphaneden ya da güvendiğiniz kaynaklardan indirin.
• Yerel çalışıyor olması, kişisel verileri işlerken KVKK yükümlülüklerinin ortadan kalktığı anlamına gelmiyor; ama verinin üçüncü bir tarafa aktarılmasını önlüyor. Kişisel Verileri Koruma Kurumu’nun üretken yapay zekâ ile ilgili rehberi bu konuda iyi bir başlangıç.

Sık sorulan sorular