ML Model Dağıtımı için Docker ve Kubernetes

Makine öğrenmesi modellerini üretime dağıtmak sağlam bir altyapı gerektirir. Docker ve Kubernetes, ölçeklenebilir, sürdürülebilir dağıtımlar için gerekli araçları sağlar.

ML için Neden Konteynerler?

Tekrarlanabilirlik

Konteynerler, modelinizin her yerde (geliştirme, test, üretim) aynı şekilde çalışmasını sağlar.

Bağımlılık Yönetimi

Artık "benim makinemde çalışıyor" sorunları yok. Tüm bağımlılıklar birlikte paketlenir.

Ölçeklenebilirlik

Değişen yükleri yönetmek için kolay yatay ölçekleme.

Docker Temelleri

Dockerfile Oluşturma

FROM python:3.9-slim

WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt

COPY . .
EXPOSE 8000
CMD ["uvicorn", "main:app", "--host", "0.0.0.0"]

En İyi Uygulamalar

1. İnce taban imajları kullanın
2. Daha küçük imajlar için çok aşamalı derlemeler
3. Root olarak çalıştırmayın
4. .dockerignore kullanın

Kubernetes Dağıtımı

Dağıtım Yapılandırması

Model sunucunuz için kaynak limitleri, replikalar ve sağlık kontrolleri ile bir Deployment oluşturun.

Servis Açığa Çıkarma

Dağıtımınızı açığa çıkarmak için Servisleri kullanın:

• Dahili erişim için ClusterIP
• Harici erişim için LoadBalancer
• HTTP yönlendirme için Ingress

Ölçekleme

CPU/bellek kullanımına veya özel metriklere dayalı otomatik ölçekleme için Horizontal Pod Autoscaler.

ML'e Özgü Hususlar

Model Sürümleme

Model kayıt defterlerini kullanın ve imaj etiketlerine sürümü ekleyin.

GPU Desteği

Kubernetes için NVIDIA cihaz eklentisi GPU erişimini sağlar.

Model Yükleme

Modelleri istek başına değil, başlangıçta yükleyin.

Toplu İşleme

Verim için toplu çıkarım uygulayın.

İzleme

Metrikler

Metrik toplamak için Prometheus:

• İstek gecikmesi
• Tahmin sayıları
• Model doğruluğu
• Kaynak kullanımı

Loglama

ELK stack veya benzeri ile yapılandırılmış loglama.

Uyarılar

Model kayması, yüksek gecikme, hatalar için uyarılar kurun.

CI/CD Hattı

Tüm süreci otomatikleştirin:

1. Kod gönderme derlemeyi tetikler
2. Testleri çalıştırın
3. Docker imajı oluşturun
4. Kayıt defterine gönderin
5. Kubernetes'e dağıtın

Sonuç

Docker ve Kubernetes, güvenilir ML dağıtımları için temel sağlar. Basit başlayın ve gerektiğinde karmaşıklığı artırın.