Üretim ML Boru Hatları Oluşturmak: MLOps En İyi Uygulamaları
Çalışan minimal bir MLOps yığını: deney takibi, takma adlara sahip bir model kayıt defteri, terfi için bir CI kapısı, kanarya dağıtımları ve bugün çalıştırabileceğiniz basit bir kayma kontrolü.

Model v7 bir Cuma öğleden sonra üretime geçti. Pazartesiye kadar dönüşüm sayıları v6'dan daha kötüydü ve geri almak istedim. İşte o zaman v6'nın bir iş arkadaşımın dizüstü bilgisayarında bir .pkl dosyası olarak ve baştan sona çalışmayan bir not defteri olarak var olduğunu öğrendim. Sonunda onu yeniden inşa ettik, ancak o hafta bana MLOps'un aslında ne olduğunu öğretti: bir platform satın alımı değil, 'önceki modele geri dön' işlemini bir dakikalık bir operasyon haline getiren bir dizi alışkanlık.
MLOps, DevOps disiplinini modellere uygular ve modeller, kodun sahip olmadığı iki şeyi ekler: sizin altınızda değişen veriler ve herhangi bir dağıtım olmadan bozulan kalite. Bu yazı, üretimde güvendiğim en küçük kurulumu açıklıyor. Veri tarafı için bkz. ML Projeleri için Veri Mühendisliği En İyi Uygulamaları.
Hızlı çıkarımlar
- Bir modeli tanımlayan her şeyi versiyonlayın: kod commit'i, veri versiyonu, konfigürasyon ve ortaya çıkan yapıt.
candidatevechampiongibi takma adlara sahip bir kayıt defteri kullanın, böylece terfi ve geri alma dosya kopyaları değil, meta veri değişiklikleri olur.- CI'da terfiyi kontrol edin: bir model, ayrılmış bir kümede mevcut şampiyonu yenmeli ve adalet ile regresyon kontrollerini geçmelidir.
- Kademeli olarak dağıtın (gölge, sonra kanarya) ve eski modeli bir takma ad değişikliği kadar uzakta tutun.
- Doğrulukla birlikte girdi kaymasını da izleyin, çünkü etiketler genellikle günler veya haftalar sonra gelir.
Bir üretim ML boru hattı nelerden oluşur?
Bakımını yaptığım her boru hattı, kullanılan araçlar ne olursa olsun aynı altı aşamayı takip eder:
ingest -> validate -> features -> train -> evaluate -> register
|
champion alias <----- CI gate <-------------+
|
canary -> full rollout -> monitor (data drift, quality)
Her ok, otomatik, tekrar çalıştırılabilir bir adım olmalıdır. Doğrulama, eğitimden önce şema ve kalite sorunlarını yakalar. Özellik kodu, eğitim ve sunum arasında paylaşılmalıdır, aksi takdirde ML sistemlerindeki en yaygın sessiz hata olan eğitim-sunum çarpıklığı yaratırsınız. Değerlendirme, bir kişinin değil, bir makinenin bir eşikle karşılaştırdığı sayılar üretir.
Deneyleri nasıl takip eder ve modelleri nasıl kaydederim?
Deney takibi, 'bu modeli hangi çalıştırma üretti ve nasıl?' sorusunu yanıtlar. MLflow bunu birkaç satır kodla yapar ve etiketler, tekrarlanabilirliğin gerçekten yaşadığı yerdir:
import mlflow
import mlflow.sklearn
from mlflow import MlflowClient
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import roc_auc_score
NAME = "churn-model"
def train_and_register(X_train, y_train, X_valid, y_valid, git_sha: str, data_version: str):
mlflow.set_experiment(NAME)
params = {"n_estimators": 300, "learning_rate": 0.05, "max_depth": 3}
with mlflow.start_run() as run:
model = GradientBoostingClassifier(**params, random_state=42).fit(X_train, y_train)
auc = roc_auc_score(y_valid, model.predict_proba(X_valid)[:, 1])
mlflow.log_params(params)
mlflow.log_metric("valid_auc", auc)
mlflow.set_tags({"git_sha": git_sha, "data_version": data_version})
mlflow.sklearn.log_model(model, "model", registered_model_name=NAME)
client = MlflowClient()
version = client.search_model_versions(f"run_id = '{run.info.run_id}'")[0].version
client.set_registered_model_alias(NAME, "candidate", version)
return version
Eğitim fonksiyonu, üretimde ne olacağına asla karar vermez. Sadece bir candidate üretir. Eğer tercih ederseniz Weights & Biases veya Neptune aynı alanı kapsar ve desen aynıdır: çalıştırma, metrikler, etiketler, yapıt, kayıt defteri girişi.
CI'da model terfisini nasıl kontrol ederim?
Terfi, ayrı, otomatik bir karardır. Bu betik, adayı mevcut şampiyonla aynı doğrulama metriği üzerinde karşılaştırır ve açıkça daha iyi olmayan bir modeli terfi ettirmeyi reddeder:
import sys
from mlflow import MlflowClient
from mlflow.exceptions import MlflowException
NAME, MIN_GAIN = "churn-model", 0.002
client = MlflowClient()
def auc(version) -> float:
return client.get_run(version.run_id).data.metrics["valid_auc"]
candidate = client.get_model_version_by_alias(NAME, "candidate")
try:
champion = client.get_model_version_by_alias(NAME, "champion")
except MlflowException:
champion = None # first model ever: nothing to beat
if champion is not None and auc(candidate) < auc(champion) + MIN_GAIN:
print(f"candidate v{candidate.version} does not beat champion v{champion.version}")
sys.exit(1)
client.set_registered_model_alias(NAME, "champion", candidate.version)
print(f"promoted v{candidate.version}")
Tek bir metrik bir başlangıçtır, bitiş değil. Kullanıcıları koruyan kontrolleri ekleyin: bir ortalamanın bir regresyonu gizlemesini önlemek için segment başına metrikler, Sorumlu Yapay Zeka: Yanlılık Tespiti ve Azaltma Boru Hatları bölümünde açıklandığı gibi bir adalet karşılaştırması ve LLM tabanlı sistemler için LLM Uygulamaları için Değerlendirme Çerçeveleri Oluşturma bölümündeki gibi bir regresyon paketi. Geri alma işlemi daha sonra set_registered_model_alias(NAME, "champion", <older version>) şeklindedir.
Yeni bir modeli güvenli bir şekilde nasıl dağıtırım?
Çevrimdışı metrikler dünün verilerini açıklar. Yeni modelin canlı trafiği puanladığı ancak çıktısının yalnızca kaydedildiği gölge modunda başlayın. Ardından, gerçek isteklerin küçük bir kısmını ona gönderin, iş metriklerini ve gecikmeyi şampiyonla karşılaştırın ve payı adım adım genişletin. Uygulama sürümleri için kullanılan aynı kanarya mantığı burada da geçerlidir; mekanikler Güvenilir CI/CD Boru Hattı Otomasyonu bölümünde açıklanmıştır. Geri almanın yeniden oluşturmaya bağlı olmaması için önceki modeli yüklü veya hızlıca yüklenebilir durumda tutun.
Üretimde kaymayı nasıl tespit ederim?
Gerçeklik etiketleri genellikle geç gelir, bu yüzden bu arada girdileri ve çıktıları izleyin. Popülasyon stabilite indeksi (PSI), bir özelliğin mevcut dağılımını eğitim dağılımıyla karşılaştırır:
import numpy as np
def psi(expected, actual, bins: int = 10) -> float:
edges = np.quantile(expected, np.linspace(0, 1, bins + 1))
edges[0], edges[-1] = -np.inf, np.inf
e = np.histogram(expected, edges)[0] / len(expected)
a = np.histogram(actual, edges)[0] / len(actual)
e, a = np.clip(e, 1e-6, None), np.clip(a, 1e-6, None)
return float(np.sum((a - e) * np.log(a / e)))
Yaygın bir kural: 0.1'in altı kararlıdır, 0.1 ila 0.25 arası incelenmeyi hak eder, 0.25'in üstü araştırma gerektirir. Bu eşikleri başlangıç noktaları olarak kabul edin ve verilerinize göre ayarlayın, ayrıca az sayıda farklı değere sahip özelliklerin yinelenen bölme kenarları ürettiğini ve farklı bir işlem gerektirdiğini unutmayın. Akış sistemleri ve olağandışı değerler hakkında uyarılar için bkz. Akış ML ile Gerçek Zamanlı Anomali Tespiti.
Hangi araçları seçmeliyim?
Araçlar yukarıdaki alışkanlıklardan daha az önemlidir. Yaygın seçenekler: takip için MLflow, Weights & Biases veya Neptune; birden fazla model özellik paylaştığında özellik depoları için Feast, Tecton veya Hopsworks; MLflow, Vertex AI veya SageMaker kayıt defterleri; orkestrasyon için Airflow, Kubeflow veya Prefect. Takip ve bir kayıt defteri ile başlayın. Özellik kodunun yinelenmesi sorununu hissettiğinizde bir özellik deposu ekleyin.
İlk olarak ne yapmalıyım?
En önemli modelinizi alın ve geri almayı sıkıcı hale getirin. Her eğitim çalıştırmasında git SHA'sını ve veri versiyonunu kaydedin, yapıtı kaydedin ve champion takma adının işaret ettiği her şeyi sunun. Bu tek değişiklik, 'hangi model canlı ve eskisi nerede?' sorusunu bir komuta dönüştürür ve bu yazıdaki diğer her uygulama bunun üzerine kuruludur.
Uğur Kaval
Modern teknolojilerle yenilikçi çözümler geliştirmede uzmanlaşmış AI/ML Mühendisi & Full Stack Geliştirici. Otomasyon, makine öğrenmesi ve web geliştirme tutkunu.


