ML Projeleri için Veri Mühendisliği En İyi Uygulamaları
Makine öğrenimi için güvenilir veri işlem hatları: sınırda şema doğrulama, idempotent yüklemeler, DVC ile veri kümesi sürümleme ve yeniden eğitim yanlış gitmeden önce uyarı veren tazelik kontrolleri.

Müşteri kaybı modelimiz, Pazartesi günkü planlı yeniden eğitimden sonra doğruluğunu kaybetti. Eğitim kodu değişmemişti, hiperparametreler değişmemişti ve model, önemli olan metrik dışındaki her metrikte sağlıklı görünüyordu. Nedeni bulmak yarım gün sürdü: yukarı akışta bir ekip event_time'ı yerel saatten UTC'ye çevirmişti. Türkiye'de bu üç saatlik bir kayma demek, bu yüzden her "son 7 gündeki etkinlik" özelliği kaydı ve birkaç yüz kullanıcı yanlış günlük bölüme düştü.
Hiçbir şey çökmedi ve asıl mesele de bu. ML projelerinde, kötü veri nadiren bir istisna yükseltir; sessizce biraz daha kötü bir model üretir. Aşağıdaki uygulamalar, bu olayı Çarşamba öğleden sonra yerine Pazartesi sabahı yakalayacak olanlardır. Hikayenin model tarafı için, bkz. Üretim ML İşlem Hatları Oluşturma.
Hızlı çıkarımlar
- Verilerin işlem hattınıza girdiği yerde, beklenmedik sütunlar, tipler, aralıklar ve boş değerlerde yüksek sesle hata veren bir şema ile doğrulayın.
- Her yüklemeyi idempotent yapın: aynı günü iki kez çalıştırmak, kopyalar yerine aynı tabloyu vermelidir.
- Veri kümelerini kodu sürümlediğiniz gibi sürümleyin ve her eğitilmiş modelin yanına veri sürümünü kaydedin.
- Sadece doğruluğu değil, tazeliği ve hacmi de ölçün ve bir sonraki planlı çalıştırma veriyi tüketmeden önce uyarı verin.
- Orkestrasyonu basit tutun: küçük görevler, açık bağımlılıklar, güvenli yeniden denemeler.
Eğitmeden önce verileri nasıl doğrularım?
Sınırda, kod içinde, her çalıştırmada doğrulayın. Bir şema kütüphanesi kuralları okunabilir ve hata raporunu kullanışlı hale getirir. İşte pandera kullanan bir versiyon:
import pandas as pd
import pandera as pa
events_schema = pa.DataFrameSchema(
{
"user_id": pa.Column(str, nullable=False),
# naive timestamps fail this dtype check, which is exactly the point
"event_time": pa.Column(pd.DatetimeTZDtype(tz="UTC"), nullable=False),
"amount": pa.Column(float, pa.Check.in_range(0, 100_000), nullable=True),
"country": pa.Column(str, pa.Check.isin(["TR", "DE", "US", "GB"])),
},
strict=True, # unexpected columns fail the run
unique=["user_id", "event_time"],
)
def load_events(path: str) -> pd.DataFrame:
df = pd.read_parquet(path)
try:
return events_schema.validate(df, lazy=True)
except pa.errors.SchemaErrors as err:
print(err.failure_cases.head(20)) # which column, which check, which rows
raise
lazy=True ilk hatada durmak yerine tüm hataları toplar, böylece tek bir çalıştırma tam resmi gösterir. Zaman damgası hassasiyeti dosyanın nasıl yazıldığına bağlıdır; sizinki mikrosaniyeler kullanıyorsa, bunun yerine pd.DatetimeTZDtype("us", "UTC") bildirin. Şema kuralları asla değişmeyen kontrolleri kapsar. Dağılım kaymaları için, özet istatistikleri (boş oranı, ortalama, yüzdelikler) önceki çalıştırmayla karşılaştırın ve kasıtlı olarak seçtiğiniz bir eşikten daha fazla hareket ettiklerinde başarısız olun.
Bir işlem hattını nasıl idempotent yaparım?
Idempotent, bir hata, bir geriye dönük doldurma veya kazara çift tetikleme sonrası yeniden çalıştırmanın veriyi tıpkı başarılı bir çalıştırmanın bırakacağı gibi bırakması demektir. En basit desen, sınırlı bir pencere hesaplamak ve doğal bir anahtarla upsert yapmaktır:
-- Re-running the same day replaces that day's rows instead of duplicating them.
-- Requires: UNIQUE (event_date, user_id) on features_daily
INSERT INTO features_daily (event_date, user_id, sessions, revenue_cents)
SELECT (event_time AT TIME ZONE 'UTC')::date,
user_id,
count(DISTINCT session_id),
coalesce(sum(amount_cents), 0)
FROM raw_events
WHERE event_time >= TIMESTAMPTZ '2026-10-20 00:00:00+00'
AND event_time < TIMESTAMPTZ '2026-10-21 00:00:00+00'
GROUP BY 1, 2
ON CONFLICT (event_date, user_id)
DO UPDATE SET sessions = EXCLUDED.sessions,
revenue_cents = EXCLUDED.revenue_cents;
Pencereyi sabit kodlamak yerine parametreleştirin ve günlük veya saatlik olarak artımlı işleyin, böylece bir hata tüm geçmişi değil, tek bir pencereyi etkiler. Upsert, kaynaktan kaybolan satırları kaldırmaz; bu önemliyse, bölümü silin ve tek bir işlem içinde tekrar ekleyin. Her göreve geri çekilmeli bir yeniden deneme politikası verin ve işlediği pencereyi günlüğe kaydedin, çünkü herhangi bir olaydan sonraki ilk soru "bu çalıştırma neye dokundu?" olacaktır.
Veri kümelerini nasıl sürümlemeliyim?
Tekrarlanabilirlik, üç şeyin bir arada sabitlenmesini gerektirir: kod, veri ve yapılandırma. Git ilk ve üçüncüyü halleder. Veriler için DVC, Git'te küçük işaretçi dosyaları ve gerçek verileri nesne depolamada tutar:
dvc init
dvc remote add -d storage s3://my-ml-bucket/dvc
dvc add data/train.parquet
git add data/train.parquet.dvc data/.gitignore
git commit -m "Training snapshot 2026-10-20"
dvc push
Eski bir commit'i kontrol etmek ve dvc pull çalıştırmak, kullanılan tam eğitim verilerini geri yükler. Verileriniz zaten bir lakehouse'da yaşıyorsa, Delta Lake tablo sürümleri veya LakeFS dalları size ayrı dosyalar olmadan aynı garantiyi verir. Hangi aracı kullanırsanız kullanın, bir modelin her zaman girdilerine kadar izlenebilmesi için veri sürümünü her eğitim çalıştırmasında bir etiket olarak günlüğe kaydedin.
Veri gölü mü, veri ambarı mı ve hangi dosya formatı?
Ham verileri bir gölde değişmez bir kayıt olarak tutun ve temizlenmiş, modellenmiş verileri şemaların uygulandığı bir veri ambarında veya lakehouse tablolarında tutun. Asla düzenlemediğiniz bir ham katman, bir dönüşüm hatasını düzeltmenize ve geçmişi yeniden oluşturmanıza olanak tanır. Analiz ve eğitim kümeleri için Parquet varsayılandır: sütunlu, sıkıştırılmış ve tipli. Delta, Parquet'in üzerine ACID işlemleri ve zaman yolculuğu ekler. JSON alım için iyidir ancak tekrarlanan okumalar için kötü bir formattır.
Tazeliği ve kaliteyi nasıl izlerim?
Doğruluk kontrolleri, güncellenmeyi durduran bir tabloyu fark etmez. Her tablo için en az dört sayıyı takip edin: tazelik, satır sayısı ile olağan aralık karşılaştırması, anahtar sütunlardaki boş oranı ve birincil anahtardaki yinelenme oranı. Tazelik en ucuzudur ve en çok şeyi yakalar:
SELECT 'raw_events' AS table_name,
now() - max(loaded_at) AS lag,
(now() - max(loaded_at)) > interval '2 hours' AS is_stale
FROM raw_events;
Bunu bir zamanlamaya göre çalıştırın ve is_stale üzerinde uyarı verin, ideal olarak eğitim işi tabloyu okumadan önce. Satır sayısı ve boş oranı kontrolleri aynı deseni izler. Anormal değerleri otomatik olarak işaretlemek isterseniz, bkz. Gerçek Zamanlı Anomali Tespiti.
İşlem hattını nasıl orkestre etmeliyim?
Ekibinizin işletebileceği herhangi bir orkestratörü kullanın: Airflow, Prefect veya Dagster hepsi işe yarar. Her görevi tek başına yeniden çalıştırılabilecek kadar küçük tutun, bağımlılıkları açık hale getirin ve alım, dönüşüm ve sunumu ayırın, böylece birindeki bir hata diğerinde gizlenmez. Zamanlama ve yeniden deneme ödünleşimleri Veri İşlem Hatlarını Verilerinizi Sessizce Bozmadan Otomatikleştirme makalesinde tartışılmıştır ve raporlama odaklı bir örnek Yeniden Denemelerden Sağ Çıkan Planlanmış Raporlar makalesinde bulunmaktadır.
Bu hafta ne yapmalıyım?
En iyi modelinizin en çok bağımlı olduğu tabloyu seçin. Bunun için strict=True ile bir şema yazın, işlem hattında çalıştırın ve bir kez bir derlemeyi başarısız etmesine izin verin. Bir uyarı ile bir tazelik sorgusu ekleyin. Bu iki değişiklik bir öğleden sonra sürer ve kötü verilerin kimse fark etmeden bir modele ulaştığı gördüğüm olayların çoğunu kapsar.
Uğur Kaval
Modern teknolojilerle yenilikçi çözümler geliştirmede uzmanlaşmış AI/ML Mühendisi & Full Stack Geliştirici. Otomasyon, makine öğrenmesi ve web geliştirme tutkunu.


