Büyük Dil Modellerinde İnce Ayar: Pratik Bir Rehber
İnce ayar ne zaman değerlidir, sohbet formatındaki veriler nasıl hazırlanır ve transformers, peft ve trl ile minimal bir QLoRA eğitim betiği, ayrıca adaptörün nasıl değerlendirilip birleştirileceği.

Bilet tasnifleme adımımız, belirli bir JSON şeklini döndürmesi gereken küçük bir modele ihtiyaç duyuyordu. Bir düzine örnek içeren uzun bir istemle, temel model çoğu zaman formatı doğru bir şekilde döndürüyordu, ancak her istek bu örnekleri tekrar taşıyordu ve ara sıra hatalı biçimlendirilmiş bir yanıt yine de sonraki bir ayrıştırıcıyı bozuyordu. Soru şuydu: istemi ayarlamaya devam etmek mi, yoksa modele formatı bir kez mi öğretmek? İnce ayar yapmanın pratik nedeni budur: bir modeli "daha akıllı" hale getirmek değil, belirli bir davranışı ucuz ve güvenilir hale getirmektir.
Bu rehber, karar verme sürecini, verileri, minimal bir QLoRA betiğini ve sizi dürüst tutacak değerlendirmeyi kapsar.
Hızlı çıkarımlar
- Önce istemi deneyin, sonra bilgi erişimini (retrieval). Stil, format ve dar davranışlar için ince ayar yapın, yeni bilgiler için değil.
- Veri kalitesi niceliği yener: birkaç yüz temiz, tutarlı örnek, dar bir görevi genellikle binlerce gürültülü örnekten daha fazla ilerletir.
- LoRA küçük adaptör matrislerini eğitir; QLoRA aynısını 4-bit temel model üzerinde yapar, bu da küçük modeller için tek bir tüketici GPU'suna sığar.
- Her zaman aynı ayrılmış küme üzerinde iyi bir istemle temel modelle karşılaştırın. Fark küçükse, ince ayarı kullanıma sunmayın.
- Unutmayı kontrol edin: birkaç genel istemi saklayın ve eğitimi tamamladıktan sonra tekrar çalıştırın.
İnce ayar mı yapmalıyım, RAG mi kullanmalıyım, yoksa sadece istemi mi iyileştirmeliyim?
Bu sırayı kullanıyorum ve işe yarayan ilk adımda duruyorum:
1. Prompting -> talimatlar belirsiz olduğu için çıktı yanlış
2. Retrieval (RAG) -> modelin sizin bilgileriniz eksik olduğu için çıktı yanlış
3. Fine-tuning -> çıktı içerik olarak doğru ama stil/format yanlış,
veya istem her çağrıda tekrarlamak için çok uzun/pahalı
Değişen bilgiler (fiyatlar, politikalar, dokümantasyon) bilgi erişimine (retrieval) aittir, çünkü ince ayarlı bir model yeniden eğitim olmadan güncellenemez. Tutarlı olması gereken davranışlar (bir JSON şeması, bir ses tonu, bir sınıflandırma taksonomisi) ağırlıklara aittir. İlk iki adım için, Prompt Engineering Patterns ve RAG chunking strategies makalelerine bakınız.
Tam ince ayar, LoRA ve QLoRA arasındaki fark nedir?
Tam ince ayar her ağırlığı günceller. En fazla esnekliği sağlar, en fazla belleğe ihtiyaç duyar ve genel yetenekleri silme riskini taşır (felaket unutma). LoRA temel modeli dondurur ve dikkat (attention) ve MLP katmanlarına yerleştirilen küçük düşük dereceli matrisleri eğitir, böylece eğitilebilir parametreler çok küçük bir kısmını oluşturur ve sonuç, görev başına değiştirebileceğiniz küçük bir adaptör dosyasıdır. QLoRA, eğitim sırasında dondurulmuş temel modeli 4-bit hassasiyette tutar, bu da 7 milyar parametreli bir modelin tek bir 24 GB GPU üzerinde eğitilmesini sağlar. Çoğu uygulama çalışması için LoRA veya QLoRA doğru varsayılan seçenektir.
Eğitim verilerini nasıl hazırlamalıyım?
Modelinizin eğitildiği sohbet formatını kullanın, her satırda bir JSON nesnesi olacak şekilde. Sistem istemini kısa ve örnekler arasında aynı tutun; ince ayarın amacı, artık uzun isteme ihtiyacınız olmamasıdır.
{"messages": [{"role": "system", "content": "Classify the support ticket. Reply with JSON only."}, {"role": "user", "content": "The invoice PDF shows the wrong VAT rate for Turkey."}, {"role": "assistant", "content": "{\"category\": \"billing\", \"priority\": \"medium\", \"language\": \"en\"}"}]}
Örnekleri elle gözden geçirin. Yinelenenleri kaldırın, tutarsız etiketleri düzeltin ve yanıtların üretimde kabul edeceğinizle tamamen aynı olduğundan emin olun. Verileri eğitimden önce bölün ve ayarlama yaparken doğrulama kümesine asla bakmayın. Doğrulama için yüzde 10'unu veya deneyler arasında aynı kalan sabit bir küme kullanın.
Minimal bir QLoRA eğitim betiği nasıl görünür?
Bu, transformers, peft ve trl kullanır. Kütüphane API'leri hızla değişir, bu nedenle argüman adlarını yüklediğiniz sürümlere göre kontrol edin (örneğin, daha yeni trl sürümleri tokenizer'ı processing_class olarak alır):
import torch
from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from trl import SFTConfig, SFTTrainer
BASE = "Qwen/Qwen2.5-7B-Instruct" # any instruct model whose license fits your use
bnb = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto")
data = load_dataset("json", data_files="tickets.jsonl")["train"].train_test_split(test_size=0.1, seed=42)
lora = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
target_modules="all-linear",
task_type="CAUSAL_LM",
)
args = SFTConfig(
output_dir="out/ticket-triage",
num_train_epochs=3,
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
eval_strategy="epoch",
save_strategy="epoch",
bf16=True,
)
trainer = SFTTrainer(
model=model,
args=args,
train_dataset=data["train"],
eval_dataset=data["test"],
processing_class=tokenizer,
peft_config=lora,
)
trainer.train()
trainer.save_model("out/ticket-triage/adapter")
Konuşma formatındaki messages formatı, SFTTrainer tarafından modelin sohbet şablonuyla dönüştürülür. LoRA için tipik başlangıç noktaları, 1e-4 ile 3e-4 arasında bir öğrenme oranı, küçük bir veri kümesi üzerinde iki ila dört dönem ve gradyan birikimi kullanılarak sığan en büyük yığın boyutudur. Doğrulama kaybını izleyin: eğitim kaybı düşmeye devam ederken yükselmeye başlarsa, aşırı uyum (overfitting) yapıyorsunuz demektir. Daha erken durun, veri ekleyin veya rank'ı düşürün.
İnce ayarın gerçekten daha iyi olduğunu nasıl anlarım?
Kayıp, kullanışlılık hakkında çok az şey söyler. Ayrılmış küme üzerinde, üretimde kullanacağınız görev odaklı kontrollerle değerlendirme yapın:
import json
def score(predictions: list[str], gold: list[dict]) -> dict:
valid = exact = 0
for raw, expected in zip(predictions, gold):
try:
parsed = json.loads(raw)
except json.JSONDecodeError:
continue
if not isinstance(parsed, dict):
continue
valid += 1
exact += parsed.get("category") == expected["category"]
n = len(gold)
return {"valid_json": valid / n, "category_accuracy": exact / n}
Aynı girdiler üzerinde üç aday için çalıştırın: en iyi isteminizle temel model, kısa istemle temel model ve kısa istemle ince ayarlı model. Ardından yirmi kadar genel istemi (özetler, basit sorular, retler) çalıştırın ve unutmayı yakalamak için yanıtları okuyun. Uygun bir test düzeneği oluşturmak, LLM Uygulamaları için Değerlendirme Çerçeveleri Oluşturma makalesinde ele alınmıştır.
Adaptörü nasıl dağıtırım?
Adaptörü çıkarım zamanında temel modelin üzerine yükleyebilirsiniz, bu da bir temel modelin birden fazla göreve hizmet etmesini sağlar. Veya daha basit bir sunum için ağırlıklara birleştirebilirsiniz. Birleştirmeyi 4-bit olana değil, 16-bit yüklenmiş bir temele yapın:
from peft import PeftModel
from transformers import AutoModelForCausalLM
base = AutoModelForCausalLM.from_pretrained(BASE, torch_dtype="auto", device_map="auto")
merged = PeftModel.from_pretrained(base, "out/ticket-triage/adapter").merge_and_unload()
merged.save_pretrained("out/ticket-triage/merged")
Kenar donanımlarda paketleme ve hız için, Yüksek Performanslı Kenar Çıkarımı makalesine bakınız.
Bu hafta ne yapmalıyım?
Aklınızdaki dar görev için 200 gerçek girdi toplayın, bunları dikkatlice etiketleyin ve mevcut isteminizi bunlar üzerinde ölçün. Temel model zaten geçerse, kendinize bir proje kazandırmış olursunuz. Format veya tutarlılık konusunda başarısız olursa, eğitim kümenizi ve temel çizginizi tek adımda elde etmiş olursunuz.
Uğur Kaval
Modern teknolojilerle yenilikçi çözümler geliştirmede uzmanlaşmış AI/ML Mühendisi & Full Stack Geliştirici. Otomasyon, makine öğrenmesi ve web geliştirme tutkunu.


