Python ile Web Kazıma: Kapsamlı Rehber
Nazik, dayanıklı bir Python kazıyıcı oluşturun: önce bir API olup olmadığını kontrol edin, robots.txt'ye saygı gösterin, geri çekilmeyle yeniden deneyin, savunmacı bir şekilde ayrıştırın ve Playwright'ı yalnızca JavaScript gerektirdiğinde kullanın.

İlk ciddi kazıyıcım, bir yan proje için fiyat takipçisiydi. İki gün çalıştı, sonra bir Cumartesi sabahı çalıştığında hiçbir şey döndürmedi: site bir CSS sınıfının adını değiştirmişti ve betiğim sessizce veritabanına boş satırlar yazmıştı. Bir hafta önce aynı betik, yoğun bir döngüde istekler göndermiş ve IP adresimin bir öğleden sonra engellenmesine neden olmuştu. Her iki hatanın da kök nedeni aynıydı. Sitenin asla değişmeyeceğini ve dizüstü bilgisayarımın gidebildiği kadar hızlı vurulmaktan rahatsız olmayacağını varsayan bir betik yazmıştım.
Bu rehber, keşke en baştan sahip olsaydım dediğim versiyon: sunucuya karşı nazik olan, sayfa değiştiğinde yüksek sesle hata veren ve yalnızca gerektiğinde başsız bir tarayıcıya başvuran bir kazıyıcı.
Hızlı çıkarımlar
- HTML'i ayrıştırmadan önce bir API veya gömülü JSON arayın. Yazması daha hızlıdır ve daha az hata verir.
- Gerçek bir
User-Agentile kendinizi tanıtın,robots.txtdosyasını okuyun ve her isteği hız sınırlamasına tabi tutun. Kazıyıcıyı gizlemeyin. - Zaman aşımı ve geri çekilmeyle otomatik yeniden denemeler içeren bir
requests.Sessionkullanın;requests.getçağrısını asla zaman aşımı olmadan yapmayın. - Savunmacı bir şekilde ayrıştırın ve yüksek sesle hata verin: boş bir sonuç, boş bir satır yazmak yerine bir hata yükseltmelidir.
- Playwright'ı yalnızca verilerini gerçekten JavaScript ile oluşturan sayfalar için kullanın.
HTML kazımaya gerçekten ihtiyacım var mı?
Tarayıcının geliştirici araçlarını açın, Ağ sekmesine geçin, Fetch/XHR'ye göre filtreleyin ve sayfayı yeniden yükleyin. Birçok "dinamik" sayfa verilerini bir JSON uç noktasından yükler ve bu uç noktayı doğrudan çağırmak, size HTML ayrıştırması olmadan yapılandırılmış veri sağlar. Ayrıca sayfa kaynağında application/ld+json veya __NEXT_DATA__ araması yapın; ürün ve makale sayfaları genellikle verilerini buraya gömer.
Herhangi bir kod yazmadan önce üç şeyi kontrol edin: sitenin resmi bir API sunup sunmadığını, hizmet şartlarının otomatik erişim hakkında ne söylediğini ve robots.txt dosyasının neye izin verdiğini. Veriler kişisel ise, gizlilik yasasının kazınan veriler için de geçerli olduğunu unutmayın (Türkiye'de KVKK, AB'de GDPR) ve asla girişleri veya ödeme duvarlarını aşmaya çalışmayın.
Nazik, dayanıklı bir veri çekiciyi nasıl yazarım?
Tüm ağ davranışlarını tek bir yere koyun, böylece her istek aynı korumalara sahip olur:
import time
from urllib.parse import urlparse
from urllib.robotparser import RobotFileParser
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
USER_AGENT = "price-watch/1.0 (contact: you@example.com)"
class PoliteFetcher:
def __init__(self, min_delay: float = 2.0):
self.min_delay = min_delay
self._last_request = 0.0
self._robots: dict[str, RobotFileParser] = {}
self.session = requests.Session()
self.session.headers["User-Agent"] = USER_AGENT
retry = Retry(
total=4,
backoff_factor=1.0,
status_forcelist=(429, 500, 502, 503, 504),
allowed_methods=("GET",),
respect_retry_after_header=True,
)
self.session.mount("https://", HTTPAdapter(max_retries=retry))
def _allowed(self, url: str) -> bool:
parts = urlparse(url)
base = f"{parts.scheme}://{parts.netloc}"
if base not in self._robots:
parser = RobotFileParser(f"{base}/robots.txt")
parser.read()
self._robots[base] = parser
return self._robots[base].can_fetch(USER_AGENT, url)
def get(self, url: str) -> str:
if not self._allowed(url):
raise PermissionError(f"robots.txt disallows {url}")
wait = self.min_delay - (time.monotonic() - self._last_request)
if wait > 0:
time.sleep(wait)
response = self.session.get(url, timeout=(5, 20))
self._last_request = time.monotonic()
response.raise_for_status()
return response.text
Detaylar önemlidir. Retry nesnesi, 429 ve 5xx yanıtlarında üstel olarak geri çekilir ve sunucunun Retry-After başlığını dikkate alır. Zaman aşımı bir (bağlan, oku) çiftidir, bu nedenle takılı kalan bir sunucu işinizi donduramaz. Gecikme, istekler arasında uygulanır, körü körüne beklenmez ve robots.txt her ana bilgisayar için bir kez getirilir. Bir site bir Crawl-delay yayınlarsa, min_delay değerini en az bu değere ayarlayın.
Her yeniden tasarımda bozulmadan bir sayfayı nasıl ayrıştırırım?
BeautifulSoup, statik sayfalar için yeterlidir. Sizi kurtaracak alışkanlık, eksik öğeleri verilerinize None akmasına izin vermek yerine görebileceğiniz hatalar olarak ele almaktır:
from dataclasses import dataclass
from urllib.parse import urljoin
from bs4 import BeautifulSoup
@dataclass
class Product:
name: str
price: float
url: str
def parse_products(html: str, base_url: str) -> list[Product]:
soup = BeautifulSoup(html, "html.parser")
cards = soup.select("article.product")
if not cards:
raise ValueError("no product cards found: the page layout probably changed")
products = []
for card in cards:
name = card.select_one("h2")
price = card.select_one("[data-price]")
link = card.select_one("a[href]")
if not (name and price and link):
continue # skip incomplete cards, but the empty-page check above still protects us
products.append(
Product(
name=name.get_text(strip=True),
price=float(price["data-price"]),
url=urljoin(base_url, link["href"]),
)
)
return products
Stil sınıfları yerine öznitelikleri (data-price, itemprop, aria-label) tercih edin; bunlar daha az sıklıkla değişir. Her kazımanın ardından bir sağlamlık kontrolü yapın, örneğin "en az 10 öğe ve hiçbiri sıfır fiyatlı olmasın" gibi, ve başarısız olduğunda bir uyarı gönderin. Hiçbir şey döndürmeyen bir kazıyıcı bir sonuç değil, bir hatadır.
Playwright veya Selenium'a ne zaman ihtiyacım olur?
Yalnızca veriler HTML'de veya herhangi bir JSON uç noktasında JavaScript çalışana kadar mevcut olmadığında. Gerçek bir tarayıcı daha yavaş ve daha ağırdır, bu yüzden onu ihtiyacı olan sayfalar için kullanın. Playwright bugün benim varsayılanım; otomatik bekleme özelliği, Selenium betiklerinin biriktirdiği çoğu "bekle ve umut et" kodunu ortadan kaldırır:
pip install playwright
playwright install chromium
from playwright.sync_api import sync_playwright
def render(url: str) -> str:
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page(user_agent="price-watch/1.0 (contact: you@example.com)")
page.goto(url, wait_until="domcontentloaded")
page.wait_for_selector("article.product")
html = page.content()
browser.close()
return html
Dönen HTML'i aynı parse_products fonksiyonuna iletin, böylece ayrıştırma sırasında yalnızca veri çekme değişiklikleri kaydedilmiş dosyalar üzerinde test edilebilir kalır. Binlerce sayfayı taradığınızda ve kuyruklar, işlem hatları ve kısıtlama gibi yerleşik özelliklere ihtiyaç duyduğunuzda Scrapy doğru araçtır; birkaç uç nokta için yukarıdaki veri çekici daha kolay okunabilir.
Bir kazıyıcıyı aylarca nasıl çalışır durumda tutarım?
Geliştirme yaparken ham HTML'i diske önbelleğe alın, böylece seçicileri siteye tekrar vurmadan ayarlayabilirsiniz. Her kayıtla birlikte zaman damgalarını kaydedin. cron veya bir iş akışı çalıştırıcısı ile bir zaman çizelgesine göre çalıştırın ve hataları diğer üretim işleri gibi ele alın: URL'yi ve durumu günlüğe kaydedin, tekrarlanan hatalarda uyarı verin ve işi idempotent hale getirin. Aynı disiplin Cron Ölmedi ve Hata Yönetimi Desenleri makalelerinde de yer almaktadır. Sonuçları sessiz bozulma olmadan bir veritabanına veya veri ambarına yüklemek için Veri Boru Hatlarını Otomatikleştirme makalesine bakın. Bu tarzda daha fazla küçük betik istiyorsanız, Python Otomasyon Betikleri iyi bir sonraki duraktır.
Bu hafta ne yapmalıyım?
Kazıdığınız veya kazımak istediğiniz bir sayfa seçin. Ağ sekmesinde bir JSON uç noktası aramak için on dakika harcayın, sitenin robots.txt dosyasını ve şartlarını okuyun, ardından yukarıdaki veri çekiciyi mevcut kodunuzun önüne koyun. Sonuç kümesi boş olduğunda hata veren bir kontrol ekleyin. Bu üç değişiklik, yaşadığım hafta sonu hatalarının çoğunu ortadan kaldıracaktır.
Uğur Kaval
Modern teknolojilerle yenilikçi çözümler geliştirmede uzmanlaşmış AI/ML Mühendisi & Full Stack Geliştirici. Otomasyon, makine öğrenmesi ve web geliştirme tutkunu.


