OpenAI API ile Bir Yapay Zeka Sohbet Botu Oluşturmak
20 satırlık bir sohbet döngüsünden akışlı, bütçe dostu bir sohbet botu uç noktasına giden pratik bir yol: mesaj geçmişi, jeton kırpma, yeniden denemeler, denetleme ve bir FastAPI rotası.

Bir meslektaşım benden dahili bir araç için bir SSS botu istedi, "sadece hızlıca bir tane". İlk versiyonum her turda tüm konuşmayı yeniden gönderiyor, hiçbir şeyi kırpmıyor ve bir karakter göstermeden önce tam cevabı bekliyordu. Bir demoda sorun yoktu. Bir hafta içinde birisi sohbete uzun bir belge yapıştırdı, istek bağlam uzunluğu hatasıyla başarısız oldu ve insanlar botun cevap vermeden önce birkaç saniye "donduğunu" şikayet ettiler.
Bu üç sorun (geçmişin büyümesi, katı sınırlar ve algılanan gecikme), bir demo sohbet botunu insanların kullanabileceği bir bottan ayıran şeylerdir. Bu yazı, OpenAI Python SDK ile pratik versiyonu adım adım inşa ediyor. Tek bir oturumun ötesindeki bellek, araç çağırma ve bilgi alma konularının her birinin aşağıda bağlantısı verilen kendi daha derin yazıları var, bu yüzden burada ana döngüde kalıyorum.
Hızlı çıkarımlar
- Bir sohbet botu, bir mesaj listesi gönderen ve cevabı ekleyen bir döngüdür. Model, çağrılar arasında hiçbir şeyi hatırlamaz; geçmişin sahibi sizin kodunuzdur.
- Her turda geçmişi bir jeton bütçesine göre kırpın, sistem istemini ve en yeni mesajları koruyun.
- Jetonları istemciye akışla gönderin. Toplam süre neredeyse hiç değişmez, ancak cevap neredeyse anında görünmeye başlar.
- SDK'nın geçici hataları yeniden denemesine izin verin, bir zaman aşımı ayarlayın ve kullanıcı girdisini denetleme uç noktası üzerinden geçirin.
- Model adını yapılandırmadan okuyun. Modeller kullanımdan kaldırılır ve değiştirilir; sabit kodlanmış adlar kesintilere yol açar.
En küçük çalışan sohbet botunu nasıl oluştururum?
SDK'yı kurun ve anahtarınızı bir ortam değişkeni olarak ayarlayın (asla commit etmeyin):
pip install openai tiktoken fastapi uvicorn
export OPENAI_API_KEY="..."
Ana döngü kısadır. Bir messages listesi tutar, onu gönderir, akışla gelen cevabı yazdırır ve cevabı saklar, böylece bir sonraki turda bağlam olur:
import os
from openai import OpenAI
MODEL = os.environ.get("CHAT_MODEL", "gpt-4o-mini") # choose a current model for your account
client = OpenAI(max_retries=3, timeout=30.0)
SYSTEM = "You are a concise support assistant for our internal developer portal. If you are unsure, say so."
messages = [{"role": "system", "content": SYSTEM}]
while True:
user_input = input("you> ").strip()
if not user_input:
break
messages.append({"role": "user", "content": user_input})
stream = client.chat.completions.create(model=MODEL, messages=messages, stream=True)
reply = ""
for chunk in stream:
delta = chunk.choices[0].delta.content if chunk.choices else None
if delta:
print(delta, end="", flush=True)
reply += delta
print()
messages.append({"role": "assistant", "content": reply})
İstemcideki max_retries ve timeout sıkıcı hataları kapsar: bağlantı sıfırlamaları, 429 hız limitleri ve 5xx yanıtları geri çekilme ile yeniden denenir. Sistem mesajı rolü ve "emin değilseniz söyleyin" kuralını belirler, bu da herhangi bir zekice istemden daha fazla güven sağlar. Dikkatli mühendislik gerektiren istemler, LLM Çıktı Kalitesini Artıran İstem Mühendisliği Desenleri yazısında ele alınmıştır.
Konuşmanın bağlam penceresini aşmasını nasıl engellerim?
Geçmiş her turda büyür ve faturanız da öyle. Basit, öngörülebilir bir politika kayan bir penceredir: her zaman sistem mesajını tutun, ardından bir jeton bütçesine sığan en yeni mesajları tutun.
import tiktoken
ENCODING = tiktoken.get_encoding("o200k_base") # tokenizer used by recent OpenAI chat models
def count_tokens(message: dict) -> int:
# Approximate: content tokens plus a few tokens of per-message overhead.
return len(ENCODING.encode(message["content"])) + 4
def trim_history(messages: list[dict], budget: int = 6000) -> list[dict]:
system, rest = messages[0], messages[1:]
kept: list[dict] = []
used = count_tokens(system)
for message in reversed(rest):
cost = count_tokens(message)
if used + cost > budget:
break
kept.append(message)
used += cost
return [system, *reversed(kept)]
Her istekten hemen önce trim_history(messages) fonksiyonunu çağırın. İki detay kolayca gözden kaçabilir. Modelin yanıtı için bütçeyi ve girdiyi sayın ve tüm bütçeden daha büyük olan tek bir kullanıcı mesajını sessizce düşürmek yerine reddedin veya özetleyin. Daha eski bağlam önemli olduğunda (tercihler, önceki kararlar), kayan bir pencere yeterli değildir; özetler ve uzun süreli depolama seçenekleri Konuşmalı Yapay Zeka Belleği Oluşturma yazısında bulunmaktadır.
Sohbet botunu HTTP üzerinden akışla nasıl sunarım?
Bir web kullanıcı arayüzü için, sunucu tarafından gönderilen olaylarla akış yapın. FastAPI, bir iş parçacığı havuzunda senkron bir jeneratör çalıştırır, bu nedenle düz SDK istemcisi ek asenkron kod olmadan çalışır:
from fastapi import FastAPI, HTTPException
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
app = FastAPI()
class ChatRequest(BaseModel):
messages: list[dict] # the client sends the history; validate roles in real code
@app.post("/chat")
def chat(request: ChatRequest):
last_user = request.messages[-1]["content"]
moderation = client.moderations.create(model="omni-moderation-latest", input=last_user)
if moderation.results[0].flagged:
raise HTTPException(status_code=400, detail="Message rejected by content policy")
history = trim_history([{"role": "system", "content": SYSTEM}, *request.messages])
def event_stream():
stream = client.chat.completions.create(model=MODEL, messages=history, stream=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield f"data: {chunk.choices[0].delta.content}\n\n"
yield "data: [DONE]\n\n"
return StreamingResponse(event_stream(), media_type="text/event-stream")
uvicorn app:app --reload ile çalıştırın. Üretimde, kimlik doğrulama, kullanıcı başına hız limitleri (maliyet kontrolü bir güvenlik özelliğidir), mesaj uzunluğu sınırı ve istemcilerin kendi sistem istemlerini enjekte edememesi için messages içindeki rollerin sunucu tarafı doğrulaması ekleyin. Konuşmaları yalnızca gizlilik politikanızın izin verdiği ölçüde, tanımlayıcılar kaldırılmış olarak günlüğe kaydedin.
Temeller çalıştıktan sonra ne eklemeliyim?
Gerçek bir kullanıcı ihtiyacı ortaya çıktığında eklemeler yapın, daha önce değil. Projelerimde olağan sıra:
- Kendi bilginiz. Belgelerinizden gelmesi gereken cevaplar bilgi alımı gerektirir; RAG için parçalama stratejileri ile başlayın.
- Eylemler. Botun bir siparişi araması veya bir bilet açması gerekiyorsa, Güvenilir Yapay Zeka Ajanları Mühendisliği yazısında açıklandığı gibi, doğrulama ve yeniden deneme limitleri ile araç çağırma kullanın.
- Kalite takibi. Beklenen cevapları olan küçük bir gerçek soru kümesi tutun ve her istem veya model değişikliğinden önce yeniden çalıştırın.
Bu hafta ne yapmalıyım?
Yukarıdaki döngüyü kendi kullanım durumunuza karşı çalıştırın ve zaten cevaplarını bildiğiniz on soru sorun. Başarısızlıkları not alın, çünkü bunlar ilk test setiniz olacaktır. Ardından, jeton kırpma işlevini ve akış uç noktasını bu sırayla ekleyin ve daha süslü bir şey inşa etmeden önce beş meslektaşınıza gönderin.
Uğur Kaval
Modern teknolojilerle yenilikçi çözümler geliştirmede uzmanlaşmış AI/ML Mühendisi & Full Stack Geliştirici. Otomasyon, makine öğrenmesi ve web geliştirme tutkunu.


