AI Botları, robots.txt ve llms.txt: Hangi Botu Neden Yönetmelisiniz?

AI botları siteyi hangi amaçlarla ziyaret eder?

AI botları siteye üç farklı amaçla gelir: model eğitimi, arama dizini oluşturma ve kullanıcının isteğiyle sayfa okuma. Bu ayrım önemlidir, çünkü her türe verdiğiniz robots.txt kararı farklı bir sonuç doğurur.

Eğitim botları, üreticinin üretken yapay zekâ modellerini geliştirmek için içerik toplar. OpenAI, GPTBot'un modellerini daha yararlı ve güvenli kılmak için kullanıldığını, GPTBot'u engellemenin ise sitenin içeriğinin bu modellerin eğitiminde kullanılmaması anlamına geldiğini yazar. Anthropic de ClaudeBot'u benzer biçimde, model eğitimine katkı sağlayabilecek web içeriğini toplayan bot olarak tanımlar.

Arama dizini botları, sitenizin yapay zekâ destekli arama sonuçlarında gösterilebilmesi için sayfaları indeksler. OAI-SearchBot, Claude-SearchBot ve PerplexityBot bu gruptadır. OpenAI'ye göre OAI-SearchBot'a kapalı bir site ChatGPT arama yanıtlarında gösterilmez; yalnızca gezinme bağlantısı olarak görünebilir.

Kullanıcı tetiklemeli botlar ise biri ChatGPT'ye, Claude'a ya da Perplexity'ye bir soru sorduğunda, yanıt için o an sayfayı okumaya gelir. OpenAI bu eylemler kullanıcı tarafından başlatıldığı için robots.txt kurallarının uygulanmayabileceğini, Perplexity ise Perplexity-User'ın genellikle robots.txt kurallarını yok saydığını belirtir.

• Eğitim: içeriğiniz gelecekteki modellerin eğitiminde kullanılabilir (GPTBot, ClaudeBot).
• Arama dizini: içeriğiniz yapay zekâ aramalarında kaynak ya da bağlantı olarak gösterilebilir (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
• Kullanıcı tetiklemeli: biri sorduğunda sayfanız anlık okunur (ChatGPT-User, Claude-User, Perplexity-User).

Hangi bot kime ait ve robots.txt'te ne anlama gelir?

Aşağıdaki tablo, üreticilerin kendi resmî bot belgelerinden 7 Ekim 2026'da okunarak derlendi. Bot adları ve davranışlar değişebileceği için kesin karardan önce ilgili üreticinin güncel sayfasını kontrol edin; kaynaklar yazının sonunda listelidir.

Hangi botu engellemeli, hangisine izin vermelisiniz?

Doğru karar, içeriğinizin yapay zekâ ürünlerinde görünmesini isteyip istemediğinize ve eğitimde kullanılmasına nasıl baktığınıza bağlıdır; tek bir teknik doğru yoktur. Aşağıdaki tablo, hedefe göre hangi grubun açık ya da kapalı bırakılabileceğini özetler.

Hiçbir izin ayarı yapay zekâ yanıtlarında yer alacağınızı garanti etmez. Google da AI Overviews ve AI Mode'da bir sayfanın bağlantı olarak gösterilebilmesi için sayfanın dizinde olması ve bir snippet ile gösterilmeye uygun olması gerektiğini, bunun da garanti edilmediğini yazar.

• Yaygın hata 1: Tek bir User-agent: * ve Disallow: / satırıyla tüm botları kapatıp Googlebot'u da engellemek.
• Yaygın hata 2: GPTBot'u kapatınca ChatGPT aramasından da çıkılacağını sanmak; arama dizinini OAI-SearchBot yönetir.
• Yaygın hata 3: Bot adını yanlış yazmak; robots.txt'teki kullanıcı aracısı adı üreticinin belgesindeki adla eşleşmelidir.
• Yaygın hata 4: robots.txt'i gizlilik ya da güvenlik önlemi sanmak; bu dosya bir erişim yetkilendirmesi değildir.

Hepsine izin veren robots.txt nasıl yazılır?

Hepsine izin vermenin en okunaklı yolu, tek bir grupta Allow: / yazmak ve tercihinizi Content-Signal satırıyla belirtmektir. Content-Signal, Cloudflare'in Eylül 2025'te duyurduğu bir robots.txt uzantısıdır; search, ai-input ve ai-train sinyalleri yes ya da no değeri alır. Cloudflare bu sinyallerin tercih beyanı olduğunu, teknik bir engel olmadığını ve bazı tarafların yok sayabileceğini açıkça belirtir.

Tuba Yazılım olarak kendi sitemizin robots.txt dosyasında bugün search=yes, ai-input=yes ve ai-train=yes tercihi bulunuyor. Bu bir öneri değil, kendi tercihimizdir; eğitim kullanımına bakışınız farklıysa aşağıdaki ikinci örneği kullanabilirsiniz.

Örnek 1: Tüm botlara izin

# Tüm botlara izin (alan adını kendi sitenizle değiştirin)
User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=yes

Sitemap: https://www.ornek.com/sitemap.xml

Dosya sitenin kök dizininde, yani https://www.ornek.com/robots.txt adresinde durmalıdır. Yönetim paneli gibi taranmasını istemediğiniz yolları ayrı Disallow satırlarıyla ekleyebilirsiniz.

Yalnızca arama botlarına izin verip eğitim botlarını kapatan robots.txt nasıl olur?

Arama ve kullanıcı botlarını açık tutup eğitim botlarını kapatmak için eğitim botlarına ayrı bir grupta Disallow: / yazılır. RFC 9309'a göre bir bot, adının geçtiği grup varsa o grubu izler; yalnızca eşleşen grup yoksa * grubuna döner. Bu yüzden her botu kendi grubuyla yönetmek en net yöntemdir. Aynı bota ait birden çok grup varsa kuralları birleştirilir; grup içinde ise yol eşleşmesinde en uzun eşleşme geçerlidir.

Ücretsiz robots.txt Oluşturucumuz bu düzeni 'arama açık, yapay zekâ eğitimi kapalı' hazır ayarı olarak sunar; dosyayı yayımlamadan önce aynı sayfadaki test alanıyla belirli bir adresin belirli bota açık olup olmadığını deneyebilirsiniz.

1. Hangi botları kapatmak istediğinize karar verin; yukarıdaki tablodaki eğitim ve kontrol belirteçleri adayları oluşturur.
2. Örnek 2'yi kendi alan adınıza uyarlayıp kök dizindeki robots.txt dosyasına yerleştirin.
3. Dosyayı tarayıcıda açıp metnin yayında olduğunu doğrulayın.
4. AI Bot Erişim Testi ile robots.txt'in yanında güvenlik duvarının da botları engelleyip engellemediğine bakın.
5. OpenAI, OAI-SearchBot için robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini yazar; sonucu hemen beklemeyin.

Örnek 2: Arama ve kullanıcı botlarına açık, eğitim botlarına kapalı

# Eğitim botları ve kontrol belirteçleri kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Arama dizini ve kullanıcı eylemi botları açık
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Diğer tüm botlar
User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=no

Sitemap: https://www.ornek.com/sitemap.xml

Googlebot ve diğer klasik arama botları * grubuna girer. Google-Extended'ı kapatmak Google Search'e dahil olmayı etkilemez; Applebot-Extended'ı kapatmak da sayfaların Apple arama sonuçlarında yer almasını engellemez.

Gelen botun gerçek olduğu nasıl doğrulanır?

Bir isteğin gerçekten ilgili üreticiden geldiğini yalnızca User-Agent satırına bakarak söyleyemezsiniz; çünkü bu başlık kolayca taklit edilebilir. Google da kendi belgesinde, Google'dan geliyormuş gibi görünen isteklerin gerçekten Google'dan gelip gelmediğinin ters DNS ve yayımlanan IP aralıklarıyla doğrulanabileceğini anlatır.

Üreticilerin çoğu, botlarının IP aralıklarını JSON dosyası olarak yayımlar. OpenAI her bot için ayrı dosya sunar (örneğin openai.com/searchbot.json, gptbot.json, chatgpt-user.json), Perplexity perplexity.com/perplexitybot.json ve perplexity-user.json adreslerini verir, Anthropic claude.com/crawling/bots.json listesini yayımlar, Apple ise search.developer.apple.com/applebot.json dosyasını ya da *.applebot.apple.com ters DNS kaydını kullanmanızı söyler.

1. Erişim kaydından şüpheli isteğin IP adresini ve kullanıcı aracısını alın.
2. IP adresini, ilgili üreticinin yayımladığı JSON listesindeki CIDR aralıklarıyla karşılaştırın.
3. Google için ters DNS ve ileri DNS kontrolü yapın: alan adı googlebot.com, google.com ya da googleusercontent.com olmalı ve ileri DNS aynı IP'ye dönmelidir. Apple için ters DNS kaydının *.applebot.apple.com olması beklenir.
4. Eşleşme yoksa isteği o botun isteği saymayın; gerekirse güvenlik duvarı veya WAF kuralıyla sınırlayın.
5. Anthropic, IP adresi engellemenin robots.txt dosyasını okumasını da engelleyeceği için bir çıkış tercihi olarak sürekli çalışmayabileceğini yazar; bot yönetimini önce robots.txt ile yapın.

Google için ters ve ileri DNS kontrolü

# 1) Şüpheli IP'nin ters DNS kaydına bakın
host <IP_ADRESI>

# 2) Dönen alan adı googlebot.com, google.com veya googleusercontent.com ile bitmeli
# 3) Bu alan adının ileri DNS kaydı aynı IP'ye çıkmalı
host <donen-alan-adi>

Köşeli ayraçlı yerlere kendi kaydınızdaki değerleri yazın; Google'ın ters DNS kayıtları crawl-xxx-xxx-xxx-xxx.googlebot.com biçimindedir. Google'ın yöntemi ve JSON listeleri Google Search Central'daki 'Verifying Google crawlers' sayfasında anlatılır.

Sunucu kayıtlarımızda AI botları: tarayıcı gelmesi ziyaretçi gelmesi demek değil

Kendi sitemizde 15-28 Eylül 2026 arasındaki 14 günlük sunucu kayıtlarında yapay zekâ botları hatırı sayılır sayıda istek attı; ancak bu, ziyaretçi ya da müşteri geldiği anlamına gelmez. Sayılar User-Agent'a göredir, IP doğrulaması yapılmamıştır ve bir kısmı sahte olabilir; bu yüzden hepsi yaklaşık değerdir.

Aynı dönemde Googlebot yaklaşık 5.200 istek attı. PerplexityBot yaklaşık 21.700 istekle bu sayının kabaca dört katına ulaştı. Ancak her bot bir sayfayı yalnızca okur; okunan sayfa, yanıtta kaynak olarak gösterildiği ya da insanlar o bağlantıya tıkladığı anlamına gelmez.

Kullanıcı tetiklemeli ChatGPT-User istekleri yaklaşık 620 olarak göründü, ancak bunlar bir insanın sitenizi açtığı anlamına gelmez: ChatGPT, bir kullanıcı eylemi sırasında sayfayı yalnızca okumuş olabilir. Buna karşılık chatgpt.com yönlendirmeli insan ziyareti çok düşük kaldı; varlık (asset) istekleri hariç yaklaşık 25 sayfa isteği saydık (kayıtta 11 günlük veri üzerinden).

Bu gözlem bir müşteri ya da dönüşüm ölçümü değildir. Yalnızca şunu gösterir: botların sitenize erişebilmesi görünürlüğün ön koşulu olabilir, ama tek başına trafik ya da başvuru üretmez. Bu yüzden bot kayıtlarını, Search Console ve analitik verinizle birlikte okumak gerekir.

llms.txt nedir ve şu anki durumu nedir?

llms.txt, sitenizin kök dizinine konan ve yapay zekâ araçları için siteyi özetleyen bir Markdown dosyasıdır; Jeremy Howard tarafından Eylül 2024'te önerilmiştir ve bir H1 başlık, kısa bir özet ve bağlantı listelerinden oluşur. Bu yazıdaki araştırmada bunun bir standart kuruluşu tarafından onaylanmış bir standart olduğuna dair bir kanıt bulmadık; yalnızca önerilen bir biçim olarak anlatıyoruz.

Google Search llms.txt kullanmaz. Google'ın üretken yapay zekâ rehberi, Google Search'te görünmek için yeni makine tarafından okunabilir dosyalar, yapay zekâ metin dosyaları, işaretleme ya da Markdown oluşturmanız gerekmediğini; bu tür dosyaların görünürlüğünüze ya da sıralamanıza zarar da vermeyeceğini, yardım da etmeyeceğini yazar. Rehberin son güncelleme tarihi 10 Temmuz 2026'dır.

Başka bir yapay zekâ ürününün llms.txt dosyasını okuyup görünürlüğü artırdığını gösteren doğrulanmış bir belge sunamıyoruz; bu nedenle dosyanın etkisi kanıtlanmıştır demiyoruz. Eklemek istiyorsanız bunu düşük maliyetli ve isteğe bağlı bir hazırlık olarak görün; öncelik botların sitenize erişebilmesi, net içerik ve doğru yapılandırılmış veridir.

Ücretsiz llms.txt Oluşturucumuz, site haritanızdan bir taslak üretir; taslağı düzenleyip indirebilir ve mevcut dosyanızı da kontrol ettirebilirsiniz.

• Google Search tarafından kullanılmaz; AI Overviews ve AI Mode için gerekli değildir.
• robots.txt'in yerine geçmez: bot erişimini robots.txt ve sunucu kuralları belirler.
• Kaynak sayfalarınızın güncel ve doğru olması, dosyanın kendisinden daha önemlidir.

Sık sorulan sorular

Kaynaklar

1. OpenAI: Overview of OpenAI Crawlers
2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
3. Perplexity: Perplexity Crawlers (PerplexityBot ve Perplexity-User)
4. Google Search Central: Google's common crawlers (Google-Extended)
5. Google Search Central: Verifying Google crawlers and fetchers
6. Google Search Central: AI features and your website
7. Google Search Central: Optimizing your website for generative AI features on Google Search
8. Google Search Central: Introduction to robots.txt
9. Apple: About Applebot
10. IETF: RFC 9309 Robots Exclusion Protocol
11. Cloudflare: Giving users choice with Cloudflare's new Content Signals Policy
12. llmstxt.org: llms.txt önerisi