Yapay zeka botları sitenizi neden görmeli?
ChatGPT, Claude, Perplexity ve Google'ın AI Overviews özelliği, kullanıcının sorusunu yanıtlarken web sayfalarını okuyup kaynak gösteriyor. Botlar sitenize giremiyorsa işletmeniz bu yanıtlarda yer alamaz; soruyu soran kişi rakibinizin adını görür. Kendi sitemizin kayıtlarında yalnızca 3,6 günde 8.011 PerplexityBot, 2.543 Meta AI ve 476 ClaudeBot isteği saydık; aynı sürede Googlebot 842 istek attı. Yapay zeka tarayıcıları artık sitenizi Google'dan daha sık ziyaret ediyor olabilir.
Test neleri kontrol eder?
| Kontrol | Ne anlama gelir? |
|---|---|
| robots.txt kuralları | Her bot için geçerli grup bulunur; en uzun eşleşen kural uygulanır (RFC 9309). Anasayfanız o bota açık mı, kapalı mı, yoksa bazı dizinler mi kapalı, gösterilir. |
| Gerçek istek | Anasayfanıza her botun User-Agent kimliğiyle istek atılır. Normal ziyaretçiye 200 dönüp bota 403, 503 veya doğrulama sayfası dönüyorsa güvenlik duvarı engeli vardır. |
| meta robots / X-Robots-Tag | noindex, nosnippet, noai gibi yönergeler sayfanın yapay zeka yanıtlarında kullanılmasını engelleyebilir. |
| Content-Signal | robots.txt içinde içeriğinizin arama (search), yapay zeka yanıtları (ai-input) ve model eğitimi (ai-train) için kullanımına dair tercihinizi belirten yeni bir satırdır (IETF aipref taslağı). Örneğin bizim tercihimiz: Content-Signal: search=yes, ai-input=yes, ai-train=no |
| llms.txt | Sitenizin özetini yapay zeka araçlarına sunan dosya. Google Arama bu dosyayı kullanmıyor; bazı yapay zeka ajanları ve araçları için düşük maliyetli bir hazırlıktır. |
| JavaScript'siz içerik | Her bot JavaScript çalıştırmaz. Anasayfanızda JavaScript olmadan çok az metin görünüyorsa, sayfayı yalnızca HTML olarak okuyan botlar içeriğinizi anlayamayabilir. En güvenli yol, önemli metnin sunucuda HTML olarak gelmesidir. |
Sonuçları nasıl yorumlamalı?
- Açık Bot anasayfanıza erişebiliyor ve robots.txt engeli yok.
- Kısmen Anasayfa açık ama bu bota bazı dizinler kapatılmış. Kapalı dizinlerde önemli sayfalarınız olmadığını kontrol edin.
- Engelli robots.txt bu botu anasayfadan engelliyor.
- WAF engeli olabilir robots.txt izin veriyor ama sunucu bota farklı yanıt veriyor. Cloudflare panelinde Security → Bots ayarlarını ve hosting güvenlik duvarınızı kontrol edin.
Önerilen ayar
Çoğu KOBİ için önerimiz: arama ve kullanıcı botlarına (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Bingbot, Applebot) izin verin; eğitim botlarını (GPTBot, ClaudeBot, CCBot, meta-externalagent) kendi tercihinize göre açın veya kapatın. Hazır dosya için robots.txt Oluşturucu'yu kullanabilirsiniz. Google yapay zeka özelliklerini (AI Overviews, AI Mode) kapatmak isterseniz bunun yeri robots.txt değil, Search Console'daki ilgili ayardır.