İçeriğe atla

Ana sayfa·Yazılar·Görünürlük

Görünürlük 19 Kasım 2026 8 dk okuma

Siteniz Yapay Zekâ Botlarını Engelliyor Olabilir: Beş Dakikalık Kontrol

robots.txt izin verse bile güvenlik duvarı ya da hosting bot koruması yapay zekâ botlarını kapıda çevirebilir. Hangi botun ne iş yaptığını, ekibinize soracağınız kontrolleri ve eğitime izin verme kararının iki yüzünü anlattık.

Sitenizin robots.txt dosyası yapay zekâ botlarına “girebilirsin” diyor olabilir. Bu, botların gerçekten içeri girdiği anlamına gelmez. Araya giren bir güvenlik duvarı ya da hosting firmasının bot koruması aynı botu kapıda çevirebilir ve bunu ancak kayıtlara bakınca görürsünüz. Bu yazı, hangi botun ne iş yaptığını ve ekibinize ya da ajansınıza soracağınız kontrolleri sade bir dille anlatıyor.

Kendi Sitemizde Ne Bulduk?

19 Kasım 2026'da kendi sitemizin bot kayıtlarına baktık. robots.txt dosyamız yapay zekâ botlarına açıkça izin veriyordu. Buna rağmen Cloudflare panelindeki “AI Crawler and Agent access policies” ayarında eğitim botları için engel, kullanıcı adına çalışan botlar için de “reklam olan sayfalarda engelle” seçeneği seçiliydi. Son yedi günün kayıtları sonucu açıkça gösteriyordu:

BotNe iş yaparGeçebildiEngellendi
GPTBotOpenAI'nin eğitim botu0108
ClaudeBotAnthropic'in eğitim botu0124
PerplexityBotPerplexity'nin arama dizini botu099
ChatGPT-UserChatGPT'de biri siteyi sorduğunda sayfayı açan bot078

Bing'in botu aynı dönemde 637 kez 4xx hatası aldı. 4xx, sunucunun isteği reddettiğini ya da sayfayı bulamadığını söyleyen hata ailesidir. ChatGPT'nin araması büyük ölçüde Bing dizinine dayandığı için bu, robots.txt'den bağımsız ikinci bir kapanma demekti. Üstelik hosting firmamızın bot koruması kısa sürede çok istek gelince “One moment, please…” yazan bir doğrulama sayfası gösteriyordu. sitemap.xml ve llms.txt de bu sayfaya düşüyor, bot site haritası yerine bir bekleme ekranı okuyordu. İki sorunu da aynı gün düzelttik.

Hangi Bot Ne İş Yapıyor?

Yapay zekâ şirketlerinin botları üç farklı iş yapar ve her biri robots.txt'de kendi adıyla anılır. Bu ayrımı bilmek kararınızı kolaylaştırır, çünkü birine izin verip ötekini kapatabilirsiniz. Tablodaki adlar şirketlerin kendi belgelerinden alındı.

Bot türüÖrnek adlarNe yaparKapatırsanız ne olur
Eğitim botuGPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google'ın izin etiketi)İçeriği gelecekteki modellerin eğitimi için toplarİçeriğiniz yeni modellerin eğitimine girmez
Arama botuOAI-SearchBot (ChatGPT), PerplexityBot, Bingbot, GooglebotSayfayı servisin arama dizinine eklerSayfanız o servisin cevaplarında kaynak olarak gösterilmez
Kullanıcı adına sayfa açan botChatGPT-User, Perplexity-UserBiri sohbette sitenizi sorunca ya da bağlantı verince sayfayı o an açarAsistan sayfanızı okuyamaz, kullanıcıya eksik ya da eski bilgi verir

Google tarafında bir ayrıntı var. Google-Extended gerçek bir bot olmaktan çok robots.txt'de kullanılan bir izin etiketidir. İçeriğinizin Gemini modellerinin eğitiminde ve cevap dayanağı olarak kullanılmasını yönetir. Google'ın belgesine göre bu etiket Google Arama'daki yerinizi etkilemez. Perplexity ise kullanıcı adına sayfa açan botunun, isteği bir insan başlattığı için robots.txt kurallarına genelde uymadığını kendi belgesinde yazıyor.

robots.txt Dosyanız Ne Diyor?

robots.txt, sitenizin kök adresinde duran ve botlara hangi sayfalara girebileceklerini söyleyen düz bir metin dosyasıdır. Buna kendiniz bakabilirsiniz: tarayıcıya site adresinizin sonuna /robots.txt ekleyip yazmanız yeterli. Dosyada “User-agent: GPTBot” satırının altında “Disallow: /” görüyorsanız o bot sitenin tamamından men edilmiştir. Yapay zekâ botlarının adı hiç geçmiyorsa herkes için yazılan genel kural (“User-agent: *”) geçerlidir. Bazı e-ticaret altyapıları ve güvenlik eklentileri bu dosyaya sizin haberiniz olmadan satır ekleyebilir, bu yüzden dosyayı en son kimin değiştirdiğini de sorun.

Cloudflare ya da Güvenlik Duvarında Yapay Zekâ Ayarı Var mı?

Siteniz Cloudflare gibi bir CDN'in arkasındaysa robots.txt'den önce o katmanın kuralı çalışır. CDN, siteyi farklı noktalardan hızlı sunan ve gelen trafiği saldırılara karşı süzen ara katmandır. Cloudflare yapay zekâ botları için ayrı bir yönetim ekranı sunuyor ve bu botları tek tıkla engelleyen seçenekler barındırıyor. Bizim sitemizde de durum buydu: dosya izin veriyor, katman engelliyordu. Ekibinizden bu ekranın görüntüsünü ve son yedi günde yapay zekâ botlarının kaç kez geçip kaç kez engellendiğini gösteren tabloyu isteyin. Başka bir güvenlik duvarı kullanıyorsanız soru aynıdır: yapay zekâ botları için ayrı bir kural tanımlı mı?

Hosting Firmasının Bot Koruması Sayfayı Gizliyor mu?

Paylaşımlı hostinglerde yaygın olan Imunify360 gibi koruma yazılımları, kısa sürede çok istek gönderen ziyaretçiye önce bir doğrulama sayfası gösterir. İnsan bu sayfayı bir iki saniyede geçer, çünkü tarayıcısı sayfadaki küçük betiği kendiliğinden çalıştırır. Botların çoğu bu betiği çalıştırmaz ve asıl sayfanın yerine “One moment, please…” yazısını okur. Siz siteye kendi tarayıcınızdan girdiğinizde her şey normal görünür, sorun yalnız botun gözünden fark edilir. Ekibinizden ana sayfayı, bir ürün sayfasını, sitemap.xml'i ve llms.txt'i bir bot kimliğiyle çağırıp dönen içeriği size göstermesini isteyin.

Sitemap ve llms.txt Gerçekten Açılıyor mu?

Sitemap, sitenizdeki sayfaların listesini arama motorlarına veren dosyadır ve yeni ürünlerin daha hızlı bulunmasına yardım eder. llms.txt ise sitenin içeriğini yapay zekâ için kısaca tarif eden bir metin dosyası önerisidir; henüz kabul görmüş bir standart sayılmıyor ve hangi servislerin okuduğu bilinmiyor. İkisinin de işe yaraması için önce açılmaları gerekir. Bizim sitemizde iki dosya da insan için düzgün açılıyor, bot için doğrulama sayfasına düşüyordu. Kontrol basittir: dosyanın adresinden XML ya da düz metin dönmeli, bir HTML bekleme sayfası dönmemeli. Bing Webmaster Tools ve Google Search Console'da sitemap'in son okunma tarihi ile hata durumu da görünür, ekibinizden bu iki ekranı da isteyin.

Eğitime İzin Vermeli misiniz?

Bu soru teknik bir ayardan çok bir iş kararıdır ve iki tarafı da var. Aşağıdaki tablo, kararı verirken tartmanız gereken başlıca noktaları gösteriyor.

YönEğitime izin vermekEğitimi kapatmak
ArtısıMarkanız, ürün adlarınız ve temel bilgileriniz gelecekteki modellerin genel bilgisine girebilirYazdığınız metin ve görseller karşılıksız biçimde model eğitiminde kullanılmaz
Eksisiİçeriğiniz üzerindeki kontrolünüz azalır; karşılığında doğrudan trafik ya da ödeme gelmezModelin markanız hakkındaki genel bilgisi eksik ya da eski kalabilir

Burada önemli bir ayrım var: eğitimi kapatmak, arama botlarını da kapatmanızı gerektirmez. GPTBot'u kapatıp OAI-SearchBot ile ChatGPT-User'a izin verirseniz içeriğiniz eğitime girmez, ama ChatGPT araması sayfalarınızı okuyabilir. OpenAI bu botları ayrı yönettiğini belgesinde açıkça yazıyor. Bir e-ticaret sitesi için en azından arama botlarının ve kullanıcı adına çalışan botların açık olması mantıklıdır, çünkü ürün sayfanız zaten herkes görsün diye yayında. Özgün araştırma, rehber ya da ücretli içerik üreten bir firmada eğitim kararını daha dikkatli tartmak gerekir.

Ekibinize ya da Ajansınıza Soracağınız Sorular

  • robots.txt'de hangi yapay zekâ botlarına izin verilmiş, hangileri kapalı? Dosyayı en son kim değiştirdi?
  • Cloudflare ya da güvenlik duvarında yapay zekâ botları için hangi ayar seçili? Ekran görüntüsünü gönderebilir misiniz?
  • Son yedi günde GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot ve Bingbot kaç kez geçti, kaç kez engellendi?
  • Hosting'deki bot koruması, bot kimliğiyle gelen isteğe doğrulama sayfası gösteriyor mu?
  • sitemap.xml ve llms.txt bir bot kimliğiyle çağrıldığında ne dönüyor?
  • Bing Webmaster Tools ve Search Console'da tarama hatası görünüyor mu?

Bu soruların cevabı bir ekran görüntüsü ve bir tabloyla gelmeli; “açık, sorun yok” demek yeterli sayılmaz. Bizim sitemizde de robots.txt'ye bakan herkes “açık” derdi, oysa kayıtlar yedi günde yüzlerce engel gösteriyordu. Erişim düzeldikten sonraki iş, botların okuyacağı sayfaları bilgiyle doldurmaktır. E-ticaret tarafında nereden başlayacağınızı ChatGPT'nin ürün önerileri yazısında topladık.

Sık Sorulanlar

Botlara izin vermek sitemi yavaşlatır mı?

Olağan koşulda fark edilmez, çünkü botlar siteyi düzenli ama sınırlı sıklıkta ziyaret eder. Bir bot aşırı istek gönderiyorsa onu tamamen kapatmak yerine güvenlik katmanında hız sınırı koymak daha dengeli bir çözümdür. Hangi botun ne kadar istek gönderdiğini Cloudflare ya da hosting kayıtları gösterir.

robots.txt'de izin verdim, kayıtlarda neden engel görünüyor?

Büyük ihtimalle robots.txt'den önce çalışan bir katman botu durduruyor. Cloudflare'in yapay zekâ ayarı, güvenlik duvarı kuralları ya da hosting firmasının bot koruması bunun en sık görülen nedenleridir. Kendi sitemizde iki neden aynı anda vardı.

Site kendi tarayıcımda açılıyorsa botlar da açabiliyor sayılır mı?

Sayılmaz. Doğrulama sayfaları insan tarayıcısının çalıştırdığı bir betikle geçilir ve botların çoğu bu betiği çalıştırmaz. Bu yüzden kontrolün bot kimliğiyle yapılması gerekir.

Google-Extended'ı kapatırsam Google'daki sıralamam düşer mi?

Google'ın belgesine göre düşmez; Google-Extended Google Arama'da yer almanızı etkilemez. Bu etiket içeriğinizin Gemini modellerinin eğitiminde ve cevap dayanağı olarak kullanılmasını yönetir. Kapatmadan önce Gemini cevaplarındaki görünürlüğünüzün de etkilenebileceğini hesaba katın.

llms.txt dosyası eklemeli miyim?

Hazırlaması kolay ve zararsız bir dosya olduğu için eklemenizde sakınca yok. Ama önceliği botların siteye girebilmesine ve sayfaların gerçekten okunabilmesine verin. Bizim sitemizde llms.txt vardı, ama bot onu açamıyordu.

Kaynaklar

Okumak Yerine Ölçelim mi?

Mevcut durumu ölçer, bulduklarımızı yazılı veririz. Kısa bir form ya da tek bir telefon yeter.

Konuşalım. Aynı Gün Dönüyoruz.

Numaranızı bırakın, ne yapılabileceğini rakamla anlatalım.