Yapay zekâ tarayıcıları
27 yapay zekâ tarayıcısı, tek tek.
Denetimimizin ve ücretsiz kontrol aracımızın aradığı user-agent'lar bunlar. Her biri ya sizi alıntılayıp bağlantı verebilen bir cevap motorudur ya da modeller için metin toplayan ve karşılığında hiçbir şey göndermeyen, yalnız eğitim amaçlı bir tarayıcıdır. Neyi engelleyeceğinize karar verirken önemli olan bu farktır.
Cevap motorları: sizi alıntılayabilen 16 tarayıcı
Bunlardan birini engellemek, bir modelin sizi kaynak olarak anabileceği bir yüzeyden sizi siler.
| User-agent | İşleten | Ne yapar |
|---|---|---|
oai-searchbot | OpenAI | Powers ChatGPT's search index |
chatgpt-user | OpenAI | Fetches a page when a user asks ChatGPT about it |
claude-user | Anthropic | Fetches a page when a user asks Claude about it |
claude-searchbot | Anthropic | Powers Claude's search results |
perplexitybot | Perplexity | Builds the index Perplexity answers from |
perplexity-user | Perplexity | Fetches a page a user asked about |
google-cloudvertexbot | Vertex AI grounding | |
bingbot | Microsoft | Copilot answers are built on the Bing index |
msnbot-media | Microsoft | Media crawling for Bing/Copilot |
meta-externalagent | Meta | Crawls for Meta AI answers |
meta-externalfetcher | Meta | Fetches a page on user request |
amazonbot | Amazon | Feeds Alexa and Rufus answers |
youbot | You.com | Indexes pages You.com can cite |
cohere-ai | Cohere | Retrieval for Cohere-powered assistants |
diffbot | Diffbot | Knowledge-graph extraction used by several assistants |
timpibot | Timpi | Independent index used by AI search products |
Açıklamalar, işletenlerin yayımladığı dil olan İngilizce tutulur.
Yalnız eğitim: karşılığında hiçbir şey vermeyen 11 tarayıcı
Bunlar model eğitimi için içerik toplar. Engellemek bir lisans kararıdır: görünürlüğünüzü azaltmaz.
| User-agent | İşleten | Ne yapar |
|---|---|---|
gptbot | OpenAI | Collects content that may be used to train OpenAI models; ChatGPT search uses OAI-SearchBot instead |
claudebot | Anthropic | Collects content that may be used to train Anthropic models; Claude search uses Claude-SearchBot |
google-extended | Not a crawler: a robots.txt token for Gemini training and grounding; Google says it does not affect Google Search | |
applebot-extended | Apple | Not a crawler: a robots.txt token for training Apple models; Apple says it does not affect Apple search |
claude-web | Anthropic | Legacy Anthropic agent no longer documented; current user fetches use Claude-User |
ccbot | Common Crawl | Public dataset many models train on |
bytespider | ByteDance | Training data collection |
omgili | Webz.io | Data resale and training corpora |
anthropic-ai | Anthropic | Legacy training-data agent (no live citation) |
facebookbot | Meta | Training data collection |
petalbot | Huawei | Petal search and training corpora |
Açıklamalar, işletenlerin yayımladığı dil olan İngilizce tutulur.
Tek bir tarayıcıyı yönetmek
robots.txt user-agent bazında çalışır. Bu grup tek bir tarayıcıyı engeller, geri kalan her şeyi olduğu gibi bırakır:
User-agent: CCBot
Disallow: /Bir cevap motoru tarayıcısını engellemek sizi o motorun cevaplarından çıkarır. Yalnız eğitim amaçlı bir tarayıcıyı engellemek, kaynak gösterilip gösterilmediğinizi etkilemez.
Kendi robots.txt'nizi kontrol edin
Ücretsiz kontrol aracı robots.txt ve llms.txt dosyalarınızı okur ve bu 27 tarayıcıdan hangilerine izin verdiğinizi söyler.
Bu sayfa ürünün kullandığı katalogdan üretilir; denetimin kontrol ettiği listeden hiçbir zaman ayrışmaz.