Google, Microsoft, OpenAI ve Anthropic, sitelerin yapay zekâ eğitimini reddetmesini sağlayan ortak robots.txt işaretine uyacak

Tek kuralla bütün sağlayıcılara tercih

Google, Microsoft, OpenAI ve Anthropic 30 Ekim’de, web sitelerinin robots.txt dosyasına yazacağı ortak bir işaretle içeriklerinin yapay zekâ modellerini eğitmekte kullanılmasını istemediklerini bildirebileceğini duyurdu. Şimdiye kadar site sahiplerinin her şirket için ayrı kural yazması gerekiyordu; örneğin Google için Google-Extended, OpenAI için GPTBot. Yeni yöntemde site sahibi, normalde tarayıcı adının yazıldığı User-Agent satırına __usage_ai-training belirtecini yazıyor. Eğitimde kullanılmasını istemediği yolları da her zamanki Disallow ve Allow kurallarıyla belirtiyor.

Taslaktaki örnekte site, User-Agent: __usage_ai-training satırının altına Disallow: / ve Allow: /press-kit/ yazıyor. Böylece /press-kit/ klasörü dışındaki bütün içerik için eğitime karşı, bu klasör için eğitim lehine tercih bildirmiş oluyor.

İşaret, Anthropic’ten Kevin Kelley’nin 30 Ekim’de IETF’e sunduğu “Machine-Readable Training Preference Signal” (draft-kelley-aipref-training-preference-signal-00) adlı taslakta tanımlanıyor. Bu, IETF’in onaylamadığı bireysel bir İnternet taslağı; bir standart değil ve süresi 3 Mayıs 2027’de doluyor. Taslak yeni bir komut ya da sözdizimi eklemiyor; RFC 9309’daki robots.txt dilini, en uzun eşleşme önceliğini ve grup yapısını olduğu gibi kullanıyor. “Yapay zekâ eğitimi” tanımını da IETF’in AIPREF çalışma grubunun sözlük taslağından alıyor: bir içeriğin, üretken bir yapay zekâ modelinin öğrenilmiş parametrelerini değiştirmek için kullanılması.

Neyi kapsıyor, neyi kapsamıyor

Taslağa göre belirteç bir kullanım tercihi; taramayı yöneten bir komut değil. Tarayıcılar kendi ürün belirteçlerine yazılmış kuralları eskisi gibi uyguluyor. Site sahibi taramayı da sınırlamak isterse bunu tarayıcıların kendi gruplarıyla ayrıca yapmak zorunda. Bütün botlara yönelik User-Agent: * grupları ortak belirteçle eşleşmiş sayılmıyor. Yani bütün botları engelleyen bir site, yapay zekâ eğitimi konusunda tercih bildirmiş sayılmıyor. Taslak, özel ifadelerin genel ifadelerden öncelikli olması gerektiğini söylüyor ve şirketlerle yapılan özel anlaşmaların bu tercihlerin önüne geçebileceğini kabul ediyor.

Tanım yalnızca eğitimi kapsıyor; taslak, yanıt üretilirken web içeriğinin kaynak olarak çekilmesini (grounding) ya da aramayı ele almıyor. AFP’nin aktardığına göre Microsoft, ayarın yalnızca modellerin gelecekteki eğitimine uygulanacağını ve botların siteleri taramasını durdurmayacağını söyledi. Site sahibi ayarı değiştirmedikçe içerik varsayılan olarak kullanılabilir kalıyor. Google ve Microsoft ayrı yazılarında, eğitimin dışında kalmanın içeriğin yapay zekâ uygulamalarında görünme olasılığını azaltabileceğini belirtti.

Şirketlerin takvimi

Microsoft’ta Bing ürün yöneticisi Krishna Madhavan’ın yazısına göre şirket yeni tercihlere 1 Şubat 2027’den itibaren tarama sırasında uyacak. Microsoft eğitim ile grounding’i ayırıyor: sayfa düzeyinde meta etiketi ya da X-Robots-Tag başlığıyla ikisi için ayrı ayar yapılabiliyor. Grounding için üç değer var. Varsayılan Allow; Disallow içeriğin yanıtlarda kullanılmamasını sağlıyor; DisallowExtended ise kullanımı Copilot ve Microsoft 365 gibi Microsoft’un kendi hizmetleriyle sınırlıyor. Geçiş için Bing Webmaster Tools’ta 15 Aralık 2026’da NoArchive ya da NoCache kullanan siteler için geçici grounding tercihleri açılacak. 1 Mart 2027’den sonra bu iki etiket eğitim ya da grounding tercihi olarak okunmayacak, geçici tercihler de 30 Eylül 2027’de sona erecek. Microsoft’a göre bu tercihler klasik Bing arama sonuçlarında yer alma koşullarını değiştirmiyor.

Google Search Central blogundaki John Mueller imzalı yazıya göre Google bu yeni denetimi diğer sağlayıcılarla birlikte 2027’de desteklemeyi hedefliyor; şirketin tarayıcı belgesinde tarih “2027’nin başı” olarak geçiyor. Bir site ortak belirteçle eğitimi reddeder ve Google-Extended için ayrıca kural yazmazsa Google bunu Google-Extended engellenmiş gibi yorumlayacak. Belgeye göre Google-Extended hem Gemini modellerinin eğitimini hem de Gemini uygulamalarındaki grounding’i kapsıyor, ancak sitenin Google Arama’da yer almasını etkilemiyor ve sıralama sinyali olarak kullanılmıyor. PPC Land’in değerlendirmesine göre Google ayrı bir grounding belirteci sunmadığı için ortak belirteçle eğitimi reddeden site Gemini yanıtlarından da çıkmış oluyor. Google, şirketlere özel mevcut denetimlerin yeni işaretle birlikte çalışmaya devam edeceğini ve önerinin AB Yapay Zekâ Yasası kapsamındaki Genel Amaçlı Yapay Zekâ Uygulama Kuralları’yla uyumlu olduğunu söylüyor.

OpenAI işareti önümüzdeki aylarda uygulamayı hedefliyor. PPC Land’in aktardığına göre şirket, yeni işaretin robots.txt üzerinden sunduğu mevcut denetimlerin yerini almayacağını belirtti. Anthropic’in konuyla ilgili bir blog yazısı ya da duyurusu yok; şirketin tek açıklaması Kelley’nin IETF’in ai-control posta listesine gönderdiği mesaj. Kelley, Anthropic’in taslağa destek eklemeye başladığını, bunun mevcut tarayıcı denetimlerini tamamlayacağını ve desteğin bütün hizmetlere yayılmasının zaman alacağını yazdı.

Taahhüt vermeyenler

Meta dört şirket arasında değil. AFP’ye göre Meta sözcüsü Andy Stone X’te, tercihleri birden çok sağlayıcıya aynı anda ileten ortak bir işaretin önemli bir adım olduğunu yazdı, ancak işarete uyacağını taahhüt etmedi. Amazon ve Apple’dan bu konuda bir açıklama bulunamadı. PPC Land’e göre taslağın teşekkür bölümünde Meta ve AWS’den kişiler AIPREF tartışmalarına katılanlar arasında anılıyor; bu bir uygulama taahhüdü anlamına gelmiyor.

AFP, yayıncıların eğitim için içerik toplayan botlarla uğraştığını hatırlatıyor. The New York Times Aralık 2023’te, makalelerinin izinsiz ve ücretsiz kullanıldığı gerekçesiyle OpenAI ile Microsoft’a dava açmış, iki şirket de adil kullanım istisnasına dayanmıştı. Cloudflare ise Temmuz 2025’ten bu yana yeni müşterilerinin sitelerinde yapay zekâ botlarını varsayılan olarak engelliyor.